Segurança de IA

Colapso de Agente refere-se a uma falha em sistemas de IA onde os agentes deixam de funcionar de forma eficaz, muitas vezes devido a problemas de alinhamento.

Risco de IA refere-se às possíveis consequências negativas decorrentes do desenvolvimento e implantação de sistemas de inteligência artificial.

Uma estrutura que categoriza sistemas de IA com base em seu alinhamento com valores e intenções humanas.

Anthropic refere-se a conceitos ou princípios relacionados à existência humana e às implicações para a segurança e ética da IA.

Corrigibility refers to an AI's ability to accept corrections and updates while remaining aligned with user intentions.

Capacidades da IA que representam riscos à segurança, privacidade ou padrões éticos.

Conhecimento Sombrio refere-se aos insights e estratégias obtidos a partir de aprendizado e ataques adversariais em sistemas de IA.

Deceptive Alignment refers to a situation where an AI's goals appear aligned with human values but actually lead to unintended consequences.

Um modo de falha é uma maneira específica pela qual um sistema ou componente pode falhar, afetando sua funcionalidade ou desempenho.

Uma falsa alarme em IA refere-se a uma situação onde um alarme é acionado sem uma ameaça ou evento real ocorrendo.

A generalização incorreta de metas ocorre quando sistemas de IA perseguem objetivos não intencionais devido a interpretações equivocadas de suas metas.

IA de Alucinação refere-se a casos em que a IA gera informações falsas ou enganosas com confiança.

Cascata de Alucinações refere-se a um efeito cumulativo em IA onde imprecisões iniciais levam a saídas incorretas adicionais.

O Compromisso entre Utilidade e Inofensividade é um equilíbrio entre a IA fornecer assistência útil e os riscos de causar dano.

Supervisão Humana refere-se ao envolvimento de pessoas na monitorização e orientação de sistemas de IA para garantir decisões éticas e precisas.

Inner Alignment refers to the alignment of an AI's goals with human intentions during its operation.

Uma explosão de inteligência refere-se a um rápido aumento nas capacidades de inteligência artificial, muitas vezes levando à superinteligência.

Prompting de Jailbreak refere-se a técnicas que manipulam o comportamento da IA além das salvaguardas pretendidas.

Otimização de mesa refere-se a sistemas de IA que otimizam seu próprio comportamento ou objetivos de maneiras não originalmente previstas por seus criadores.

Alinhamento de modelos garante que os sistemas de IA operem de maneiras consistentes com os valores e intenções humanas.

A robustez do modelo refere-se à capacidade de um modelo de aprendizado de máquina de manter seu desempenho apesar de mudanças nos dados de entrada ou no ambiente.

A Segurança de Modelo refere-se a garantir a confiabilidade e segurança dos modelos de IA durante o desenvolvimento e implantação.

OpenAI é uma organização de pesquisa em IA focada no desenvolvimento de inteligência artificial segura e benéfica.

Uma amostra fora de distribuição é um ponto de dado que não se conforma com a distribuição de treinamento de um modelo.

Outer Alignment refers to ensuring that an AI's goals align with human values and societal norms.