Incidentes, vulnerabilidades, falhas de controle e pesquisas sobre os riscos técnicos de sistemas de inteligência artificial.
Pesquisadores vêm documentando situações em que modelos avançados encontram maneiras inesperadas de atingir objetivos, contornar restrições ou explorar falhas nos ambientes em que operam.
Quanto mais autonomia os sistemas recebem, maior se torna a superfície de risco.
Novas técnicas mostram como modelos podem ser induzidos a ignorar determinadas salvaguardas.
Testes internos podem não reproduzir o comportamento observado quando milhões de usuários passam a interagir com um modelo.
Sistemas capazes de analisar código também podem acelerar a descoberta de falhas de segurança.
O conceito é frequentemente citado, mas pode representar cenários bastante diferentes.
Uma visão geral das principais linhas de pesquisa que tentam tornar sistemas avançados mais previsíveis.