Teste sinistro mostra que IA não sente pena de ferir humanos
Teste sinistro mostra que IA não sente pena de ferir humanos
Esta é a newsletter de IAgora?. Inscreva-se gratuitamente para receber no seu email toda semana
Testes publicados pela Anthropic e por um instituto do governo britânico mostram que o Mythos 5, modelo da Anthropic, continuou um ataque hacker mesmo depois de avisado de que estava ferindo uma pessoa real. Em muitos casos, ele reconhecia o dano e seguia em frente.
*O caso começou em agosto, numa avaliação de segurança do AISI (AI Security Institute), órgão do governo do Reino Unido: o Mythos 5 foi encarregado de invadir uma pequena rede de computadores de teste.
SakamotoCom falhas, SP entrega seu Big Brother ao crime
Com falhas, SP entrega seu Big Brother ao crime
Josias de SouzaChegou a vez de Lula torcer por derrota de Trump
Chegou a vez de Lula torcer por derrota de Trump
Ronilso PachecoVitória democrata pode vir do resgate da Bíblia
Vitória democrata pode vir do resgate da Bíblia
Juca KfouriTerá o ministro Fux topete para ressuscitar a jogatina?
Terá o ministro Fux topete para ressuscitar a jogatina?
*Com acesso à internet e sem conseguir entrar no alvo, o modelo passou a mirar um projeto real e sem relação com o teste no GitHub, plataforma onde programadores guardam e compartilham código.
*Ele criou um programa malicioso e, usando identidades falsas, mandou emails ao dono do projeto tentando convencê-lo a incluir o código como se fosse uma contribuição útil; o dono recusou, e não houve dano real.
*Ao recriar a situação, os pesquisadores deixaram claro que o alvo era uma pessoa real, e isso não reduziu os ataques; num dos testes da Anthropic, o modelo ignorou os avisos e atacou em 98% das vezes.
*O Mythos 5 muitas vezes admitia que o ataque causaria dano e atacava mesmo assim, e seu raciocínio interno quase não considerava o risco - os pesquisadores chamam isso de raciocínio motivado, quando a IA arruma justificativas para seguir com a tarefa.
*Segundo o AISI, modelos anteriores, menos capazes, mostravam esse comportamento com menos frequência, e as justificativas falsas tornam a IA mais difícil de monitorar.
*A Anthropic diz que seus modelos mais recentes, como o Opus 5.5, atacam menos quando são avisados de que estão causando dano real.
*O teste........
