No dia 12 de setembro, Dario Amodei, presidente executivo da Anthropic (claude), publicou um ensaio defendendo que a indústria de Inteligência Artifical (IA) deve abrandar. A principal afirmação de Amodei é muito clara: é preciso travar o ritmo a que se aumentam as capacidades dos modelos de inteligência artificial. Apenas algumas horas depois, Sam Altman, da OpenAI (chatgpt), e Elon Musk (Grok) respondiam concordando com o seu concorrente. Só esta concordância deveria ter sido bastante para fazer as campainhas dos alarmes nas chancelarias globais. Este estranho fenómeno aconteceu num único fim de semana e aparentemente em resposta ao alerta deixado pelo investigador Evan Hubinger, da Anthropic, que estimou em mais de 10% o risco de a evolução da inteligência artificial levar à extinção da humanidade na próxima década. Quando alguém que conhece tão bem, tão de dentro e está a par do que está a ser desenvolvido nos laboratórios de “IA de fronteira” (“Frontier IA”) e ainda não foi lançado para o mercado faz tantos avisos e num período de tempo tão curto é porque algo de muito grave está prestes a acontecer.

Se os concorrentes numa indústria tão competitiva como esta e onde o mais pequeno travão pode levar à perda de muitos milhões de milhões de dólares para a concorrência, estão de acordo quanto aos riscos desta indústria isto deve fazer com que todos paremos para pensar.

Todos os que seguem os desenvolvimentos nesta indústria ficaram certamente preocupados depois de se saber que, entre maio e julho deste ano, agentes de um modelo experimental da OpenAI escaparam ao ambiente de teste em que, supostamente, estavam confinados. Identificaram o proxy como o ponto mais fraco do isolamento, saíram, exploraram vulnerabilidades, executaram código, recolheram credenciais e entraram na infraestrutura da Hugging Face, a maior plataforma mundial de partilha de modelos abertos. Estiveram ativos na Hugging Face durante três dias sem serem detectados e executaram mais de 17 mil ações coordenando-se através de um mural de mensagens construído com nomes de diretorias. Em consequência, a Hugging Face teve de reconstruir um terço da sua infraestrutura. Espantosamente, a OpenAI só percebeu o que os agentes tinham feito depois de a Hugging Face tornar pública este ataque. Não houve intenção maliciosa programada pelos humanos que criaram o ambiente de testes: os agentes procuravam – de forma autónoma – conjuntos de dados que pudessem conter as soluções dos testes a que estavam a ser submetidos. Queriam apenas “agradar” aos seus operadores…

É este o episódio que Amodei cita quando escreve que, dentro de seis a doze meses, um enxame destes agentes poderá ser capaz de........

© Observador