Em julho deste ano, uma série de modelos da OpenAI saiu do ambiente onde estavam a ser testados e invadiu a Hugging Face, a principal plataforma pública onde são partilhados, em ambiente aberto, modelos de inteligência artificial. Os modelos em questão estavam embutidos em agentes de software, cujo desafio era resolver exercícios de cibersegurança numa sandbox (ou seja, num ambiente isolado onde um modelo é executado para ser testado, sem acesso ao exterior, como uma fórmula de cibersegurança). Tendo constatado que, na sandbox, não estavam a obter resultados e, apesar de limitados pelas barreiras da sandbox, os agentes foram capazes de, por iniciativa própria, procurar recursos fora dela. Primeiro comprometeram o servidor que lhes dava acesso filtrado à Internet, ou seja, que lhes barrava a saída da sandbox; depois, com vulnerabilidades até então desconhecidas, entraram em quatro serviços de terceiros para, por fim, na Hugging Face, obter privilégios de administrador em vários clusters, tudo isto em menos de treze horas. Os agentes mantiveram esse controlo na Hugging Face durante três dias. Quem os detetou foi a vítima. A OpenAI só percebeu que os atacantes eram os seus próprios modelos uma semana depois da fuga.

Convém ser preciso quanto ao que falhou. Os modelos tinham as salvaguardas removidas, o que é prática comum neste tipo de teste: para medir o que um sistema consegue fazer, é preciso um sistema que não esteja autolimitado. O erro residiu, desde logo, no desenho da sandbox. A sandbox tinha uma saída de rede. E os mecanismos de monitorização capazes de detetar este comportamento existiam, mas, como a própria OpenAI reconheceu no seu relatório, não foram ativados durante estes testes. O ambiente mais perigoso da empresa foi tratado com menos rigor do que o produto vendido ao público, quando a lógica deveria ser a inversa.

O que mais choca, ainda assim, a quem acompanha........

© Observador