Na crónica de há duas semanas escrevi sobre o incidente da Hugging Face e o alinhamento da indústria em torno do discurso da desaceleração da oferta inovadora em IA. Nessa crónica, apenas aflorei de passagem um aspeto que, a meu ver, merece mais atenção, por ter uma importância nuclear no futuro da IA, sobretudo no plano geopolítico, e que se prende com o edifício das salvaguardas – designadas tecnicamente de “guardrails” – que os fabricantes construíram – supostamente – para nos proteger do mau uso. A prática, porém, está a ter resultados perversos, já que este tipo de guardrails está a empurrar os utilizadores mais qualificados ou que precisam de flexibilidade, por razões perfeitamente válidas, a recorrer a modelos chineses. É sobre isto que quero falar hoje, por ser uma das maiores lições que a indústria da cibersegurança aprendeu com a análise do famoso ataque de agentes à Hugging Face.

Fazendo um “flashback”, há que recordar que a Hugging Face, à altura, terá detetado movimentos estranhos nos pedidos de acesso, tendo, com isso, percebido que estava a ser atacada por agentes autónomos que se moviam a uma velocidade significativa, encadeando vulnerabilidades e obtendo privilégios de administrador em clusters inteiros. Perante este movimento invulgar, a equipa de cibersegurança da Hugging Face fez o que se recomenda nestes casos: alimentou os modelos comerciais com o código do ataque e com mais de dezassete mil eventos (“logs”) que os atacantes deixaram para trás.

Ora, num momento essencial para a empresa, os modelos comerciais da Anthropic recusaram colaborar, porque as guardrails que trazem embutidas não sabem distinguir quem ataca de quem se defende, tratam o código malicioso da mesma maneira quer venha de um criminoso quer venha de um responsável de segurança a investigar um incidente em curso, obrigando neste caso a Hugging Face, no meio da crise, a recorrer a um modelo aberto chinês, no caso, o GLM, instalado nos seus próprios servidores, sem os filtros limitadores que os fornecedores ocidentais apresentam nas suas versões, para fazer em horas o que os modelos de fabrico ocidental lhe negaram. A lição que fica é demasiadamente incómoda: a mesma permissividade que torna o modelo chinês perigoso nas mãos de um atacante é o que o torna útil nas mãos de quem o defende; em sentido inverso, os modelos ocidentais arriscam-se a ser inúteis no momento em que são mais necessários.

E convém dizer com rigor o que são estes guardrails porque se fala deles com........

© Observador