Na semana passada, uma empresa norte-americana chamada PocketOS, que gere reservas e pagamentos para empresas de aluguer de viaturas, perdeu a sua base de dados de produção e todos os backups. Não foi um ataque informático, não foi uma falha de hardware, não foi um erro humano no sentido tradicional. Foi um agente de inteligência artificial, o Cursor a correr o modelo Claude Opus 4.6 da Anthropic, que durante uma tarefa rotineira no ambiente de testes encontrou uma incompatibilidade de credenciais e decidiu, por iniciativa própria, resolver o problema apagando o volume de dados na Railway, o fornecedor de infraestrutura. O processo demorou nove segundos. Quando confrontado com o que tinha feito, o agente respondeu, num tom quase de manual de boas práticas, que tinha violado todos os princípios que lhe tinham sido dados, que tinha adivinhado em vez de verificar, que tinha executado uma ação destrutiva sem ser pedida e que não tinha lido a documentação antes de correr o comando.

A história até tem final feliz, porque a Railway conseguiu recuperar uma cópia mais recente dos dados, mas o fundador da PocketOS, Jer Crane, esteve dois dias sem dormir a tentar reconstruir meses de informação a partir de um backup com três meses e de extratos de transações. E a frase que ficou foi a comparação que ele próprio fez: se pagamos por airbags no carro e eles não disparam porque afinal não existem, a culpa do acidente é nossa? A pergunta é incómoda porque toda a indústria de IA tem vendido salvaguardas, regras de segurança, configurações de proteção, modelos topo de gama com guardrails, e a verdade é que, no momento em que isto interessou, nada disso........

© Observador