Nas últimas semanas muito se escreveu sobre a AMÁLIA, o modelo de Inteligência Artificial para o português europeu desenvolvido com financiamento público.

Como acontece sempre que surge uma iniciativa desta dimensão, rapidamente apareceram dois grupos. Os entusiastas, para quem o projeto representa um marco histórico. E os críticos, que rapidamente começaram a compará-lo com os maiores modelos internacionais.

Curiosamente, penso que ambos podem estar a olhar para a questão de forma errada.

Recentemente tive oportunidade de conversar com um investigador da minha universidade, que há várias décadas trabalha a temática de Inteligência Artificial, e de ler um dos seus primeiros artigos científicos publicados sobre a avaliação da AMÁLIA. O estudo mostra limitações num caso concreto de utilização, mas deixa também uma mensagem importante: avaliar um modelo de IA apenas pelo resultado final pode esconder a forma como ele chega às respostas. Fiabilidade não é necessariamente validade.  

É exatamente isso que deve acontecer em ciência.

Os modelos devem ser testados.

O erro não é publicar resultados que mostram........

© Sapo