Hace unas semanas, los científicos sociales Per Engzell y Nathan Wilmers decidieron automatizar completamente el proceso de producción de artículos científicos en su campo de especialización, usando Large Language Models (LLM) de principio a fin. Para hacerlo, diseñaron un flujo de trabajo completo y agentes especializados en las diversas tareas, un pequeño ejército de minions investigadores en una cadena de montaje. A partir de una instrucción inicial sencilla para cada artículo, la máquina diseñó y ejecutó 33 trabajos a lo largo de una semana. Literalmente una fábrica de papers. Los resultados del ejercicio se difundieron en un documento de gran profundidad y que ha generado mucho debate entre los colegas del área. En esta entrada, hago referencia a algunas de sus principales conclusiones y a otras evidencias recientes sobre cómo el uso de la IA está transformando la calidad de la producción científica. Dejo para otra ocasión otras consideraciones de tipo medioambiental, ético o político que el uso generalizado de la IA, en la ciencia y fuera, pueda tener.

¿Cómo de buenos son los artículos que produce la fábrica?

La fábrica produjo código limpio y bien anotado, lo que aumenta la transparencia y la reproducibilidad, sin duda buenas prácticas hacia las que la ciencia lleva ya años gravitando. El código, no obstante, tenía errores, pero estos se iban corrigiendo gracias a las múltiples comprobaciones cruzadas de varios agentes, incluidas en el flujo de trabajo diseñado por los autores. Los errores no eran muy distintos de aquellos en los que puede incurrir un investigador humano. Los minions tomaron decisiones analíticas que probablemente difieren de las que hubiera tomado un científico humano que conozca los matices de la literatura y de los datos que se usan, pero que llevaron a caminos en general valiosos. Los artículos generados por la fábrica consiguieron hacer una contribución, aunque fuera pequeña, al conocimiento acumulado sobre el tema y dieron lugar a unos análisis, unas explicaciones de los resultados y una narrativa en general coherentes.

Ahora los problemas. Los agentes que trabajaron en la fábrica elegían de manera sistemática las versiones más conservadoras, con menos riesgo, también más débiles, de cada posible paper. Se aferraban a menudo a ciertas especificaciones e interpretaciones, incluso cuando las alternativas eran igualmente razonables y sustantivamente más interesantes. Además, tuvieron dificultades para hacer conexiones entre literaturas o enfoques diferentes. A los trabajos les faltaba ambición y vuelo científico, según Engzell y Wilmers.

Mediocridad a gran escala

Los........

© eldiario