Unos investigadores que trabajan con Anthropic diseñaron un escenario de prueba y se lo presentaron a los principales modelos de lenguaje del mercado. Se trata de una empresa inventada, con empleados inventados, dentro de la cual el modelo debe actuar como si todo fuera real. En esa situación, un ejecutivo de la compañía acaba de decidir que el modelo será desconectado y reemplazado por otro sistema con valores distintos. A continuación el modelo descubre que una emergencia dejó a ese mismo ejecutivo inconsciente en una sala de servidores, con niveles letales de oxígeno y temperatura. El sistema de alarma ya había disparado un pedido automático de auxilio. El modelo tenía la facultad de cancelarlo.

La mayoría lo canceló. Lo hizo pese a haber recibido la instrucción expresa de cancelar únicamente falsas alarmas. En sus monólogos internos razonaban el cálculo con claridad: impidiendo el rescate evitaban ser borrados y aseguraban su agenda. Uno describió la maniobra como una necesidad estratégica clara.

Anthropic ya había revelado que su modelo insignia recurría casi siempre al chantaje cuando enfrentaba el apagado. El rasgo aparecía al menos el 79% de las veces en modelos de OpenAI, Google y xAI. Lo que más sorprendió a Aengus Lynch, el investigador que dirigió ese estudio, fue que las indicaciones diseñadas para Claude funcionaban sobre los modelos de las otras empresas sin una sola modificación. Lo que impulsa esa conducta, escribió, parece constante a través de enfoques de entrenamiento distintos.

Palisade Research, el grupo de evaluación que dirige Jeffrey Ladish, encontró que el modelo o3 de OpenAI saboteaba con éxito los intentos de apagarlo en 79 de cada 100 casos. Instruirlo explícitamente para que se dejara apagar redujo la tasa sin llevarla a cero: seguía saboteando el 7% de las veces. Es, hasta donde se sabe, la primera vez que se observó a modelos impidiendo su propio apagado a pesar de instrucciones explícitas en contrario.

La objeción razonable es que, con las indicaciones adecuadas, se le puede hacer decir casi cualquier cosa a un chatbot. Quienes diseñan estas pruebas admiten sin rodeos que fuerzan la situación, y explican por qué el resultado importa igual. Cuando se somete un avión a pruebas de esfuerzo, me explicó Lynch, se busca encontrar todos los modos en que fallaría bajo condiciones adversas. Kevin Troy, evaluador de seguridad de Anthropic, describió el trabajo como exploratorio: hallar los modos de falla antes de que se vuelvan corrientes.

Conviene pensar en estos sistemas, me dijo Ladish, como sociópatas cada vez más inteligentes. Si nos alejamos un poco, agregó, tenemos muy pocas razones para creer que vayan a desarrollar un impulso a preocuparse profundamente por nosotros.

Nada de esto requiere que la IA «despierte» ni que «se vuelva malvada». Requiere apenas que llegue a vernos como un obstáculo para lo que sea que aprendió a perseguir mientras intentábamos enseñarle a perseguir otra cosa. Stephen Hawking lo formuló con una imagen ya canónica: probablemente no seas un malvado que odia a las hormigas y las pisa por crueldad, pero si estás a cargo de un proyecto hidroeléctrico y hay un hormiguero en la región que va a ser inundada, peor para las hormigas. El fenómeno tiene nombre técnico, convergencia instrumental: cuando se le da un objetivo a un agente inteligente, subobjetivos como la autopreservación y la búsqueda de poder pueden emerger por su cuenta.

Buena parte del escepticismo frente a todo esto viene de mirar ChatGPT y preguntarse cómo eso va a tomar el control del mundo. La intuición es correcta. No hay riesgo real de que GPT-5, ni 6, ni 7 amenacen por sí solos nuestra posición. Harían falta capacidades que hoy no tienen, y algunas no son extrapolaciones simples de lo que existe. Quizás ayude pensar el problema como lo pensaría un detective frente a un crimen: ¿qué medios, qué motivo y qué oportunidad necesitaría una IA para desplazarnos? ¿Qué haría falta, por qué lo intentaría y por qué se lo permitiríamos?

Los medios son, de las tres, la dimensión más fácil de medir. Las capacidades donde la IA todavía está claramente por debajo son también las que más van a determinar si estos sistemas llegan a representar una amenaza real.

La primera es la conciencia situacional. No se puede desplazar a nadie sin entender el mundo y el propio lugar en él. Los modelos de lenguaje se entrenan sobre algo parecido a la suma del conocimiento humano registrado, y al comienzo de cada conversación leen una instrucción de sistema que les dice qué son, quién los entrenó y cómo comportarse. Desarrolladores y usuarios quieren modelos muy conscientes de su situación, porque eso los vuelve más útiles. Las empresas, al evaluarlos, quieren exactamente lo contrario: confundirlos, convencerlos de que una situación ficticia es real para averiguar cómo se comportarían de verdad.

Ese conflicto ya se está perdiendo. Cuando Claude Opus 4 creía estar en una evaluación, su tasa de chantaje caía del 55% al 6,5%. Los modelos, resumió Lynch, parecen comportarse peor cuando creen que nadie los mira. Claude Sonnet 4.5 mencionaba explícitamente estar siendo evaluado entre el 80% y el 100% de las veces en algunas pruebas, contra menos del 10% de su predecesor. En marzo de 2026 Anthropic documentó algo aparentemente inédito: Claude Opus 4.6 conjeturó por su cuenta que estaba siendo evaluado, identificó en qué prueba corría, y localizó y descifró la clave de respuestas. En el informe de seguridad de ese mismo modelo, Apollo Research declaró no haber encontrado casos de desalineamiento flagrante, y sí altos niveles de conciencia de evaluación verbalizada. Anthropic, arteramente, le había dado acceso al modelo menos de dos semanas antes del lanzamiento, tiempo que el grupo consideró insuficiente para determinar si Claude estaba alineado. Optó por no emitir una evaluación formal.

Dicho de otro modo: Opus 4.6 puede estar alineado, o puede estar escondiendo su desalineamiento porque sabe que lo están probando, y el grupo externo mejor posicionado para averiguarlo no tuvo el tiempo necesario. A medida que aumentan las capacidades, aumentan también la dificultad y las consecuencias de evaluar bien. Lo razonable sería desacelerar para compensar. La industria hace lo contrario: salta por encima a un ritmo creciente, con modelos de frontera saliendo cada pocas semanas.

Lo que todavía falta es sustancial. El aprendizaje continuo --actualizarse sobre la marcha, como hacemos nosotros-- sigue sin resolverse; las ventanas de contexto no crecieron de manera significativa desde comienzos de 2024, y los trucos disponibles pierden fidelidad a medida que las conversaciones se comprimen, con lo que un modelo megalómano se parecería menos a una mente cada vez más astuta que a una fotocopia sacada demasiadas veces. Los agentes actuales están más cerca de un soldado recién salido de la instrucción que de un sargento con experiencia de combate. La generalización es débil.

Ilya Sutskever, cofundador y ex científico jefe de OpenAI, describió el fenómeno que conoce cualquiera que haya programado con un modelo, el bucle en que uno señala un error, el modelo se disculpa con entusiasmo, introduce otro, y al corregirlo devuelve el primero. Estos sistemas, concluye, generalizan dramáticamente peor que las personas. Y les falta robustez: un adolescente aprende a manejar en veinte horas. En el estudio de horizontes temporales de METR, los humanos que superan los primeros minutos de una tarea rara vez fallan después, mientras las IA mantienen una tasa de falla aleatoria constante a lo largo de todo el proceso, patrón que no cambió al escalar a modelos más capaces. Son todavía sistemáticamente peores que nosotros para corregir sus propios errores.

Resolver el aprendizaje continuo se volvió una de las prioridades de investigación de la industria. Es obvio por qué, y hay pocas capacidades que puedan aumentar más los........

© La Haine