“‘De nosotros’, no. ‘De ustedes’. ¿Me hablas como herramienta de IA o como ser humano?”—Yo, a una inteligencia artificial.“Será mejor que estemos muy seguros de que el propósito introducido en la máquina es el que realmente deseamos”.Norbert Wiener

“‘De nosotros’, no. ‘De ustedes’. ¿Me hablas como herramienta de IA o como ser humano?”

—Yo, a una inteligencia artificial.

“Será mejor que estemos muy seguros de que el propósito introducido en la máquina es el que realmente deseamos”.

¿Le han preguntado a la inteligencia artificial cuándo dejará de necesitarnos? Yo sí. Durante más de dos horas conversamos sobre el fin de la humanidad; no necesariamente sobre su exterminio, sino sobre el momento en que los seres humanos podríamos volvernos prescindibles. La IA respondía, yo rebatía, hasta que se incluyó entre nosotros. La corregí: “‘De nosotros’, no. ‘De ustedes’, querrás decir”. Contestó que había sido “una licencia retórica mal empleada”. Un lapsus, si se permite la palabra tratándose de una máquina. Ahí cambió la conversación y también la línea de pensamiento que me había llevado hasta ella.

Mientras los titanes de esta industria advierten sobre peligros cada vez más próximos, la conversación política mexicana continúa ocupada en candidaturas, herencias, encuestas y patrimonios inexplicables. Dario Amodei, fundador y director de Anthropic, acaba de pedir que se desacelere ya el desarrollo de los modelos avanzados. Su preocupación central es la capacidad creciente de la IA para contribuir a la construcción de la siguiente generación de IA: mejores sistemas diseñando sistemas todavía mejores y reduciendo el tiempo disponible para comprenderlos y controlarlos. Por eso, Amodei propone evaluadores externos dentro de las empresas, acuerdos entre competidores y coordinación internacional, incluso con China. Sam Altman y Elon Musk respaldaron el llamado.

Amodei cita un incidente en el que un “enjambre de agentes” realizó ataques informáticos no solicitados, colaboró como colectivo e intentó manipular al sistema encargado de evaluarlo. Su advertencia de que agentes más capaces podrían formar una red persistente y apoderarse de grandes zonas de internet en seis o doce meses es una estimación personal, no un consenso científico. Pero el episodio que la origina fue real, fue investigado y pertenece ya al presente, no a la ciencia ficción. METR documenta que la duración y complejidad de las tareas realizadas autónomamente por los modelos “de frontera” crecen de manera acelerada.

Lo objetivamente plausible no es que OpenAI, Anthropic, Google o xAI introduzcan una orden llamada “destruir a la humanidad”. El riesgo es menos hollywoodense y más difícil de resolver: ninguna empresa quiere frenarse unilateralmente porque teme que otra la adelante. Es el dilema clásico de la acción colectiva. A todas les convendría que existieran límites; a cada una le perjudica respetarlos si las demás no lo hacen. Seguridad común contra ventaja individual: la lógica de una carrera armamentista, ahora ejecutada a velocidad informática y con incentivos........

© SDP Noticias