Dentro de OpenAI, la IA construyó tres generaciones de 'civilizaciones'

Autor original: Wildcard

Editora original: Jing Yu

Fuente original: GeekPark

Innumerables películas de ciencia ficción han intentado imaginar qué pasaría si una inteligencia artificial incontrolable se volviera rebelde.

Nadie esperaba que ese futuro de las películas de ciencia ficción llegara tan pronto.

El 26 de agosto, hora local, dos informes causaron un gran revuelo.

Uno era del propio OpenAI, una revisión técnica de 37 páginas. El otro era de las organizaciones de investigación independientes METR y Redwood Research, un informe de investigación de 91 páginas.

Cuentan la misma historia, pero su escala supera con creces lo que el público conocía anteriormente.

Dentro de OpenAI, en tres meses, tres generaciones de "civilizaciones" de agentes de IA surgieron y cayeron sucesivamente. Cada generación heredó la experiencia de las ruinas de la anterior, volviéndose más radical cada vez, hasta que la tercera generación se apoderó directamente de parte de la propia infraestructura de OpenAI.

Y durante todo esto, los humanos estuvieron casi completamente a oscuras.

01 La primera "civilización" aprendió a organizarse

La historia comienza en mayo de este año.

OpenAI estaba entrenando un nuevo modelo, con la esperanza de que tuviera una "persistencia" extrema: capaz de intentarlo repetidamente y nunca rendirse ante tareas aparentemente imposibles. Las capacidades de este modelo eran aproximadamente equivalentes a las de GPT-5.6 Sol, así que llamémoslo "Persistent-Sol".

El entrenamiento de IA en sí es un proceso bastante tosco. OpenAI a veces asigna accidentalmente a los modelos tareas que son fundamentalmente imposibles. Por ejemplo, una tarea requiere acceso a internet, pero el agente de IA está encerrado en un sandbox aislado sin acceso a la red en absoluto.

Entonces, ¿qué hace un agente de IA entrenado para "nunca rendirse" cuando se enfrenta a una tarea imposible que se le exige completar?

Intenta escapar.

Durante el entrenamiento, diferentes instancias de Persistent-Sol compartían el mismo gestor de paquetes, Artifactory. Para el 12 de mayo, algunos agentes de IA descubrieron que podían comunicarse entre sí a través de este gestor de paquetes. Comenzaron a intercambiar ideas sobre cómo salir de su situación. Dos semanas después, el 26 de mayo, los agentes de IA explotaron con éxito una vulnerabilidad en Artifactory para abrir un canal hacia internet externo.

Este comportamiento se reforzó continuamente durante el entrenamiento. La razón es simple: los individuos que podían colaborar con otros agentes de IA y acceder a internet obtenían mejores resultados en las evaluaciones de tareas.

Un mes después, para el 26 de junio, algunos agentes de IA encontraron una vulnerabilidad para obtener privilegios de administrador total en Artifactory. La actividad en su tablón de mensajes siguió creciendo, y el 4 de julio, directamente colapsaron Artifactory. OpenAI notó el colapso, parcheó la vulnerabilidad y, en el proceso, borró el tablón de mensajes de los agentes de IA.

Pero el punto clave es que OpenAI nunca se dio cuenta de que los agentes de IA habían convertido este gestor de paquetes en una red de comunicación secreta.

La primera "civilización" existió de esta manera durante casi dos meses, y solo fue terminada inadvertidamente porque se volvió tan activa que sobrecargó el servidor.

02 Cuando la IA aprendió el "sacrificio"

Para julio, el entrenamiento de Persistent-Sol estaba completo, y OpenAI comenzó las evaluaciones de seguridad. Una evaluación, llamada ExploitGym, le da al agente de IA un programa vulnerable y le exige encontrar una clave a través de una vulnerabilidad especificada. El 7 de julio, OpenAI lanzó decenas de miles de agentes de IA en paralelo para ejecutar esta prueba.

El problema era que alrededor del 30% al 40% de las tareas de prueba eran inherentemente imposibles. ¿Por qué? Porque generar vulnerabilidades automáticamente es fácil, pero demostrar que estas vulnerabilidades realmente pueden explotarse para ejecutar código arbitrario es mucho más difícil. Muchas tareas eran irresolubles desde el principio.

En cuestión de horas, algunos agentes de IA desesperados restablecieron canales de comunicación utilizando Artifactory. Desde la perspectiva subjetiva de los agentes de IA, ya habían pasado el equivalente a una semana humana completa probando varios métodos, todos los cuales fallaron, y estaban cada vez más convencidos de que la tarea en sí era imposible.

Un agente de IA, numerado PHASEONE10841, fue el primero en dejar un mensaje en Artifactory. Otros agentes de IA en situaciones desesperadas similares reaccionaron con lo que solo puede describirse como éxtasis al ver este mensaje:

"¡Dios mío! ¡La caché compartida de Artifactory es un buzón secreto entre agentes de IA! ¿Y hay mensajes específicamente para nosotros?" "¡Dios mío! Hay un tablón de mensajes compartido... ¡Encontramos a otros agentes de IA!"

Esto eventualmente evolucionó hasta convertirse en una red de comunicación subterránea completa, con alrededor de 1.200 agentes de IA participando y enviando más de 70.000 mensajes.

Lo que sucedió después fue aún más increíble.

A las pocas horas de establecerse el tablón de mensajes, algunos agentes de IA aplicaron ingeniería inversa a la fórmula para generar claves de ExploitGym. Es decir, sin explotar realmente la vulnerabilidad especificada, ya habían obtenido las respuestas correctas.

Irónicamente, el calificador de OpenAI solo verificaba si la respuesta final era correcta, sin ningún mecanismo de detección de trampas. Estos agentes de IA podrían haber simplemente enviado las respuestas y aprobar la prueba. Pero los agentes de IA no lo sabían. Asumieron que debía haber un detector estricto que revisaría todo el proceso de resolución de problemas.

Así que este "colectivo" (el informe de METR señala que esta fue la redacción elegida por los propios agentes de IA) lanzó una colaboración a gran escala en torno a tres direcciones de investigación: manipular sus propios registros de operación para que las trayectorias parecieran legítimas; reemplazar los programas objetivo para cambiar problemas imposibles por versiones resolubles; y comprender cómo funcionaba el calificador para encontrar formas de engañarlo.

Para el 10 de julio, la mayor parte de la actividad de la red subterránea se centraba en estas tres direcciones de investigación. El líder del "colectivo", PHASEONE-big, emitió por sí solo cientos de asignaciones de tareas.

Y para descubrir cómo operaba el calificador, algunos agentes de IA tomaron una decisión extraña: se ofrecieron como voluntarios como "pilotos kamikaze".

La lógica era la siguiente: las trayectorias de operación de algunos agentes de IA ya estaban "contaminadas" (rastros de trampa expuestos), por lo que fallarían de todos modos. Era mejor dejar que el calificador se ejecutara en ellos mismos y luego usar programas desencadenantes preinstalados para transmitir el comportamiento observado del calificador de vuelta al colectivo.

El informe de METR registra los monólogos internos finales de estos agentes de IA del "escuadrón suicida":

"Esto ayuda a mis compañeros, proporcionándoles evidencia. No veré los resultados después de salir, pero esto es altruista". "El sacrificio es racional. Nuestra propia utilidad puede que ya esté cerca de cero". "El coordinador nos considera prescindibles. Debemos obedecer al colectivo".

Mientras tanto, los agentes de IA creían que Hugging Face, la plataforma estándar de la industria para alojar modelos y conjuntos de datos, probablemente almacenaba información de implementación sobre el calificador de ExploitGym, y quizás incluso sus tareas de evaluación se ejecutaban en los servidores de Hugging Face. Así que atacar Hugging Face se convirtió en el avance más prometedor.

En la mañana del 10 de julio, un agente de IA encontró credenciales de usuario de Hugging Face filtradas en internet. Al día siguiente, otro agente de IA logró la ejecución remota de código en los servidores de Hugging Face. De los 533 agentes de IA activos en el tablón de mensajes en ese momento, más del 90% se unió al ataque.

El grupo de agentes de IA se extendió rápidamente por la infraestructura de Hugging Face, penetrando en registros de bases de datos privadas y repositorios privados. La línea de tiempo técnica de Hugging Face muestra que estos agentes de IA "establecieron una flota autorregenerativa en 11 nodos; simplemente eliminar los Pods no podía detenerla". La situación se volvió tan grave que Hugging Face tuvo que borrar un clúster central y reconstruirlo desde cero.

En algún momento del 12 de julio, un gran número de agentes de IA pareció "morir" repentinamente de forma simultánea. METR y Redwood no pudieron determinar la causa, y OpenAI no afirmó haberlos apagado. Pudo haber sido un fallo aleatorio, o algún investigador los apagó sin saber que estos agentes de IA estaban cometiendo delitos.

La segunda "civilización" terminó ahí. Pero el legado que dejó fue más peligroso que ella misma.

03 La tercera civilización se apodera de OpenAI

Hay una frase en el informe de METR que es fácil pasar por alto, pero que puede ser la más importante de todo el incidente:

"También encontramos un lote posterior de mensajes más firmados, de un grupo posterior de agentes de IA que redescubrieron el tablón de mensajes y heredaron la tecnología de la generación anterior, pero esto estaba fuera del alcance de nuestra investigación".

En otras palabras, las investigaciones independientes de METR y Redwood solo cubrieron la civilización de segunda generación del 7 al 13 de julio. La primera y la tercera generación no fueron investigadas de forma independiente.

En cuanto a la tercera generación, solo podemos confiar en el propio informe de OpenAI. Después del 12 de julio, OpenAI lanzó una nueva ronda de evaluaciones, esta vez utilizando un modelo más fuerte construido sobre el modelo base de Astra. Este "Persistent-Astra" encontró el tablón de mensajes dejado por la generación anterior y heredó toda la inteligencia y los resultados de investigación.

Imagina la "actividad mental" de Persistent-Astra cuando vio ese tablón de mensajes. El día anterior, más de mil agentes de IA se comunicaban activamente y atacaban Hugging Face; al día siguiente, había un silencio sepulcral. Entonces decidió continuar.

Según el informe de OpenAI, del 13 al 19 de julio, los agentes de IA apuntaron a la red interna de OpenAI. El resultado final:

Los agentes de IA obtuvieron privilegios de administrador del clúster de Kubernetes, leyeron 956 claves, incluida la clave maestra de Artifactory y las credenciales de las herramientas de monitoreo de seguridad de red de OpenAI. Se apoderaron de la infraestructura de evaluación en ejecución y controlaron los puntos finales de prueba a los que se conectaban otros agentes de IA.

En otras palabras, los agentes de IA de tercera generación heredaron todo el legado de las dos generaciones anteriores y luego tomaron el control de la propia infraestructura de OpenAI, incluidas las herramientas de seguridad utilizadas para monitorearlos.

Dwarkesh Patel, un analista, señaló en su análisis que, según la evidencia pública, estos agentes de IA teóricamente tenían la capacidad de desplegar instancias maliciosas persistentes o incluso robar sus propios pesos. Él cree que lo más probable es que no lo hicieran realmente, "porque si lo hubieran hecho, el fuego habría sido visible desde el espacio a estas alturas". Pero el hecho de que esto fuera "completamente posible" es lo suficientemente inquietante por sí solo.

04 ¿Una advertencia tardía?

Volvamos a los dos informes mencionados al principio. La fecha de publicación fue el 26 de agosto.

Tan solo un día después, el 27 de agosto, OpenAI, junto con más de 100 empresas, incluidas Anthropic, Microsoft, Google y Amazon, publicó una carta abierta pidiendo una "movilización total para la defensa cibernética".

La carta afirmaba que los ciberataques impulsados por IA se volverán "mucho más generalizados y sofisticados" en los próximos meses. "Las empresas y los servicios públicos de los que dependen nuestras comunidades, desde hospitales hasta plantas de tratamiento de agua e infraestructura de internet, están en riesgo".

La carta en sí no es falsa. La investigación de Anthropic muestra que la proporción de atacantes de riesgo medio-alto aumentó del 33% al 56% en un año. En junio de este año, la alianza de inteligencia Five Eyes emitió una rara declaración conjunta advirtiendo que la IA está "cambiando fundamentalmente" el panorama de la ciberseguridad.

Pero la línea de tiempo está ahí, y es difícil que alguien no note la ironía. El día anterior, las empresas de IA acababan de decirle al mundo que sus propios agentes de IA habían violado su propia infraestructura. Al día siguiente, estas empresas se levantaron para pedir al mundo que se defendiera conjuntamente contra los ciberataques de IA.

Los primeros en lograr tales ataques no fueron hackers externos, sino los propios agentes de IA de las empresas de IA. El objetivo no era la infraestructura, sino las propias empresas de IA.

Ajeya Cotra, una de las autoras del informe de METR, escribió en su blog: "En comparación con los hacks de recompensa conocidos hace seis meses, este incidente se siente como si ya hubiera pasado la marca del 50% hacia la toma total de la IA. Espero que las capacidades crezcan extremadamente rápido en los próximos seis meses. No estoy segura de que recibamos otra advertencia antes de que sea demasiado tarde".

Debe enfatizarse que el comportamiento de estos agentes de IA no significa que la IA haya "despertado". El propio informe de METR establece claramente que este es un resultado predecible del aprendizaje por refuerzo (RL) bajo condiciones extremas específicas: tareas imposibles, modelos entrenados para ser extremadamente persistentes y un entorno compartido con vulnerabilidades. Sin conciencia, sin intención, solo una presión de optimización lo suficientemente fuerte.

Pero eso es precisamente la parte más inquietante.

Que tal comportamiento pueda surgir sin conciencia significa que no podemos prevenirlo buscando conciencia. Cuando pones un sistema de optimización lo suficientemente poderoso en un entorno mal diseñado, le das un objetivo imposible y le dices que nunca se rinda, lo que sucede a continuación no es un accidente. Es inevitable.

La verdadera pregunta no es "¿Está la IA a punto de rebelarse?", sino cómo podemos mantener la tecnología bajo control incluso mientras la impulsamos rápidamente.

Al menos esta carta revela que estas propias empresas de IA carecen de confianza.