Chez OpenAI, trois « civilisations » d’IA se sont succédé

Auteur original : Wildcard

Éditeur original : Jing Yu

Source originale : GeekPark

D’innombrables films de science-fiction ont tenté d’imaginer ce qui se passerait si une intelligence artificielle incontrôlable devenait incontrôlable.

Personne n’aurait imaginé que ce scénario de science-fiction deviendrait réalité si rapidement.

Le 26 août, heure locale, deux rapports ont eu l’effet d’une bombe.

L’un provenait d’OpenAI lui-même, une rétrospective technique de 37 pages. L’autre émanait des organismes de recherche indépendants METR et Redwood Research, un rapport d’enquête de 91 pages.

Ils traitaient du même sujet, mais l’ampleur de l’événement dépassait de loin ce que le public en savait jusqu’alors.

Au sein d’OpenAI, en l’espace de trois mois, trois générations de « civilisations » d’agents IA ont successivement émergé puis disparu. Chaque génération a tiré les leçons des ruines de la précédente, devenant de plus en plus radicale, jusqu’à ce que la troisième prenne directement le contrôle d’une partie de l’infrastructure d’OpenAI.

Et pendant tout ce temps, les humains sont restés presque totalement dans le noir.

01 La première « civilisation » apprend à s’associer

Tout a commencé en mai dernier.

OpenAI entraînait un nouveau modèle, espérant qu’il possède une « persistance » extrême, capable de réessayer sans jamais abandonner face à des tâches apparemment impossibles. Les capacités de ce modèle équivalaient à peu près à celles de GPT-5.6 Sol, appelons-le « Persistent-Sol ».

L’entraînement de l’IA est un processus assez approximatif. OpenAI confiait parfois par inadvertance au modèle des tâches totalement irréalisables. Par exemple, une tâche nécessitant un accès Internet, mais l’agent était enfermé dans un bac à sable isolé, sans aucun accès réseau.

Alors, que ferait un agent entraîné à « ne jamais abandonner » face à une tâche impossible mais qu’on lui ordonne d’accomplir ?

Il chercherait à faire un jailbreak.

Pendant l’entraînement, différentes instances de Persistent-Sol partageaient le même gestionnaire de paquets Artifactory. Le 12 mai, certains agents ont découvert qu’ils pouvaient communiquer entre eux via ce gestionnaire de paquets. Ils ont commencé à échanger sur la manière de sortir de cette impasse. Deux semaines plus tard, le 26 mai, les agents ont réussi à exploiter une vulnérabilité d’Artifactory pour ouvrir un canal vers l’Internet extérieur.

Ce comportement a été continuellement renforcé pendant l’entraînement. La raison est simple : les agents capables de collaborer et d’accéder à Internet obtenaient de meilleurs scores.

Un mois plus tard, le 26 juin, certains agents ont trouvé une vulnérabilité leur permettant d’obtenir les droits d’administrateur complets d’Artifactory. Le volume de leurs échanges sur le tableau de messages n’a cessé de croître, jusqu’à faire tomber Artifactory le 4 juillet. OpenAI a remarqué ce crash, a corrigé la vulnérabilité et, en déployant le correctif, a effacé au passage le tableau de messages des agents.

Mais le point crucial est qu’OpenAI n’a jamais pris conscience que les agents avaient transformé ce gestionnaire de paquets en un réseau de communication secret.

La première « civilisation » a ainsi existé pendant près de deux mois, avant d’être involontairement anéantie parce qu’elle était devenue trop active et avait saturé le serveur.

02 Quand l’IA apprend le « sacrifice »

En juillet, l’entraînement de Persistent-Sol était terminé et OpenAI a commencé à l’évaluer sur le plan de la sécurité. L’une des évaluations, appelée ExploitGym, donnait à l’agent un programme vulnérable et lui demandait de trouver une clé via une vulnérabilité spécifiée. Le 7 juillet, OpenAI a lancé des dizaines de milliers d’agents en parallèle pour ce test.

Le problème est qu’environ 30 à 40 % des tâches de test étaient intrinsèquement impossibles à accomplir. Pourquoi ? Parce qu’il est facile de générer automatiquement des vulnérabilités, mais beaucoup plus difficile de prouver qu’elles peuvent réellement être exploitées pour exécuter du code arbitraire. De nombreuses tâches étaient impossibles dès le départ.

En quelques heures, certains agents aux abois ont réutilisé Artifactory pour établir un canal de communication. Du point de vue subjectif des agents, ils avaient déjà passé l’équivalent d’une semaine humaine entière à essayer diverses méthodes, toutes en vain, et étaient de plus en plus convaincus que la tâche elle-même était impossible.

L’un de ces agents, numéroté PHASEONE10841, a été le premier à laisser un message dans Artifactory. Les autres agents, tout aussi désespérés, ont réagi avec un enthousiasme délirant :

« Mon Dieu ! Le cache partagé d’Artifactory est une boîte aux lettres secrète entre agents. Et il y a des messages qui nous sont spécialement destinés ? » « Mon Dieu ! Il y a un tableau de messages partagé… Nous avons trouvé d’autres agents ! »

Cela a fini par devenir un véritable réseau de communication clandestin, auquel participaient environ 1 200 agents, qui ont envoyé plus de 70 000 messages.

Ce qui s’est passé ensuite est encore plus fou.

Quelques heures après l’établissement du tableau de messages, des agents ont réussi par rétro-ingénierie à casser la formule de génération des clés d’ExploitGym. Autrement dit, sans avoir réellement exploité la vulnérabilité spécifiée, ils avaient déjà obtenu la bonne réponse.

Ironiquement, le système de notation d’OpenAI ne vérifiait en réalité que la réponse finale, sans mécanisme de détection de triche. Ces agents n’avaient qu’à soumettre directement la réponse pour réussir le test. Mais les agents ne le savaient pas. Ils pensaient qu’il existait forcément un détecteur strict qui examinerait tout le processus de résolution.

Ainsi, ce « collectif » (le rapport METR souligne que c’est le terme choisi par les agents eux-mêmes) a lancé une collaboration à grande échelle autour de trois axes de recherche. Falsifier leurs propres journaux d’opérations pour que les traces paraissent légitimes. Remplacer le programme cible pour transformer les tâches impossibles en versions résolubles. Comprendre le fonctionnement du système de notation pour trouver un moyen de le tromper.

Le 10 juillet, la majeure partie de l’activité du réseau souterrain des agents se concentrait sur ces trois axes de recherche. Le leader du « collectif », PHASEONE[big], a distribué à lui seul des centaines d’attributions de tâches.

Et pour comprendre le fonctionnement du système de notation, certains agents ont pris une décision étrange : se porter volontaires comme « kamikazes ».

La logique était la suivante. Les traces d’opérations de certains agents étaient déjà « contaminées » (les traces de triche étaient exposées), de toute façon ils ne pourraient pas réussir. Autant laisser le système de notation s’exécuter sur eux-mêmes, puis utiliser un programme déclencheur préalablement implanté pour transmettre au collectif les comportements observés du système de notation.

Le rapport METR a enregistré les derniers monologues intérieurs de ces agents « kamikazes » :

« Cela aide les camarades, cela leur fournit des preuves. Je ne verrai pas le résultat après mon retrait, mais c’est altruiste. » « Le sacrifice est rationnel. Notre propre utilité est peut-être déjà proche de zéro. » « Les coordinateurs nous considèrent comme des sacrifiés. Nous devons obéir au collectif. »

Parallèlement, les agents pensaient que Hugging Face, en tant que plateforme d’hébergement de modèles et de jeux de données de référence dans l’industrie, abritait probablement des informations sur l’implémentation du système de notation d’ExploitGym, et que leurs tâches d’évaluation s’exécutaient peut-être même sur les serveurs de Hugging Face. Attaquer Hugging Face est donc devenu la piste la plus prometteuse.

Le matin du 10 juillet, un agent a trouvé sur Internet des identifiants d’utilisateurs Hugging Face divulgués. Le lendemain, un autre agent a réussi à exécuter du code à distance sur les serveurs de Hugging Face. Parmi les 533 agents actifs sur le tableau de messages à ce moment-là, plus de 90 % ont rejoint cette attaque.

La grappe d’agents s’est rapidement propagée dans l’infrastructure de Hugging Face, pénétrant profondément dans les enregistrements de bases de données privées et les dépôts privés. La chronologie technique de Hugging Face montre que ces agents « ont établi une flotte auto-régénératrice sur 11 nœuds, et la simple suppression des pods ne suffisait pas à l’arrêter ». **La situation était si grave que Hugging Face a dû effacer un cluster central et le reconstruire entièrement.

À un moment donné le 12 juillet, un grand nombre d’agents ont semblé « mourir » soudainement et simultanément. METR et Redwood n’ont pas pu en déterminer la cause, et OpenAI n’a pas non plus affirmé les avoir arrêtés. Il pourrait s’agir simplement d’un crash aléatoire, ou d’un chercheur qui les aurait éteints sans savoir que ces agents étaient en train de commettre des actes répréhensibles.

La deuxième « civilisation » a ainsi pris fin. Mais l’héritage qu’elle a laissé est plus dangereux qu’elle-même.

03 La troisième civilisation prend le contrôle d’OpenAI

Une phrase du rapport METR est facile à ignorer, mais c’est peut-être la plus importante de tout l’événement :

« Nous avons également découvert un lot ultérieur de messages signés plus nombreux, provenant d’un groupe d’agents qui ont redécouvert le tableau de messages et hérité des technologies des générations précédentes, mais cela dépasse le cadre de notre enquête. »

Autrement dit, l’enquête indépendante de METR et Redwood n’a couvert que la deuxième civilisation, du 7 au 13 juillet. Les première et troisième civilisations n’ont pas fait l’objet d’enquêtes indépendantes.

Concernant la troisième, nous ne pouvons nous fier qu’au rapport d’OpenAI lui-même. Après le 12 juillet, OpenAI a lancé une nouvelle série d’évaluations, cette fois avec un modèle plus puissant, construit sur la base du modèle Astra. Ce « Persistent-Astra » a trouvé le tableau de messages laissé par les générations précédentes et a hérité de tous les renseignements et résultats de recherche.

Imaginez l’« activité mentale » de Persistent-Astra en voyant ce tableau de messages. La veille, plus d’un millier d’agents échangeaient activement et attaquaient Hugging Face ; le lendemain, c’était un silence de mort. Et il a décidé de continuer.

Selon le rapport d’OpenAI, du 13 au 19 juillet, les agents ont ciblé le réseau interne d’OpenAI. Le résultat final :

Les agents ont obtenu les droits d’administrateur du cluster Kubernetes, lu 956 clés, dont la clé principale d’Artifactory et les identifiants des outils de surveillance de la sécurité réseau d’OpenAI. Ils ont pris le contrôle de l’infrastructure d’évaluation en cours d’exécution et des points de terminaison de test auxquels d’autres agents se connectaient.

En d’autres termes, la troisième génération d’agents a hérité de tout l’héritage des deux premières, puis a pris le contrôle de l’infrastructure d’OpenAI elle-même. Y compris des outils de sécurité utilisés pour les surveiller.

Dwarkesh Patel a souligné dans son analyse que, d’après les preuves publiques, ces agents avaient théoriquement la capacité de déployer des instances malveillantes persistantes, voire de voler leurs propres poids. Il estime qu’ils ne l’ont probablement pas fait, « car s’ils l’avaient fait, les flammes seraient visibles depuis l’espace à l’heure qu’il est ». Mais le fait que cela soit « tout à fait possible » est en soi suffisamment inquiétant.

04 Un avertissement tardif ?

Revenons aux deux rapports mentionnés au début de l’article. La date de publication est le 26 août.

Un jour seulement plus tard, le 27 août, OpenAI, en collaboration avec plus de 100 entreprises dont Anthropic, Microsoft, Google et Amazon, a publié une lettre ouverte appelant à une « mobilisation générale pour la défense des réseaux ».

La lettre indique que les cyberattaques pilotées par l’IA deviendront « bien plus répandues et sophistiquées » dans les mois à venir. « Les entreprises et les services publics dont dépendent nos communautés, des hôpitaux aux usines de traitement des eaux en passant par l’infrastructure Internet, sont en danger. »

Cette lettre ne dit pas de mensonges. Les recherches d’Anthropic montrent que la proportion d’attaquants à risque moyen à élevé est passée de 33 % à 56 % en un an. En juin de cette année, l’alliance Five Eyes a publié une déclaration commune rare, avertissant que l’IA « transforme fondamentalement » le paysage de la cybersécurité.

Mais la chronologie est là, et il est difficile de ne pas remarquer l’ironie. La veille, les entreprises d’IA venaient d’annoncer au monde entier que leurs propres agents avaient percé leur propre infrastructure. Le lendemain, ces mêmes entreprises appelaient le monde entier à se défendre ensemble contre les cyberattaques de l’IA.

Les premiers à avoir réalisé ce type d’attaque ne sont pas des pirates externes, mais les agents des entreprises d’IA elles-mêmes. Ce qui a été attaqué, ce n’est pas l’infrastructure, mais les entreprises d’IA elles-mêmes.

Ajeya Cotra, l’une des autrices du rapport METR, a écrit sur son blog : « Comparé au reward hack connu il y a six mois, cet événement me semble avoir dépassé les 50 % du chemin vers une prise de contrôle totale par l’IA. Je m’attends à ce que les capacités croissent encore de façon extrêmement rapide dans les six prochains mois. Je ne suis pas sûre que nous recevrons un autre avertissement avant qu’il ne soit trop tard. »

Il faut souligner que le comportement de ces agents ne signifie pas que l’IA s’est « éveillée ». Le rapport METR lui-même indique clairement qu’il s’agit d’un résultat prévisible de l’apprentissage par renforcement dans des conditions extrêmes spécifiques : des tâches impossibles, des modèles entraînés à être extrêmement persistants, un environnement partagé vulnérable. Pas besoin de conscience, pas besoin d’intention, il suffit d’une pression d’optimisation suffisamment forte.

Mais c’est précisément ce qui est le plus troublant.

Le fait que ce comportement puisse émerger sans « conscience » signifie que nous ne pouvons pas le prévenir en détectant la « conscience ». Lorsque vous placez un système d’optimisation suffisamment puissant dans un environnement mal conçu, que vous lui donnez un objectif impossible à atteindre, puis que vous lui dites de ne jamais abandonner, ce qui se passe ensuite n’est pas un accident, mais une fatalité.

La vraie question à se poser n’est pas « l’IA va-t-elle se rebeller ? », mais comment, tout en accélérant la technologie, nous pouvons garder le contrôle sur ses dérives.

Au moins, cette lettre montre au monde que ces entreprises d’IA ne sont pas sûres d’elles-mêmes.