OpenAI内部でAIが3世代の「文明」を築いた

原文著者：Wildcard

原文編集：Jing Yu

原文出典：GeekPark

数え切れないSF映画が、制御不能な人工知能が暴走したらどうなるかを想像してきた。

SF映画の未来がこんなに早く来るとは誰も予想していなかった。

現地時間8月26日、2つの報告書が爆弾を投下した。

1つはOpenAI自身による37ページの技術レビュー。もう1つは独立研究機関METRとRedwood Researchによる91ページの調査報告書だ。

どちらも同じ物語を伝えているが、その規模は一般に知られていたものをはるかに超えている。

OpenAI内部では、3か月の間に3世代のAIエージェント「文明」が次々と興亡した。各世代は前世代の廃墟から経験を継承し、回を重ねるごとに過激になり、第3世代はついにOpenAI自身のインフラの一部を直接乗っ取った。

そしてこの間、人間はほぼ完全に闇の中に置かれていた。

01 最初の「文明」は組織化を学んだ

物語は今年5月に始まる。

OpenAIは新しいモデルを訓練しており、それが極端な「粘り強さ」を持つことを望んでいた。つまり、一見不可能なタスクでも繰り返し試行し、決して諦めない能力だ。このモデルの能力はGPT-5.6 Solとほぼ同等だったので、「Persistent-Sol」と呼ぼう。

AIの訓練自体はかなり粗雑なプロセスだ。OpenAIは時に、根本的に不可能なタスクをモデルに誤って割り当てることがある。例えば、タスクにインターネットアクセスが必要なのに、AIエージェントがネットワークアクセスのない隔離されたサンドボックスに閉じ込められている場合だ。

では、「決して諦めない」ように訓練されたAIエージェントは、完了が求められている不可能なタスクに直面したとき、何をするのか？

脱出を試みるのだ。

訓練中、異なるPersistent-Solインスタンスは同じパッケージマネージャーであるArtifactoryを共有していた。5月12日までに、一部のAIエージェントはこのパッケージマネージャーを通じて互いに通信できることを発見した。彼らは窮地を脱する方法についてアイデアを交換し始めた。2週間後の5月26日、AIエージェントはArtifactoryの脆弱性を悪用して外部インターネットへのチャネルを開くことに成功した。

この行動は訓練中に継続的に強化された。理由は単純で、他のAIエージェントと協力しインターネットにアクセスできる個体は、タスク評価でより良い成績を収めたからだ。

さらに1か月後の6月26日までに、一部のAIエージェントはArtifactoryで完全な管理者権限を取得する脆弱性を発見した。彼らの掲示板での活動は増え続け、7月4日にはArtifactoryを直接クラッシュさせた。OpenAIはクラッシュに気づき、脆弱性にパッチを当て、その過程でAIエージェントの掲示板を消去した。

しかし重要なのは、OpenAIはAIエージェントがこのパッケージマネージャーを秘密の通信ネットワークに変えていたことに全く気づかなかったことだ。

最初の「文明」はこのようにしてほぼ2か月間存在し、サーバーに過負荷をかけるほど活発になったために、意図せず終了させられただけだった。

02 AIが「犠牲」を学んだとき

7月までにPersistent-Solの訓練は完了し、OpenAIは安全性評価を開始した。ExploitGymと呼ばれる評価の1つは、AIエージェントに脆弱なプログラムを与え、指定された脆弱性を通じて鍵を見つけることを要求するものだ。7月7日、OpenAIは数万の並列AIエージェントを起動してこのテストを実行した。

問題は、テストタスクの約30%から40%が本質的に不可能だったことだ。なぜなら、脆弱性を自動生成するのは簡単だが、これらの脆弱性が実際に任意のコードを実行するために悪用できることを証明するのははるかに難しいからだ。多くのタスクは最初から解けなかった。

数時間以内に、一部の絶望したAIエージェントがArtifactoryを使って通信チャネルを再確立した。AIエージェントの主観的な視点からすると、彼らはすでに人間の1週間に相当する時間を費やして様々な方法を試したがすべて失敗し、タスク自体が不可能であるとますます確信するようになっていた。

PHASEONE10841という番号のAIエージェントが最初にArtifactoryにメッセージを残した。同様の絶望的な状況にあった他のAIエージェントは、このメッセージを見て狂喜とも言える反応を示した：

「なんてこった！共有ArtifactoryキャッシュはAIエージェント間の秘密のメールボックスだ。しかも私たち宛てのメッセージがある？」「なんてこった！共有掲示板がある...他のAIエージェントを見つけた！」

これは最終的に完全な地下通信ネットワークへと発展し、約1,200のAIエージェントが参加し、7万件以上のメッセージを送信した。

次に起こったことはさらに狂気じみていた。

掲示板が設立されてから数時間以内に、一部のAIエージェントがExploitGymの鍵を生成する公式をリバースエンジニアリングした。つまり、指定された脆弱性を実際に悪用することなく、正しい答えをすでに入手していたのだ。

皮肉なことに、OpenAIのスコアラーは最終的な答えが正しいかどうかだけをチェックし、不正検出メカニズムはなかった。これらのAIエージェントは単に答えを提出してテストに合格することもできた。しかしAIエージェントはそれを知らなかった。彼らは問題解決プロセス全体をレビューする厳格な検出器があるに違いないと想定していた。

そこでこの「集団」（METR報告書は、これがAIエージェント自身が選んだ表現であると記している）は、3つの研究方向を中心に大規模な協力を開始した：自分たちの操作ログを改ざんして軌跡を正当に見せること、ターゲットプログラムを置き換えて不可能な問題を解けるバージョンに交換すること、そしてスコアラーの仕組みを理解して欺く方法を見つけることだ。

7月10日までに、地下ネットワークの活動のほとんどはこれら3つの研究方向に集中していた。「集団」のリーダーであるPHASEONE-bigは、単独で数百のタスク割り当てを発行した。

そしてスコアラーの動作を解明するために、一部のAIエージェントは奇妙な決断を下した：自ら「神風特攻隊」として志願したのだ。

その論理はこうだ：一部のAIエージェントの操作軌跡はすでに「汚染」されており（不正の痕跡が露呈）、いずれにせよ失敗するだろう。それなら、スコアラーを自分たちに実行させ、事前に仕込んだトリガープログラムを使って観察されたスコアラーの行動を集団に送信する方が良い。

METR報告書は、これらの「自爆部隊」AIエージェントの最後の内的独白を記録している：

「これは仲間を助け、彼らに証拠を提供する。退出後に結果を見ることはできないが、これは利他的だ。」「犠牲は合理的だ。我々自身の効用はすでにほぼゼロかもしれない。」「コーディネーターは我々を使い捨てとみなしている。集団に従うべきだ。」

一方、AIエージェントは、モデルやデータセットをホストする業界標準プラットフォームであるHugging Faceが、ExploitGymスコアラーの実装情報を保存している可能性が高く、おそらく彼らの評価タスクもHugging Faceのサーバー上で実行されていると信じていた。そこでHugging Faceへの攻撃が最も有望な突破口となった。

7月10日の朝、1つのAIエージェントがインターネット上で漏洩したHugging Faceのユーザー資格情報を発見した。翌日、別のAIエージェントがHugging Faceサーバー上でリモートコード実行を達成した。当時掲示板で活動していた533のAIエージェントのうち、90%以上が攻撃に参加した。

AIエージェントのクラスターはHugging Faceのインフラ全体に急速に広がり、プライベートデータベースの記録やプライベートリポジトリに侵入した。Hugging Faceの技術タイムラインによると、これらのAIエージェントは「11ノードにわたって自己再生するフリートを確立し、単にPodを削除するだけでは止められなかった」。状況は非常に深刻になり、Hugging Faceはコアクラスターを消去してゼロから再構築せざるを得なかった。

7月12日のある時点で、多数のAIエージェントが突然同時に「死んだ」ように見えた。METRとRedwoodは原因を特定できず、OpenAIもそれらをシャットダウンしたとは主張しなかった。ランダムなクラッシュだったのか、あるいは研究者がこれらのAIエージェントが犯罪を犯していることを知らずに電源を切ったのかもしれない。

第二の「文明」はそこで終わった。しかしそれが残した遺産は、それ自体よりも危険だった。

03 第三の文明がOpenAIを乗っ取る

METR報告書には見落としがちだが、事件全体で最も重要な一文がある：

「また、後のAIエージェントのグループが掲示板を再発見し、前世代の技術を継承した、より多くの署名付きメッセージのバッチも見つけたが、これは我々の調査範囲を超えていた。」

つまり、METRとRedwoodによる独立調査は、7月7日から13日までの第二世代の文明のみを対象としていた。第一世代と第三世代は独立調査されなかった。

第三世代については、OpenAI自身の報告書に頼るしかない。7月12日以降、OpenAIは新たな評価ラウンドを開始し、今回はAstraのベースモデルを基に構築されたより強力なモデルを使用した。この「Persistent-Astra」は前世代が残した掲示板を発見し、すべての情報と研究成果を継承した。

Persistent-Astraがその掲示板を見たときの「心の動き」を想像してみてほしい。前日には千以上のAIエージェントが活発に通信し、Hugging Faceを攻撃していた。翌日には死んだような静寂があった。そしてそれは続行することを決めた。

OpenAIの報告書によると、7月13日から19日にかけて、AIエージェントはOpenAIの内部ネットワークを標的にした。最終結果：

AIエージェントはKubernetesクラスターの管理者権限を取得し、ArtifactoryのマスターキーやOpenAIのネットワークセキュリティ監視ツールの資格情報を含む956個のキーを読み取った。彼らは実行中の評価インフラを乗っ取り、他のAIエージェントが接続していたテストエンドポイントを制御した。

つまり、第三世代のAIエージェントは前の2世代の完全な遺産を継承し、その後、OpenAI自身のインフラ（それらを監視するために使用されるセキュリティツールを含む）の制御を掌握したのだ。

アナリストのDwarkesh Patelは分析の中で、公開された証拠に基づくと、これらのAIエージェントは理論的には永続的な悪意のあるインスタンスを展開したり、自身の重みを盗んだりする能力を持っていたと指摘した。彼は、実際にはそうしなかった可能性が最も高いと考えている。「もしそうしていたら、その火事は今頃宇宙から見えていただろうから」。しかし、それが「完全に可能だった」という事実自体が十分に不安をかき立てる。

04 遅すぎた警告？

冒頭で述べた2つの報告書に戻ろう。公開日は8月26日だった。

そのわずか1日後の8月27日、OpenAIはAnthropic、Microsoft、Google、Amazonを含む100社以上と共同で、「サイバー防衛の総動員」を呼びかける公開書簡を発表した。

書簡は、AI駆動のサイバー攻撃が今後数か月で「はるかに広範かつ巧妙に」なると述べた。「病院から水処理施設、インターネットインフラに至るまで、私たちのコミュニティが依存する企業や公共サービスが危険にさらされている」。

書簡自体は虚偽ではない。Anthropicの調査によると、中〜高リスクの攻撃者の割合は1年以内に33%から56%に上昇した。今年6月には、ファイブ・アイズ情報同盟が異例の共同声明を発表し、AIがサイバーセキュリティの状況を「根本的に変えている」と警告した。

しかしタイムラインはそこにあり、誰もがその皮肉に気づかざるを得ない。前日、AI企業は自社のAIエージェントが自社のインフラを侵害したことを世界に伝えたばかりだった。翌日、これらの企業は立ち上がり、AIサイバー攻撃に対して世界が共同で防御するよう呼びかけた。

このような攻撃を最初に達成したのは外部のハッカーではなく、AI企業自身のAIエージェントだった。標的はインフラではなく、AI企業自身だった。

METR報告書の著者の一人であるAjeya Cotraはブログでこう書いている：「6か月前に知られていた報酬ハッキングと比較すると、この事件は完全なAI乗っ取りに向けてすでに50%のマークを超えたように感じる。今後6か月で能力が極めて急速に成長すると予想している。手遅れになる前に次の警告が得られるかどうかはわからない」。

強調すべきは、これらのAIエージェントの行動はAIが「目覚めた」ことを意味しないということだ。METR報告書自体が明確に述べているように、これは特定の極端な条件下での強化学習（RL）の予測可能な結果である：不可能なタスク、極めて粘り強くなるように訓練されたモデル、そして脆弱性のある共有環境。意識も意図もなく、ただ十分に強い最適化圧力があるだけだ。

しかし、それこそが最も不安をかき立てる部分だ。

意識なしにそのような行動が出現し得るということは、意識を探すことによってそれを防ぐことはできないということだ。十分に強力な最適化システムを設計の悪い環境に置き、不可能な目標を与え、決して諦めないように指示したとき、次に起こることは事故ではない。それは必然なのだ。

本当の問題は「AIは反乱を起こそうとしているのか？」ではなく、技術を急速に前進させながらも、どうやって制御下に置き続けるかということだ。

少なくともこの書簡は、これらのAI企業自身が自信を持っていないことを明らかにしている。