元OpenAI研究副社長：人間の研究者に残された時間は2年、AI研究は完全自動化へ

人間がAI研究の発見において重要な役割を果たし続ける時間は、残りはあと2年しかない。その後は、仮説の立案から検証に至るAI研究開発の全プロセスが完全に自動化される。大手のTransformerモデルを単に模倣することは「負け戦」であり、現在のAI技術のさらなる進歩を阻むボトルネックは、まさにアーキテクチャそのものにある。未来においては、AI研究所だけでなく、すべての大企業が完全自動化へと向かうだろう。

現在の人工知能分野では、研究者たちはかつてないほどの引き裂かれる感覚に直面している。一方では技術が日進月歩で進化し、他方では終わりのないコードと実験に疲弊しきっている。

「最近、AI分野の研究者たちがこう繰り返すのをよく耳にします。『我々の仕事は残りわずか数日しかない。今できるうちにできるだけやっておこう。その後はみんな休めるんだ』と」。元OpenAI研究副社長のJerry Tworek氏は、最近のインタビューでこのややブラックユーモアのある見解を述べた。

彼にとって、これは決して単なる冗談ではない。「エージェントネイティブ（agent-native）」時代の到来とともに、AI自体が研究開発業務を急速に引き継ぎつつある。「私の大まかな見積もりでは、人間の研究者がAI研究の発見プロセスにおいて重要な役割を果たし続けるのは、少なくともあと2年はある」。

7年間在籍したOpenAIを離れた後、Jerry氏はCore Automationを設立した。彼の野心は次の大規模言語モデルの開発にとどまらず、AI企業の運営パラダイムを再構築すること、すなわちAIを使ってAIを研究開発し、完全自動化された「第3世代AI研究所」を創り出すことにある。

以下はインタビューの要点である。

人間の研究者の「カウントダウン」：人間の研究者がAI研究の発見において重要な役割を果たし続ける時間は残り2年。その後、仮説の立案から検証に至るAI研究開発の全プロセスが完全に自動化される。

第3世代AI研究所の台頭：DeepMindや初期のOpenAI（純粋な研究駆動型）やGPT-3以降の研究所（計算資源のスケール化に注力）とは異なり、第3世代研究所は「自動化」を最優先する。低コストのAIエージェントを活用して人間の代わりに複雑な実験やコード作成を実行させることで、研究開発サイクルを数か月から1日に短縮できる。

Transformerの覇権への挑戦：大手のTransformerモデルを単に模倣することは「負け戦」であり、現在のAI技術のさらなる進歩を阻むボトルネックはアーキテクチャそのものにある。新世代の研究所は、プログラミングエージェントを活用して、かつて「試行錯誤のコストが極めて高い」ために棚上げされていた新しいアーキテクチャをゼロから探求し、テスト時（test time）学習を行う新しいモデルの実現を目指している。

o1/o3モデルの内幕を公開：大規模強化学習（RL）はAGIへの必須の道である。Ilya Sutskever氏は2019年にすでにロードマップを正確に予測していた。oシリーズ（推論モデル）のブレークスルーは、研究チームの長年の基礎研究と、重要な局面でのリーダーシップ（Jakub Pachocki氏など）による計算資源への果断な傾斜から生まれた。

「企業レベルのAI」が究極の製品に：未来においては、AI研究所だけでなく、すべての大企業が完全自動化へと向かう。反復作業から解放された「ポストレイバー（post-labor）時代」において、人間は精神的・身体的な偉大さを追求するためのより多くの時間を持つことになる。

カウントダウン2年：第3世代AI研究所が「人手による実行」に別れを告げる

Jerry Tworek氏は、AI研究所の発展を3つの段階に分けて説明する。

第1世代はDeepMindと初期のOpenAIに代表される。これらは「大規模AIの実現可能性」が検証される前に誕生し、純粋にAGIの実現を目標とする「研究駆動型」の組織だった。第2世代はGPT-3の発表後に誕生した。スケーリング則が有効であることが証明されると、各研究所は計算資源の獲得競争を激化させ、スケール化によって知能を生み出そうとした（Anthropicなどが代表例）。

そして今、私たちは第3世代AI研究所の出現を目撃している。それらは「自動化」を最優先に据えようとしている。

従来のAI研究開発では、仮説の立案、コードの作成、小規模実験の実行、そして数十人を動員して数か月かけてスケールアップするという、極めて高コストで摩擦の大きいプロセスが必要だった。

「多くの点で、現在の私たちのアプローチは、人間の研究者が引き続き洞察の生成と方向性の提示を担当し、エージェントが実行プロセスを可能な限り簡素化するというものです」。Jerry氏は、現在のエージェントはまだオープンエンドな探索や極めて正確な仮説の提示は得意ではないが、指示が明確であれば、その実行力は申し分ないと指摘する。

「実験にかかる時間を1か月から1日に短縮できれば、それは30倍の加速です」。Jerry氏は、2年後には、アイデアの創出からデータ検証に至る人工知能研究の全プロセスが完全に自動化されると予測する。そこでは、今日のチェス競技における人間と同様に、人間は決定的な役割を果たさなくなるだろう。

計算資源の過当競争を避け、Transformerの「10年にわたる支配」を打ち破る

現在、ほぼすべての主要大手がTransformerアーキテクチャ上で計算資源を競っている。しかしJerry氏にとって、新興研究所（NeoLabs）が単に追随することは災難である。

「単に研究者を雇って『OpenAIやAnthropicのようにTransformerモデルを訓練し、彼らと競争しよう』と言うのは、非常に悪い戦略です。それは負け戦です」。

同氏は、経済的インセンティブと高い試行錯誤コストに制約され、大手は最も安全なスケール化路線を選ぶ傾向があると指摘する。しかし歴史的経験から、あらゆる技術の初期段階では基盤の劇的な変化が起こるものだ。「現在、AI技術のより速い発展と進歩を阻むボトルネックは、まさにアーキテクチャそのもの、つまり私たちが長年使ってきたTransformerなのです」。

なぜ過去10年間、誰もTransformerを置き換えることに成功しなかったのか。Jerry氏の答えは「試行錯誤のコストが高すぎる」というものだ。

かつて、研究者が新しいアーキテクチャをテストするには、コードの作成が極めて困難だった。たとえ小規模で動作しても、スケールアップには高い計算資源の承認とチームリソースが必要だった。多くの革新的なアイデアは、長い官僚的な摩擦の中で潰されるか、Transformerの既存の勢いに埋もれてしまった。

しかし、状況は変わった。「コードの作成が大幅に安価で容易になり、これは独自の解放手段となる可能性があります」。低コストのAIプログラミングエージェントを活用し、Core Automationはかつて放棄されたアーキテクチャの道をゼロから探求しようとしている。彼らの「北極星」となる目標は明確だ。テスト時に学習し、ユーザーとの対話から学習できる新しいアーキテクチャのモデルを構築することである。

o1/o3ブレークスルーの内幕を初公開：強化学習と計算資源の奇跡

OpenAIのoシリーズ（推論モデル）の中心的な開発者として、Jerry氏は今回のインタビューで、この画期的なブレークスルーの背後にある物語を初めて振り返った。

2019年初頭、Ilya Sutskever氏は全社員会議でAGIへのロードマップを正確に描いた。「我々は、入手可能なすべてのデータを使って巨大な生成モデルを訓練し、その後、強化学習（RL）で訓練する必要がある」。

方向性は明確だったが、実行への道のりは長く険しかった。Jerry氏は、GPT-3の訓練が始まったとき、最初に考えたのはそれを強化学習にどう使うかだったと明かす。初期のCodexは、大規模言語モデルと強化学習を組み合わせた実験の産物だった。しかし、データ、アルゴリズム、実験設定の制約により、チームは長期間にわたってそれを効果的にスケールアップすることができなかった。

「これらのものは当時、バックグラウンドで静かに熟成されていました。長い間、試みは大きな成果を上げませんでした」。

転機は「生命の兆候」とリーダーシップの果断な決断から訪れた。モデルが強化学習の下で効果を発揮する可能性のある微弱な火花をようやく示したとき、チーフサイエンティストのJakub Pachocki氏はその機会を鋭く捉えた。「ジェリー、今、我々にはこれらのGPUがある。これをスケールアップできるかどうか、既存の結果を大きく強固なものにできるかどうかを見てみよう」。

計算資源が不足するAI研究所では、「鶏が先か卵が先か」（成果が先か計算資源が先か）は永遠の難題である。しかし、上層部の「思い切ってやれ」という計算資源への傾斜が、チーム全体に火をつけた。

「これには非常に興奮しました。私たちは3倍の努力を払い、それが持続的にスケールできることを証明するために必要なデータセット、システム、実験について考え抜きました。興奮が実験結果を生み、結果が勢いを生み出したのです」。最終的に、強化学習の規模を数桁向上させることで、業界を震撼させたo1、o3推論モデルが誕生した。

究極のビジョン：「企業レベルのAI」とポストレイバー時代の構想

Core Automationの将来の製品について語る際、Jerry氏の視点は単なるAIモデルを超えている。

「私たちは自社を世界で最も自動化された企業にし、それを青写真として提供したいと考えています。『企業の頭脳』のようなものを構築し、すべての企業情報を集中させ、従業員は端末を通じて接続し、企業AIのユーザーとなるのです」。

大小の企業が最終的に完全自動化を達成した場合、人類の未来はどうなるのかと問われると、Jerry氏は哲学的な意味合いを持つ「ポストレイバー（post-labor）時代」の構想を提示した。

官僚主義が最も強い大企業が最初に自動化され、AIが情報伝達とプロセス最適化を引き継ぐ。これは、人類が10万年にわたって生存のために強いられてきた「人手による実行」が徐々に終焉を迎えることを意味する。鉱山が自律的に稼働して資源を供給し、ソフトウェアが自己修復してバグを修正し新機能を開発するなら、人類は世界を動かすために辛い思いをして働くことを強いられる必要がなくなる。

しかし、これは労働の絶対的な終焉を意味するわけではない。Jerry氏は、未来の焦点は「人間拡張（human augmentation）」と究極の偉大さの追求へと移ると考えている。

「私は、古代ギリシャの哲学者のように暮らす世界を想像しています。広場に集まり、一日中互いに哲学を議論し、体を動かし、やりたいことをする。人間は、今日のプロスポーツのように、経済的な理由がなくても、偉大さを追求するために身体的・精神的に偉大になろうと努力すべきです。それこそが私たちにとって最も重要な部分なのです」。

残り2年というカウントダウンの時計が刻々と進む中、AI研究者であれ、知識経済の波の中にいるすべての一般の人々であれ、「仕事」の定義を再考する時期に来ているのかもしれない。