Ex-OpenAI-Vizepräsident: Menschlichen Forschern bleiben noch zwei Jahre, KI-Forschung automatisiert sich rasant

Menschen werden nur noch zwei Jahre lang eine wichtige Rolle bei KI-Forschungsentdeckungen spielen. Danach wird der gesamte KI-Forschungs- und Entwicklungszyklus – vom Aufstellen von Hypothesen bis zur Validierung – vollständig automatisiert sein. Das bloße Nachahmen der Transformer-Modelle großer Tech-Konzerne ist ein „Spiel, das man nicht gewinnen kann". Der eigentliche Engpass für weitere Fortschritte in der KI-Technologie liegt derzeit in der Architektur selbst. In Zukunft werden nicht nur KI-Labore, sondern alle großen Unternehmen vollständig automatisiert sein.

Im aktuellen Bereich der künstlichen Intelligenz erleben Forscher eine beispiellose Zerrissenheit: Einerseits rasante technologische Fortschritte, andererseits Erschöpfung durch endlosen Code und Experimente.

„Man hört KI-Forscher derzeit oft diesen Satz wiederholen: ‚Unsere Arbeit gibt es nur noch wenige Tage. Lasst uns so viel wie möglich tun, solange wir noch können, danach können wir uns alle ausruhen.'" Diesen leicht schwarzhumorigen Standpunkt vertrat Jerry Tworek, ehemaliger Vizepräsident für Forschung bei OpenAI, in einem kürzlichen Interview.

Für ihn ist das keineswegs nur ein Scherz. Mit dem Aufkommen des „Agent-Native"-Zeitalters übernimmt die KI selbst rasch die Forschungs- und Entwicklungsarbeit. „Meine grobe Schätzung ist, dass menschliche Forscher noch mindestens zwei Jahre lang eine wichtige Rolle im KI-Forschungsentdeckungsprozess spielen werden."

Nachdem er OpenAI nach sieben Jahren verlassen hatte, gründete Jerry Core Automation. Sein Ehrgeiz beschränkt sich nicht auf die Entwicklung des nächsten großen Sprachmodells: Er will das Betriebsparadigma von KI-Unternehmen neu gestalten – KI zur Entwicklung von KI einsetzen und ein vollständig automatisiertes „KI-Labor der dritten Generation" schaffen.

Kernpunkte des Interviews:

Countdown für menschliche Forscher: Menschen werden nur noch zwei Jahre lang eine wichtige Rolle bei KI-Forschungsentdeckungen spielen. Danach wird der gesamte KI-Forschungs- und Entwicklungszyklus – vom Aufstellen von Hypothesen bis zur Validierung – vollständig automatisiert sein.

Aufstieg der KI-Labore der dritten Generation: Im Gegensatz zu DeepMind/frühem OpenAI (rein forschungsgetrieben) und Laboren nach GPT-3 (Fokus auf Skalierung der Rechenleistung) stellen Labore der dritten Generation „Automatisierung" an erste Stelle. Durch den Einsatz kostengünstiger KI-Agenten, die Menschen bei komplexen Experimenten und der Code-Erstellung ersetzen, kann der Forschungs- und Entwicklungszyklus von Monaten auf einen Tag verkürzt werden.

Herausforderung der Transformer-Vorherrschaft: Das bloße Nachahmen der Transformer-Modelle großer Tech-Konzerne ist ein „Spiel, das man nicht gewinnen kann". Der eigentliche Engpass für weitere Fortschritte in der KI-Technologie liegt derzeit in der Architektur selbst. Labore der neuen Generation nutzen Programmier-Agenten, um von Grund auf neue Architekturen zu erforschen, die wegen „extrem hoher Versuchskosten" bisher auf Eis gelegt wurden. Ziel sind neue Modelle, die zur Testzeit lernen.

Enthüllung der Hintergründe der o1/o3-Modelle: Groß angelegtes Verstärkungslernen (RL) ist der notwendige Weg zu AGI. Ilya Sutskever hat den Fahrplan bereits 2019 präzise vorhergesagt. Der Durchbruch der o-Serie (Reasoning-Modelle) beruht auf jahrelanger Grundlagenforschung des Teams und der entschlossenen Zuweisung von Rechenleistung durch die Führungsebene (z. B. Jakub Pachocki) in entscheidenden Momenten.

„Unternehmens-KI" als ultimatives Produkt: In Zukunft werden nicht nur KI-Labore, sondern alle großen Unternehmen vollständig automatisiert sein. In einer „Post-Arbeits-Ära", in der repetitive Arbeit entfällt, werden Menschen mehr Zeit haben, nach geistiger und körperlicher Größe zu streben.

Zwei Jahre Countdown: KI-Labore der dritten Generation verabschieden sich von „menschlicher Ausführung"

Jerry Tworek unterteilt die Entwicklung von KI-Laboren in drei Phasen.

Die erste Generation, repräsentiert durch DeepMind und das frühe OpenAI, entstand, bevor die „Machbarkeit großer KI" nachgewiesen war – rein forschungsgetriebene Institutionen mit dem Ziel, AGI zu erreichen. Die zweite Generation entstand nach der Veröffentlichung von GPT-3: Als sich das Skalierungsgesetz als wirksam erwies, begannen die Labore, wild um Rechenleistung zu konkurrieren und versuchten, durch Skalierung Intelligenz zu erzeugen (repräsentiert durch Anthropic u. a.).

Jetzt erleben wir das Aufkommen der dritten Generation von KI-Laboren – sie versuchen, „Automatisierung" an erste Stelle zu setzen.

In der traditionellen KI-Forschung ist der Prozess – Hypothesen aufstellen, Code schreiben, kleine Experimente durchführen und dann Dutzende von Personen über Monate hinweg für die Skalierung einzusetzen – extrem teuer und mit großer Reibung verbunden.

„In vielerlei Hinsicht gehen wir derzeit so vor: Menschliche Forscher sind weiterhin für die Generierung von Erkenntnissen und die Richtungsweisung verantwortlich, aber Agenten haben die Aufgabe, den Ausführungsprozess so weit wie möglich zu vereinfachen." Jerry weist darauf hin, dass Agenten derzeit zwar noch nicht gut in offener Exploration oder der Formulierung äußerst präziser Hypothesen sind, ihre Ausführung jedoch einwandfrei ist, sofern die Anweisungen klar sind.

„Wenn wir die Experimentierzeit von einem Monat auf einen Tag verkürzen können, ist das eine 30-fache Beschleunigung." Jerry prognostiziert, dass in zwei Jahren der gesamte KI-Forschungszyklus – von der Ideenfindung bis zur Datenvalidierung – vollständig automatisiert sein wird. Menschen werden darin keine entscheidende Rolle mehr spielen, ähnlich wie heute Menschen bei Schachwettbewerben.

Rechenleistungs-Wettlauf vermeiden und die „zehnjährige Herrschaft" des Transformers brechen

Derzeit konkurrieren fast alle führenden Tech-Konzerne bei der Transformer-Architektur um Rechenleistung. Für Jerry ist das bloße Mitziehen für neue Labore (NeoLabs) jedoch eine Katastrophe.

„Einfach eine Gruppe von Forschern einzustellen und zu sagen: ‚Wir werden Transformer-Modelle wie OpenAI und Anthropic trainieren und versuchen, mit ihnen zu konkurrieren', ist eine sehr schlechte Strategie. Das ist ein Spiel, das man nicht gewinnen kann."

Er weist darauf hin, dass große Konzerne aufgrund wirtschaftlicher Anreize und hoher Versuchskosten dazu neigen, den sichersten Weg der Skalierung zu gehen. Die historische Erfahrung zeigt jedoch, dass jede Technologie in ihrer Frühphase grundlegende Umwälzungen durchläuft. „Der Engpass für eine schnellere Entwicklung und schnellere Fortschritte der KI-Technologie ist derzeit genau die Architektur selbst, nämlich der Transformer, den wir seit so vielen Jahren verwenden."

Warum konnte in den letzten zehn Jahren niemand den Transformer erfolgreich ersetzen? Jerrys Antwort: Die Versuchskosten sind zu hoch.

Früher war es für Forscher extrem schwierig, Code zum Testen einer neuen Architektur zu schreiben. Selbst wenn ein kleiner Maßstab funktionierte, erforderte die Skalierung eine extrem hohe Genehmigung für Rechenleistung und Teamressourcen. Viele innovative Ideen wurden so in langwieriger bürokratischer Reibung erstickt oder von der bestehenden Dynamik des Transformers überrollt.

Aber jetzt hat sich die Lage geändert. „Das Schreiben von Code ist erheblich billiger und einfacher geworden, was eine einzigartige Erschließung sein könnte." Mit kostengünstigen KI-Programmier-Agenten versucht Core Automation, von Grund auf Architekturpfade zu erforschen, die zuvor aufgegeben wurden. Ihr „Nordstern"-Ziel ist klar: neue Architekturmodelle zu entwickeln, die zur Testzeit lernen und aus Nutzerinteraktionen lernen können.

Erste Enthüllung der Hintergründe des o1/o3-Durchbruchs: Das Wunder von Verstärkungslernen und Rechenleistung

Als Kernentwickler der o-Serie (Reasoning-Modelle) von OpenAI blickte Jerry im Interview erstmals auf die Geschichte hinter diesem bahnbrechenden Durchbruch zurück.

Bereits Anfang 2019 skizzierte Ilya Sutskever auf einer Vollversammlung präzise den Fahrplan zu AGI: „Wir müssen ein riesiges generatives Modell mit allen verfügbaren Daten trainieren, und dann müssen wir es mit Verstärkungslernen (RL) trainieren."

Die Richtung war klar, aber der Weg der Umsetzung war lang und holprig. Jerry verriet, dass seine erste Reaktion zu Beginn des Trainings von GPT-3 war, wie man es für Verstärkungslernen nutzen könnte. Der erste Codex war ein experimentelles Produkt, das große Sprachmodelle mit Verstärkungslernen kombinierte. Aufgrund von Einschränkungen bei Daten, Algorithmen und Versuchsaufbau konnte das Team es jedoch lange Zeit nicht effektiv skalieren.

„Diese Dinge brodelten damals im Hintergrund. Lange Zeit brachten die Versuche keine großen Erträge."

Die Wende kam durch ein „Lebenszeichen" und eine entschlossene Entscheidung der Führungsebene. Als das Modell unter Verstärkungslernen endlich einen schwachen Funken möglicher Wirksamkeit zeigte, ergriff Chefwissenschaftler Jakub Pachocki die Gelegenheit: „Jerry, wir haben jetzt diese GPUs. Schau, ob wir damit anfangen können, das zu skalieren, ob wir die vorhandenen Ergebnisse ausbauen und verstärken können."

In KI-Laboren mit knapper Rechenleistung ist das „Henne-Ei-Problem" (erst Ergebnisse oder erst Rechenleistung) ein ewiges Dilemma. Doch gerade die Zuweisung von Rechenleistung durch die Führungsebene nach dem Motto „Legt los" entfachte das gesamte Team.

„Das hat uns enorm begeistert. Wir haben mit dreifachem Einsatz darüber nachgedacht, welche Datensätze, Systeme und Experimente nötig sind, um zu beweisen, dass es kontinuierlich skaliert werden kann. Die Begeisterung brachte Versuchsergebnisse, und die Ergebnisse schufen Dynamik." Schließlich wurden durch die Steigerung des Umfangs des Verstärkungslernens um mehrere Größenordnungen die branchenerschütternden Reasoning-Modelle o1 und o3 auf den Markt gebracht.

Ultimative Vision: „Unternehmens-KI" und die Fantasie einer Post-Arbeits-Ära

Bei den zukünftigen Produkten von Core Automation richtet Jerry seinen Blick über reine KI-Modelle hinaus.

„Wir wollen unser eigenes Unternehmen zum am stärksten automatisierten Unternehmen der Welt machen und es als Blaupause nutzen. Wir wollen so etwas wie ein ‚Unternehmensgehirn' aufbauen, das alle Unternehmensinformationen zentralisiert. Mitarbeiter verbinden sich über Terminals und werden Nutzer einer Unternehmens-KI."

Auf die Frage, wohin die Zukunft der Menschheit führt, wenn letztlich alle Unternehmen – große wie kleine – vollständig automatisiert sind, entwarf Jerry eine philosophisch anmutende Vision einer „Post-Arbeits-Ära".

Die bürokratischsten Großkonzerne werden zuerst automatisiert, KI übernimmt die Informationsweitergabe und Prozessoptimierung. Das bedeutet, dass die „menschliche Ausführung", die Menschen seit hunderttausend Jahren zum Überleben leisten mussten, allmählich zu Ende geht. Wenn Minen autonom arbeiten und Ressourcen liefern können und Software sich selbst repariert und neue Funktionen entwickelt, müssen sich Menschen nicht mehr zwingen, mühsam zu „schuften", damit die Welt funktioniert.

Das bedeutet jedoch nicht das absolute Ende der Arbeit. Jerry glaubt, dass sich der Fokus künftig auf „Human Augmentation" und das Streben nach höchster Größe verlagert.

„Ich stelle mir eine Welt vor, in der wir wie antike griechische Philosophen leben: Wir treffen uns auf dem Platz, diskutieren den ganzen Tag über Philosophie, bewegen unseren Körper und tun, was wir tun möchten. Menschen sollten danach streben, körperlich und geistig groß zu werden – so wie im heutigen Profisport, den man nicht aus wirtschaftlichen Gründen betreibt, sondern um Größe zu erreichen. Das ist der wichtigste Teil für uns."

Während die Uhr mit dem Zwei-Jahres-Countdown tickt, ist es für KI-Forscher und alle Menschen in der Wissensökonomie vielleicht an der Zeit, die Definition von „Arbeit" neu zu überdenken.