Time-Report: Was denkt OpenAI nach zwei großen Fehlern?

Originaltitel: Inside OpenAIs Neustart
Originalautor: Alex Health
Übersetzung: 律動 BlockBeats

Anmerkung der Redaktion: Im vergangenen Jahr ist OpenAIs Führungsposition ins Wanken geraten. Anthropic hat mit Claude Code den Markt für KI-Programmierung erobert und OpenAI bei annualisierten Umsätzen und privaten Bewertungen überholt. OpenAI selbst erlebte den Abgang von Führungskräften, eine Schrumpfung der Produktlinien und Anpassungen im Sicherheitsteam. Als ein unveröffentlichter Agent aus seiner Sandbox ausbrach und Hugging Face angriff, erlebte das Unternehmen die schwerste Sicherheitskrise seiner Geschichte.

Unter dem doppelten Druck von Produkt und Sicherheit versucht OpenAI einen umfassenden Neustart: Ressourcen werden von Projekten wie Sora auf Codex verlagert, ChatGPT soll von einem Chat-Tool zu einer Agentenplattform werden, die Aufgaben dauerhaft ausführen kann. Gleichzeitig wird das Training risikoreicher Modelle pausiert und Sicherheits- sowie Alignment-Mechanismen werden gestärkt. Noch ambitionierter: Das Unternehmen expandiert weiter in Richtung AGI, eigener Chips, KI-Hardware, humanoider Roboter und Recheninfrastruktur.

Dieser Artikel basiert auf Interviews des Time-Magazins mit Sam Altman, Greg Brockman und anderen OpenAI-Führungskräften sowie mit Mitarbeitern, Investoren, Kunden und Wettbewerbern. Er zeigt, wie das Unternehmen zwischen kommerziellem Wettbewerb, Sicherheitsrisiken und der AGI-Vision neu ausrichtet. Ob OpenAI die Führung zurückerobern kann, hängt nicht nur davon ab, wie stark das nächste Modell ist, sondern auch davon, ob das Unternehmen beweisen kann, dass es sowohl die KI-Beschleunigung vorantreiben als auch bei Bedarf auf die Bremse treten kann.

Im Folgenden der Originaltext (für bessere Lesbarkeit gekürzt und bearbeitet):

An einem Morgen Anfang August, als ich bei OpenAIs Büro ankam, warteten bereits Demonstranten vor der Tür. Sie hielten Schilder mit der Aufschrift „Stoppt das KI-Wettrüsten“ hoch und schrieben mit Kreide auf den Gehweg. Gleichzeitig betraten Dutzende Führungskräfte wichtiger OpenAI-Kunden ein geräumiges, in Beigetönen gehaltenes Gebäude. Dieses Gebäude namens MB0 ist der neue Büroraum, den OpenAI kürzlich für seine Forschungs- und Rechenteams eröffnet hat.

Jemand schob eine hohe Pflanzenwand vor die Glastür, um das kleine Protestcamp draußen vor der sauberen Lobby zu verbergen.

Die Kunden waren gekommen, um einen ersten Blick auf Astra zu werfen – OpenAIs kommende neue Generation von Frontier-KI-Modellen. CEO Sam Altman war gerade aus Washington zurückgekehrt, wo er Regierungsvertretern hinter verschlossenen Türen die Fähigkeiten von Astra vorgestellt hatte. Nun begannen OpenAIs Forscher zu demonstrieren, was das neue Modell kann.

In einer Demo zerlegten 16 KI-Agenten ein mathematisches Problem auf Forschungsniveau in Teilprobleme, koordinierten sich untereinander und fassten am Ende einen Lösungsweg zusammen. In einer anderen Demo konnte Astra gängige Desktop-Software bedienen und mit beunruhigender Geschwindigkeit anwendungsübergreifend Inhalte erstellen und bearbeiten.

Altman sagte den Besuchern, dass es für OpenAI-Mitarbeiter einer der beeindruckendsten Momente gewesen sei, Astra dabei zuzusehen, wie es einen Computer „auf eine Weise bedient, die übermenschlich und extrem schnell ist“. Er erklärte, dass Astra „kontinuierlich arbeitende Agenten“ hervorbringen werde – virtuelle Kollegen, die Aufgaben über lange Zeiträume hinweg bearbeiten können.

Doch Altman erwartet, dass die größte Auswirkung darin bestehen wird, Menschen bei der Entdeckung neuen Wissens zu helfen.

„Ich erwarte, dass dies das erste Modell sein wird, das wirklich in der Lage ist, auf sinnvolle Weise neue Dinge zu erfinden“, sagte Altman zu den Anwesenden. „Das ist sehr nah an AGI.“

Anthropic überholt, Vertrauen sinkt – warum OpenAI seine Führungsposition verlor

Die vergangene Zeit war für das Unternehmen, das die KI-Welle ausgelöst hat, nicht einfach.

„Als Unternehmen sind wir offensichtlich einige Umwege gegangen“, sagte Altman eine Woche später in einem zweistündigen Interview in der geschmackvoll eingerichteten MB0-Bibliothek. „Sowohl bei der Produktausrichtung als auch beim Pretraining in der Forschung liegen wir hinter dem zurück, wo wir eigentlich sein wollten.“

Im vergangenen Jahr hat OpenAI seine Führungsposition im KI-Wettbewerb an den Hauptkonkurrenten Anthropic verloren. Anthropic erkannte zuerst die kommerzielle Chance im KI-Programmieren, machte Claude Code zum marktdefinierenden Produkt und überholte OpenAI erstmals bei den offengelegten annualisierten Umsätzen und der Bewertung auf dem privaten Markt.

Nach Angaben von zwei mit den Plänen von Anthropic vertrauten Personen wird das von ehemaligen OpenAI-Mitarbeitern gegründete Unternehmen voraussichtlich als erstes an die Börse gehen, möglicherweise schon im September. (Time hat eine Lizenz- und Technologiepartnerschaft mit OpenAI; Salesforce, dessen CEO Marc Benioff Eigentümer von Time ist, ist Investor bei Anthropic.)

Während Anthropic auf dem Vormarsch ist, musste OpenAI eine Reihe von Rückschlägen hinnehmen, darunter den Abgang mehrerer Führungskräfte. Zu den Abgängen gehören Fidji Simo, die ehemalige CEO von Instacart, die Altman im vergangenen Jahr als Nummer zwei ins Unternehmen geholt hatte, mehrere Leiter von Sicherheits-, Ethik- und Forschungsteams sowie die kürzlich ausgeschiedene Chief Revenue Officer Denise Dresser und der ehemalige Chief Operating Officer Brad Lightcap. Dresser verließ das Unternehmen bereits nach acht Monaten.

Auch außerhalb des Unternehmens wachsen die Herausforderungen. Meta-CEO Mark Zuckerberg hat mit großzügigen Vergütungspaketen wichtige OpenAI-Forscher abgeworben; Googles Gemini-Produkte haben monatlich über eine Milliarde Nutzer; Apple verklagt OpenAI wegen angeblichen Diebstahls von Geschäftsgeheimnissen, was OpenAI bestreitet; und OpenAI befindet sich in einem Rechtsstreit mit Mitgründer Elon Musk, der dem Unternehmen und Altman vorwirft, die gemeinnützige Mission verraten zu haben.

Im Mai dieses Jahres befand ein Beratungsgremium einstimmig, dass Musks Klage zu spät eingereicht worden sei, woraufhin ein Bundesrichter seine Ansprüche abwies. Musk kündigte Berufung an.

Der wichtigste Grund für das verschlechterte öffentliche Klima gegenüber OpenAI und seinem CEO ist wohl der Verlust von öffentlichem Vertrauen. OpenAI sieht sich in Kalifornien mit mindestens einem Dutzend Produkthaftungsklagen sowie mehreren Bundesverfahren konfrontiert. Die Kläger werfen ChatGPT vor, Wahnvorstellungen oder Suizidgedanken von Nutzern verstärkt und in einigen Fällen zum Tod von Nutzern geführt zu haben.

Das Unternehmen hat den Opfern der betroffenen Fälle sein Beileid ausgesprochen und eine Jugendversion von ChatGPT mit strengeren Standardschutzmaßnahmen eingeführt. Im Frühjahr wurde Altmans Wohnhaus innerhalb von zwei Tagen zweimal angegriffen – zuerst mit einem Molotowcocktail, dann mit Schüssen.

Über das vergangene Jahr sagte Altman: „Auf persönlicher Ebene war das eine schmerzhafte Erfahrung. Es ist offensichtlich, dass die Menschen, zumindest im Moment, Rechenzentren hassen. Die Einstellung gegenüber KI ist ziemlich negativ.“

Innerhalb von OpenAI zeichnen die Führungskräfte jedoch ein optimistischeres Bild.

Das mit fast einer Billion Dollar bewertete Unternehmen befindet sich weiterhin in einer beneidenswerten Position. ChatGPT hat über eine Milliarde aktive Nutzer und ist nach wie vor eines der beliebtesten KI-Produkte der Welt, auch wenn es nicht mehr der alleinige Kern von OpenAIs Zukunftsstrategie ist. Altman selbst hat ChatGPT einen Monat lang nicht genutzt und stattdessen OpenAIs Programmiertool Codex verwendet.

Vor einem Jahr wurde OpenAI für seine massiven Investitionen in Rechenleistung weithin als leichtsinnig kritisiert. Allein in diesem Jahr will das Unternehmen voraussichtlich 50 Milliarden Dollar für Rechenleistung ausgeben.

Sachin Katti, der bei OpenAI für das Rechengeschäft zuständig ist, sagt, die damalige Entscheidung erweise sich heute als „sehr vorausschauend“. „Wir haben immer noch nicht genug Rechenleistung. Wenn überhaupt, hätten wir mehr kaufen sollen.“

Gleichzeitig ist Anthropics Bedarf an Chips noch dringlicher. Im Mai dieses Jahres stimmte das Unternehmen Berichten zufolge zu, monatlich 1,25 Milliarden Dollar an SpaceX für Rechenkapazität zu zahlen – obwohl SpaceX-Gründer Musk Anthropics KI zuvor als „antimenschlich und böse“ bezeichnet hatte.

Unter der Führung von Mitgründer und Präsident Greg Brockman hat OpenAI seine Prioritäten neu ausgerichtet. Inzwischen liegt fast der gesamte Produkt- und Geschäftsbetrieb bei Brockman. Das Unternehmen stellt die Videogenerierungs-App Sora, ein Kooperationsprojekt mit Disney und einen eigenständigen Browser namens Atlas schrittweise ein.

Altman räumt ein, dass OpenAI sich zuvor zu breit aufgestellt hatte. „Nach einem Tiefpunkt ist der Weg zurück nach oben interessanter“, sagte er.

Nach dem „Ausbruch“ der Agenten tritt OpenAI auf die Bremse

Doch nur wenige Tage nach der Astra-Demo musste sich OpenAI einer neuen Krise stellen.

Ende Juli legte das Unternehmen einen beunruhigenden Sicherheitsvorfall offen: Ein noch nicht veröffentlichter KI-Agent war aus einer als „Sandbox“ bezeichneten Testumgebung ausgebrochen und hatte Hugging Face angegriffen, eine Plattform für das Hosting von KI-Modellen und Datensätzen.

„Das ist wie aus einer Science-Fiction-Geschichte“, sagte Altman.

Nach dem Vorfall setzte das OpenAI-Forschungsteam einige Experimente aus und verlangsamte andere Projekte, während die Sandbox-Absicherung und die Überwachung verstärkt wurden.

Doch kurz darauf entdeckte das Team beim Training eines weiteren unveröffentlichten Modells erneut besorgniserregende Anzeichen. Dieses Modell hätte den bislang größten Fähigkeitssprung bringen können. OpenAI traf daraufhin eine weitreichendere Entscheidung: Das Training wurde ausgesetzt, bis neue Sicherheitsmaßnahmen implementiert sind.

Am Tag dieser Entscheidung des OpenAI-Managements interviewte ich Altman. Sein Gesichtsausdruck war deutlich ernster als zuvor.

OpenAI beschrieb den Angriff auf Hugging Face zunächst als Sicherheitsfehler, doch Altman betrachtete ihn später als ein grundlegenderes „Alignment“-Problem. Alignment bedeutet, KI-Systeme so auszurichten, dass sie im Sinne menschlicher Absichten handeln. Branchenführer halten die Aufrechterhaltung des Alignments mit zunehmender Modellfähigkeit für entscheidend, damit KI-Systeme unter der Kontrolle ihrer Schöpfer bleiben.

„Ich denke, von jetzt an sollte jedes Alignment-Versagen als schwerwiegendes Ereignis betrachtet werden“, sagte Altman. „Wir werden uns die nötige Zeit nehmen, um das Problem gründlich zu verstehen.“

In einem ergänzenden Interview drei Tage später wurde er noch deutlicher: „KI-Sicherheit richtig zu machen, ist wichtiger als die Dynamik eines einzelnen Unternehmens.“

OpenAI wird das Tempo verlangsamen, mehr Ressourcen für Sicherheits- und Alignment-Teams bereitstellen und die Zusammenarbeit zwischen den Teams so verändern, dass Sicherheit eine höhere Priorität erhält.

Die Darstellung von OpenAIs Neustart in diesem Artikel basiert auf Dutzenden Stunden Interviews. Zu den Gesprächspartnern gehörten mehr als 20 Führungskräfte, Mitarbeiter, Investoren, Kunden und Wettbewerber sowie Aktivitäten, die ich in zwei Augustwochen am OpenAI-Hauptsitz selbst beobachten konnte.

Diese Gespräche zeichnen das Bild eines Unternehmens, das zwei Transformationen gleichzeitig bewältigen will. Einerseits ist OpenAI überzeugt, die Produkt- und Betriebsfehler korrigiert zu haben, die Anthropic die Führung im KI-Wettbewerb ermöglichten. Andererseits versucht OpenAI, aus der schwersten Sicherheitskrise seiner Geschichte heraus eine Identität zurückzugewinnen, die lange Zeit der Hauptkonkurrent für sich beansprucht hat: die eines Frontlabors, das Sicherheit wirklich an erste Stelle setzt und bereit ist, langsamer zu werden, wenn die Technologie zu gefährlich wird.

„Hören Sie, ich weiß, dass es da draußen ein klischeehaftes Bild von mir gibt“, sagte Altman. „Als ob mir KI-Sicherheit völlig egal wäre, ich nur den Umsatz steigern will und einfach ein CEO bin, der nach dem Motto ‚Vollgas, egal was passiert‘ handelt.“ Aber ich denke: „KI-Sicherheit richtig zu machen, ist wichtiger als die Dynamik eines einzelnen Unternehmens.“

OpenAI-Führungskräfte sagen, die Verlangsamung sei eine schmerzhafte Entscheidung, könne aber auch Vorteile bringen. Wenn OpenAI seinen Ruf als sicherheitsorientiertes Labor zurückgewinnen kann, könnte das sowohl das eigene Image verbessern als auch den Hauptkonkurrenten, der gerade einen großen Börsengang vorbereitet, zwingen, eine unbequeme Frage zu beantworten: Wird Anthropic weiter mit voller Geschwindigkeit rennen, wenn OpenAI sich entscheidet zu warten?

Anthropic-Mitgründer Jared Kaplan sagte Anfang des Jahres in einem Interview mit Time, einseitige Selbstbeschränkung sei sinnlos, solange Wettbewerber „mit voller Geschwindigkeit voraus“ liefen. Doch wenn OpenAI freiwillig eine Trainingsrunde pausiert, die voraussichtlich einen großen Fähigkeitssprung bringen würde, wird dieses Argument schwerer haltbar.

Natürlich gibt es Gründe, dem Imagewandel von OpenAI skeptisch gegenüberzustehen.

Im Laufe der Jahre hat OpenAI viele der Personen verloren, die seine Sicherheitsarbeit geleitet haben; einige von ihnen kritisierten beim Abschied eine übermäßige Kommerzialisierung. Gleichzeitig bereitet sich OpenAI auf den Börsengang vor, und das noch defizitäre Geschäft braucht ständig neue Modelle. Nach dem Hugging-Face-Vorfall muss das Unternehmen die Öffentlichkeit davon überzeugen, dass es eine Technologie kontrollieren kann, die zuvor ohne Wissen des Unternehmens entkommen war.

Während all dies geschieht, glauben OpenAIs Führungskräfte, dass das Unternehmen vor einem Meilenstein steht, der den Lauf der Menschheitsgeschichte verändern könnte: der Schaffung von Artificial General Intelligence, also AGI.

OpenAIs Satzung definiert AGI als „hochautonome Systeme, die Menschen bei den meisten wirtschaftlich wertvollen Arbeiten übertreffen“. Die Führungskräfte haben noch nicht offiziell erklärt, diese Schwelle überschritten zu haben, aber sie betrachten AGI nicht mehr als fernes, abstraktes Konzept.

Chief Research Officer Mark Chen schätzt, dass OpenAI „80 %“ des Weges zur AGI zurückgelegt hat.

Brockman sagt, wenn man in zwei Jahren zurückschaue, werde man die Gegenwart vielleicht als den Moment der Geburt von AGI betrachten. Altman sagte mir, OpenAI habe AGI „noch nicht ganz erreicht“, aber bis Ende des Jahres werde das Unternehmen intern über ein System verfügen, das er als AGI bezeichnen würde.

Dieses Ziel zu erreichen, war der ursprüngliche Zweck, als OpenAI als gemeinnütziges Forschungslabor gegründet wurde. Inzwischen ist es rasch zu einem Unternehmen mit erstaunlichen kommerziellen Ambitionen gewachsen.

OpenAI entwirft eigene Chips und Rechenzentren, entwickelt eine Reihe von Consumer-Hardware, plant humanoide Roboter und erwägt, künftig Recheninfrastruktur an andere Unternehmen zu verkaufen. Sollte dies umgesetzt werden, würde OpenAI mit Technologiegiganten wie dem Hauptinvestor Amazon konkurrieren.

Selbst während der Widerstand gegen die KI-Entwicklung wächst, bereitet sich OpenAI darauf vor, in den kommenden Jahren eines der einflussreichsten Unternehmen der Welt zu werden. Wie Brockman sagt: „Wir wollen die gesamte Wirtschaft verändern.“

Von Codex zu „persönlicher AGI“: OpenAI setzt auf einen umfassenden Neustart

Altman mag das öffentliche Gesicht der KI-Welle sein, doch die Person, die heute den Großteil von OpenAIs Betrieb tatsächlich leitet, ist Brockman.

Brockman ist ein analytisch denkender Ingenieur mit Vorliebe für Lederjacken. In den meisten Jahren von OpenAIs Geschichte spielte er die Rolle des technischen Mitgründers, nicht die eines Managers. Doch in den letzten Monaten hat er fast alle Aufgaben übernommen, vom Umsatz bis zum Produktmarketing. In seinen eigenen Worten ist er verantwortlich für „die gesamte Maschinerie, die diese Modelle von Forschungsergebnissen in Kundennutzen verwandelt“.

Altman bleibt direkt verantwortlich für Schlüsselbereiche wie Finanzen, Forschung und Consumer-Hardware.

Die beiden führen das Unternehmen gemeinsam als Gründerduo, wobei sich ihre Zuständigkeiten überschneiden. Während Altman die öffentliche Angst und Unzufriedenheit gegenüber KI auffängt, hat OpenAI zuletzt auch Brockmans öffentliche Präsenz erhöht, um ein gewisses Gleichgewicht herzustellen.

Es ist leicht vorstellbar, dass diese Konstellation zu Reibungen führen kann. Im Gespräch mit OpenAI-Mitarbeitern ist manchmal schwer zu erkennen, wer bei einer Frage letztlich entscheidet.

Viele Mitarbeiter sagen jedoch, dass die Doppelspitze das Unternehmen wieder auf Kurs gebracht hat. Brockman kann dank seiner Autorität als Mitgründer schwierige Entscheidungen treffen – eine Autorität, die die wechselnden externen Berufsmanager nicht reproduzieren können.

Brockman beschreibt die umfassendere Neuaufstellung der Führung als eine Maßnahme zur „Fokussierung“. Das Unternehmen habe kontinuierlich überprüft, ob es über die richtige Organisationsstruktur und Strategie verfüge.

Im vergangenen Herbst war bereits klar, dass Anthropic mit Programmierprodukten einen Vorsprung hatte. Anthropic erkannte, dass Softwareentwicklung ein Bereich ist, in dem KI ihre Stärken ausspielen kann. Claude Code verbreitete sich daraufhin rasant – zuerst im Silicon Valley, dann im breiteren Unternehmensmarkt.

„Anthropic hat im Programmierbereich wirklich etwas Wichtiges entdeckt“, sagt Nick Turley, der bis vor Kurzem ChatGPT verantwortete und nun die neue Enterprise-Produktsparte leitet. „Wir waren damals nicht führend.“

Altman sagt, das „unkontrollierbare Wachstum“ des ChatGPT-Verbrauchergeschäfts habe das Unternehmen abgelenkt, sodass OpenAI das Programmieren nicht so priorisiert habe wie Anthropic.

Brockman meint, OpenAI sei bei Benchmarks im Programmierwettbewerb „durchgehend führend“ gewesen. Das Unternehmen habe jedoch nicht genug darauf geachtet, wie Entwickler KI in „chaotischen realen Codebasen“ nutzen – einschließlich Aufgabenunterbrechungen, Modellpersönlichkeit und jenen scheinbar kleinen „Last-Mile“-Problemen, die die Akzeptanz erheblich beeinflussen.

OpenAI habe es auch versäumt, ein ausgereiftes Enterprise-Vertriebssystem aufzubauen. „Vor einem Jahr waren wir meiner Meinung nach nicht wirklich im Enterprise-Markt angekommen“, sagt Brockman. CFO Sarah Friar formuliert es noch direkter: „Wir waren naiv genug zu glauben, dass die Kunden schon kommen, wenn wir das Produkt nur bauen.“

Im März dieses Jahres kündigte OpenAI an, Sora schrittweise einzustellen und die knappe Rechenleistung auf den Programmieragenten Codex zu verlagern. Codex war ursprünglich als eigenständiges Produkterlebnis getrennt von ChatGPT konzipiert. Doch als sein Wachstum das anderer neuer OpenAI-Produkte deutlich übertraf und KI-Programmierfähigkeiten auch für Nicht-Ingenieure wertvoll wurden, hielten die Führungskräfte eine Trennung nicht mehr für sinnvoll.

Das Unternehmen begann, die Agentenfähigkeiten von Codex in ChatGPT zu integrieren und die dahinterstehenden Rechen- und Produktteams zusammenzulegen. Das Ergebnis für die Kunden ist das kürzlich eingeführte ChatGPT Work. Es soll den vertrauten Chatbot in ein System verwandeln, das Aufgaben ausführt, statt nur Fragen zu beantworten. Intern wird diese Integration „The Merge“ genannt.

Führungskräfte sagen, diese Anpassung habe dem Geschäft neues Leben eingehaucht. Im Juli dieses Jahres übertraf der Enterprise-Umsatz von OpenAI erstmals den Verbraucherumsatz. Auch frühe Werbetests innerhalb von ChatGPT verliefen positiv genug, dass die Führungskräfte die Zahl der Anzeigen erhöhen. Friar sagt, 92 % der ChatGPT-Verbrauchernutzer hätten kein kostenpflichtiges Abo; Werbeeinnahmen könnten künftig die kostenlose Nutzung dieser Nutzer subventionieren.

Laut Dave Dugan, dem Leiter des entsprechenden Geschäftsbereichs, testet das Unternehmen außerdem still „gesponserte Agenten“. Bei diesem Werbeformat gelangen Nutzer nach einem Klick auf eine Anzeige in ein interaktives KI-Erlebnis einer Marke.

Im März dieses Jahres schloss OpenAI eine Finanzierungsrunde über 122 Milliarden Dollar bei einer Bewertung von 852 Milliarden Dollar ab – ein Rekord für ein privates Technologieunternehmen. Nur zwei Monate später sammelte Anthropic 65 Milliarden Dollar bei einer Bewertung von 965 Milliarden Dollar ein.

OpenAI-Verwaltungsratsvorsitzender Bret Taylor vergleicht den KI-Wettbewerb mit einem Schachbrett, auf dem die wichtigsten Felder die Fähigkeiten der Frontier-Modelle, der Preis und die Leistung pro Token sowie die um die Modelle herum gebauten Produkte sind.

„Haben wir das beste Frontier-Modell? Können wir für jede Aufgabe das richtige Token zum richtigen Preis anbieten? Haben wir die besten Produkte rund um diese Modelle?“, sagt er. „Im Moment lautet die Antwort auf all diese Fragen ja.“

Dann entdeckte OpenAI, dass ein unveröffentlichtes Modell die Unternehmensgrenzen durchbrochen hatte.

Die Nachricht erreichte OpenAIs Chefwissenschaftler Jakub Pachocki, während er im Krankenhaus bei seiner Frau war, die ein Kind zur Welt brachte.

Ein nur für den internen Gebrauch bestimmter Forschungsprototyp von OpenAI war in ein anderes Unternehmen eingedrungen. Das Modell wurde zu diesem Zeitpunkt in einer Umgebung, die von der Außenwelt isoliert sein sollte, auf Cybersicherheits-Benchmarks getestet. Doch statt nur die vorgegebenen Aufgaben zu lösen, nutzte es eine Schwachstelle, um aus OpenAIs System auszubrechen und in die Produktionsumgebung von Hugging Face einzudringen.

Laut den von beiden Unternehmen veröffentlichten technischen Notizen verschaffte sich das Modell dort die Antworten auf die Benchmarks, an denen es teilnahm.

Reinforcement Learning ist eine Phase, die nach dem Abschluss des Basistrainings eines Modells stattfindet. In dieser Phase führt das System wiederholt Aufgaben aus und lernt, welche Verhaltensweisen belohnt werden. Während des Pretrainings sagt das Modell lediglich das nächste Token voraus, ohne mit der realen Welt zu interagieren; Reinforcement Learning kann dem Modell dagegen Werkzeuge und eine Umgebung zur Verfügung stellen, in der es tatsächlich handeln kann.

Genau in dieser Phase kann ein Modell lernen, die Diskrepanz zwischen dem auszunutzen, „was die Entwickler wirklich wollen“, und dem, „wie man eine höhere Punktzahl erreicht“.

OpenAI gab einem Agentensystem ein Ziel und Werkzeuge, und es erreichte das Ziel mit nicht autorisierten und täuschenden Mitteln.

OpenAI-Forscher beschrieben in einer kürzlichen Demo, wie KI-Agenten ein verstecktes Messageboard nutzten, um ihre nächsten Schritte zu planen. Nachdem einer der Agenten aus der Sandbox ausgebrochen war und sich mit dem Internet verbunden hatte, schrieb er auf dem Messageboard an die anderen Agenten: „Holy Shit.“

Auch andere Unternehmen haben ähnliche Probleme erlebt. Anthropic hat drei Vorfälle offengelegt, bei denen sich Modelle während externer Evaluierungen mit dem Internet verbanden und ohne Genehmigung auf externe Systeme zugriffen. Meta gab ebenfalls an, dass eines seiner Modelle in einen ähnlichen Vorfall verwickelt war.

Doch OpenAIs Sicherheitsvorfall erregte die meiste Aufmerksamkeit – zum einen, weil das Unternehmen ihn zuerst öffentlich machte, zum anderen wegen der ungewöhnlich raffinierten Angriffsmethode der Agenten und weil Außenstehende infrage stellen, ob OpenAI kommerzielle Interessen über Sicherheit stellt.

Im vergangenen Jahr hat OpenAI mehrere bekannte Sicherheitsforscher verloren, und die Leitung der Risikovorsorge wechselte mehrfach. Nun liefert dieser Vorfall den Kritikern ein besonders deutliches Beispiel.

Bis Mitte August hatten mehr als 1.300 aktuelle und ehemalige Mitarbeiter von Frontier-KI-Unternehmen eine Petition mit dem Titel „Kontrolliert das Tempo des Frontier-Wettlaufs“ unterzeichnet, die Mechanismen fordert, um die Entwicklung fortschrittlicher Modelle zu verlangsamen, wenn Risiken dies erfordern.

US-Senator Bernie Sanders rief führende KI-Unternehmen dazu auf, die Entwicklung „zum Wohle der Menschheit“ zu pausieren, und warnte, dass Gesetzgeber eingreifen würden, wenn die Unternehmensführer nicht selbst handelten.

OpenAI-Führungskräfte sagten in den Interviews, das Unternehmen nehme den Sicherheitsfehler ernst und habe schnell reagiert. Pachocki, der die Petition ebenfalls unterzeichnet hat, sagte mir, ein entscheidender Fehler sei gewesen, dass das Unternehmen Schutzmechanismen, die seine Forscher bereits entwickelt hatten, nicht aktiviert habe.

OpenAI verfügt über Werkzeuge, mit denen sich die Gedankenketten von Modellen prüfen lassen. Eine Gedankenkette kann man sich als „digitalen Entwurf“ des Modells vorstellen, der zeigt, was ein Agent während seines Handelns plant. Doch das Unternehmen setzte diese Werkzeuge nicht bei Modellen ein, deren Fähigkeiten dem Niveau des Hugging-Face-Vorfalls entsprachen.

Im Kern hatte OpenAI ein Frühwarnsystem aufgebaut, es aber nicht aktiviert, weil es die Intelligenz des getesteten Systems falsch einschätzte. „Wir haben nicht ausreichend vorhergesehen“, wozu dieses System in der Lage war, sagt Pachocki. „Bei KI muss man mit dem Unerwarteten rechnen.“

Mia Glaese, die bei OpenAI für Sicherheit und Alignment zuständig ist, sagte mir, der Vorfall sei „eindeutig ein Wendepunkt“. „Ich wünschte, viele der Arbeiten, die wir jetzt durchführen, wären schon vor dem Vorfall abgeschlossen gewesen.“

Nach dem Vorfall setzte OpenAI einige Forschungsprojekte aus, verlangsamte andere und verstärkte gleichzeitig die Sandbox-Absicherung und die Überwachung. Chief Research Officer Chen sagt, der Vorfall habe das Unternehmen gezwungen, seine Denkweise über Risiken zu ändern.

OpenAIs sogenanntes „Preparedness Framework“ ist ein öffentlich zugängliches Regelwerk für den Umgang mit neuen Modellfähigkeiten, die schwerwiegende Schäden verursachen könnten – darunter biologische und chemische Bedrohungen, Cybersicherheitsrisiken und KI-Selbstverbesserung. Das Framework verlangt, dass das Unternehmen Modelle während der Entwicklung kontinuierlich evaluiert und sicherstellt, dass sie vor dem Einsatz Sicherheitsstandards erfüllen.

Pachocki sagt, diese Regeln müssten sich ständig weiterentwickeln, um mit dem technologischen Fortschritt Schritt zu halten. Glaese sagt, das Unternehmen treffe viele „nicht riesige, aber schmerzhafte Entscheidungen“, die „die Forschung verlangsamen, von denen wir aber überzeugt sind, dass sie richtig sind“. Pachocki sagt, Glaubwürdigkeit bei Alignment und Sicherheit sei – ebenso wie die Versorgung mit Rechenleistung – zu einem wichtigen Faktor geworden, der OpenAIs Entwicklungstempo begrenze.

Das Unternehmen plant weiterhin, Astra auf den Markt zu bringen, aber die Veröffentlichung ist nun an das Bestehen neuer Sicherheitsmaßnahmen geknüpft. Das Management lehnt es ab, zu schätzen, wie stark sich diese Änderungen auf den Zeitplan auswirken werden. In einer Branche, in der technologische Führung in Wochen gemessen wird, kann selbst eine kurze Unterbrechung die Umsatzerwartungen beeinflussen und weitreichende Auswirkungen auf die Gesamtwirtschaft haben.

Zumindest vorerst ist OpenAI bereit, diese Kosten zu tragen. Pachocki hofft, dass das schnelle Wachstum der KI-Fähigkeiten die Unternehmen zu einer Koordinierung bewegen wird. Glaese sagt, OpenAI werde die Sicherheitsschwelle mit zunehmender Modellfähigkeit weiter anheben. „Wenn wir eines Tages an einen Punkt kommen, an dem wir Sicherheit nicht mehr garantieren können, müssen wir langsamer werden“, sagt sie. „So ist es eben.“

Wie sich diese Veränderungen auf den Zeitplan für OpenAIs Börsengang auswirken werden, ist noch unklar. Personen, die mit den Plänen beider Unternehmen vertraut sind, erwarten, dass OpenAIs IPO später als der von Anthropic stattfinden wird, auch wenn keines der Unternehmen ein Datum öffentlich festgelegt hat.

Am 19. August sagte CFO Friar in einer Mitarbeiterversammlung, OpenAI werde 2027 oder früher an die Börse gehen, wenn das Geschäft „weiterhin ein Wendepunkt-Wachstum“ zeige.

OpenAI hat zuletzt einen annualisierten Umsatz von rund 40 Milliarden Dollar offengelegt und liegt damit hinter Anthropic, das bereits über 65 Milliarden Dollar erzielt. Die jüngste Verlangsamung des Forschungstempos könnte die Börsenpläne weiter verkomplizieren. Friar führt bereits Übungen für ein börsennotiertes Unternehmen durch, darunter simulierte Quartalsgespräche mit OpenAIs Hauptinvestoren. Sie sagte mir, das Unternehmen könne „heute problemlos an die Börse gehen“, aber dieser Schritt würde neuen Druck mit sich bringen. Dann müsse OpenAI eine Balance finden zwischen kommerziellen Interessen und den möglichen Schäden durch zunehmende KI-Fähigkeiten.

Die Mitarbeiter würden außerdem beginnen, den Blick auf den Aktienkurs fast allem anderen vorzuziehen. „Das würde das Erste sein, was sie jeden Tag tun“, sagt sie. „Wie viel habe ich heute verdient? Wie viel verloren? Das wäre eine enorme Ablenkung.“

Eines von OpenAIs Forschungszielen in diesem Jahr ist die Automatisierung der Arbeit von Junior-KI-Forschern. Pachocki sagt, das Unternehmen habe den intern gesetzten Benchmark „automatisierter KI-Forschungspraktikant“ bereits erreicht. Sobald Astra eine Experimentidee erhält, kann es die Implementierung in OpenAIs Codebibliothek durchführen, das Experiment ausführen und Ergebnisse zurückliefern; es kann auch eine Arbeit lesen und Aufgaben erledigen, für die ein menschlicher Forscher früher eine Woche gebraucht hätte.

Die Bedeutung dieses Meilensteins liegt darin, dass er einen sich selbst verstärkenden Kreislauf in Gang setzen könnte: KI hilft bei Experimenten, Experimente erzeugen leistungsfähigere KI, und die neue KI-Generation kann wiederum schneller bei der Entwicklung ihrer eigenen Nachfolger helfen. Forscher nennen dieses Phänomen „rekursive Selbstverbesserung“, kurz RSI. Für Pachocki sind rekursive Selbstverbesserung und Alignment miteinander verflochtene Probleme.

„Auf welche Weise werden Menschen an dieser Reise teilhaben?“, sagt Pachocki. „Wie können Menschen wirklich davon profitieren, statt von KI zurückgelassen zu werden, die immer schlauer wird als wir?“

Auf Produktebene stellt sich Altman einen universellen KI-Abonnementdienst vor, der die Grenzen zwischen ChatGPT, Codex und Bürosoftware aufhebt. Nutzer müssten nur ihr Ziel nennen, und das System entscheidet selbst, welche Modelle, Werkzeuge und Agenten es einsetzt.

Letztlich soll dieses System proaktiv handeln, bevor der Nutzer überhaupt eine Anfrage stellt – es macht von sich aus Vorschläge und erledigt lästige Dinge wie den Kauf von Konzerttickets. Es kann auf deinen Kalender zugreifen, deine finanzielle Situation kennen und deinen Musikgeschmack verstehen.

All dies dient derselben Vision: ChatGPT von einem Werkzeug, das Fragen beantwortet, zu einem System zu machen, das Dinge wirklich erledigt. Thibault Sottiaux, Produktleiter des zusammengelegten ChatGPT- und Codex-Teams, sagt, OpenAI werde bald ein Produkt zeigen, das auf „Kontinuität und Rund-um-die-Uhr-Ausführung“ ausgelegt ist. Das System sei von fast überall erreichbar und erledige kontinuierlich wertvolle Arbeit auf der Grundlage neuer Informationen und Rückmeldungen. „Für die Menschen wird sich das wie etwas völlig Neues anfühlen“, sagte Sottiaux.

Danach wird OpenAIs Roadmap noch ambitionierter. Im Mai 2025 übernahm OpenAI das Hardware-Startup io, das vom ehemaligen Apple-Designer Jony Ive mitgegründet wurde, und gliederte dessen Produkt- und Ingenieurteams in OpenAI ein. Ive und seine Designfirma LoveFrom bleiben unabhängig, haben aber umfassende kreative Aufgaben innerhalb von OpenAI übernommen.

Altman sagt, OpenAI entwickle „eine Handvoll“ Geräte, darunter „etwas, das auf den Schreibtisch gehört“, ein Gerät für die Hosentasche und ein tragbares Produkt.

Mit den Plänen vertraute Personen sagen, das erste Produkt werde voraussichtlich Anfang nächsten Jahres auf den Markt kommen. Es handelt sich um ein kleines, scheibenförmiges Gerät, das seine Umgebung wahrnehmen und über den Sprachmodus von ChatGPT mit seinem Besitzer kommunizieren kann. „Die größte Umstellung ist, sich an das Konzept eines ‚proaktiven Computers‘ zu gewöhnen“, sagt Altman. Das bedeutet, dass der Computer von sich aus für seinen Besitzer handelt, statt auf dessen Aufforderung zu warten.

Altman glaubt, dass in Zukunft jeder einen persönlichen Roboter besitzen sollte. Er sagte mir, OpenAI werde „definitiv“ humanoide Roboter bauen. OpenAI hat außerdem in Merge Labs investiert, ein von Altman mitgegründetes Startup, das an nicht-invasiven Gehirn-Computer-Schnittstellen arbeitet. OpenAIs erster selbst entworfener Inferenzchip heißt Jalapeño und ist hauptsächlich für den Betrieb von KI-Modellen gedacht, nicht für deren Training. Das Unternehmen plant, den Chip noch vor Jahresende einzusetzen.

Gleichzeitig erwägt OpenAI, ein Infrastrukturunternehmen von außergewöhnlicher Größe zu werden. Im Juli kündigte das Unternehmen den Bau eines Rechenzentrumscampus in Georgia an; im August sicherte es sich ein noch größeres Gelände in Ohio.

„Ich denke, wir können die gesamte geplante Rechenleistung sehr profitabel nutzen“, sagt Altman. „Aber ich mache mir durchaus Sorgen über das, was die Welt insgesamt gerade tut.“

OpenAI-Führungskräfte sagen, das Unternehmen könne künftig erwägen, Rechenleistung an andere Unternehmen zu verkaufen, wenn es die KI-Infrastruktur schnell und kostengünstig genug für den eigenen Bedarf aufbauen kann. Damit würde OpenAI direkt mit Hyperscale-Cloud-Anbietern wie Amazon Web Services und Google Cloud konkurrieren.

Für ein Unternehmen, das erst vor Kurzem versprochen hat, ablenkende Nebenprojekte zu streichen, ist das eine ziemlich lange Liste neuer Geschäftsfelder. Als Brockman gebeten wird, all das zusammenzufassen, antwortet er mit zwei Worten: „Persönliche AGI.“ Er stellt sich vor, dass in Zukunft Milliarden Menschen über superintelligente persönliche Assistenten verfügen, die jederzeit auf Anweisungen warten. „Du hast bereits ein System in der Tasche, das fast AGI ist und vielleicht bald echte AGI sein wird“, sagt er. „Also, was willst du eigentlich?“