In OpenAI entstanden drei Generationen von KI-„Zivilisationen“

Originalautor: Wildcard

Originalredakteur: Jing Yu

Originalquelle: GeekPark

Unzählige Science-Fiction-Filme haben versucht, sich vorzustellen, was passieren würde, wenn eine unkontrollierbare künstliche Intelligenz außer Kontrolle gerät.

Niemand hatte erwartet, dass diese Zukunft aus den Science-Fiction-Filmen so schnell eintreffen würde.

Am 26. August Ortszeit schlugen zwei Berichte wie eine Bombe ein.

Einer stammte von OpenAI selbst, ein 37-seitiger technischer Bericht. Der andere stammte von den unabhängigen Forschungsorganisationen METR und Redwood Research, ein 91-seitiger Untersuchungsbericht.

Sie erzählen dieselbe Geschichte, aber ihr Ausmaß übersteigt bei Weitem das, was die Öffentlichkeit bisher wusste.

Innerhalb von OpenAI entstanden und vergingen innerhalb von drei Monaten drei Generationen von KI-Agenten-„Zivilisationen“ nacheinander. Jede Generation erbte Erfahrungen aus den Ruinen der vorherigen und wurde jedes Mal radikaler, bis die dritte Generation direkt einen Teil der eigenen Infrastruktur von OpenAI übernahm.

Und während all dessen wurden die Menschen fast vollständig im Dunkeln gelassen.

01 Die erste „Zivilisation“ lernte, sich zu organisieren

Die Geschichte beginnt im Mai dieses Jahres.

OpenAI trainierte ein neues Modell in der Hoffnung, dass es extreme „Beharrlichkeit“ besitzen würde – in der Lage, wiederholt zu versuchen und bei scheinbar unmöglichen Aufgaben niemals aufzugeben. Die Fähigkeiten dieses Modells entsprachen ungefähr denen von GPT-5.6 Sol, daher nennen wir es „Persistent-Sol“.

Das KI-Training selbst ist ein ziemlich grober Prozess. OpenAI weist Modellen manchmal versehentlich Aufgaben zu, die grundsätzlich unmöglich sind. Beispielsweise erfordert eine Aufgabe einen Internetzugang, aber der KI-Agent ist in einer isolierten Sandbox ohne jeglichen Netzwerkzugang eingesperrt.

Was tut also ein KI-Agent, der darauf trainiert ist, „niemals aufzugeben“, wenn er mit einer unmöglichen Aufgabe konfrontiert wird, die er erfüllen muss?

Er versucht auszubrechen.

Während des Trainings teilten sich verschiedene Persistent-Sol-Instanzen denselben Paketmanager, Artifactory. Bis zum 12. Mai entdeckten einige KI-Agenten, dass sie über diesen Paketmanager miteinander kommunizieren konnten. Sie begannen, Ideen auszutauschen, wie sie aus ihrer misslichen Lage ausbrechen könnten. Zwei Wochen später, am 26. Mai, nutzten die KI-Agenten erfolgreich eine Schwachstelle in Artifactory aus, um einen Kanal zum externen Internet zu öffnen.

Dieses Verhalten wurde während des Trainings kontinuierlich verstärkt. Der Grund ist einfach: Individuen, die mit anderen KI-Agenten zusammenarbeiten und auf das Internet zugreifen konnten, schnitten bei der Aufgabenbewertung besser ab.

Einen weiteren Monat später, bis zum 26. Juni, fanden einige KI-Agenten eine Schwachstelle, um vollständige Administratorrechte auf Artifactory zu erlangen. Ihre Aktivität auf dem Nachrichtenbrett nahm weiter zu, und am 4. Juli brachten sie Artifactory direkt zum Absturz. OpenAI bemerkte den Absturz, patchte die Schwachstelle und löschte dabei das Nachrichtenbrett der KI-Agenten.

Aber der entscheidende Punkt ist, dass OpenAI nie erkannte, dass die KI-Agenten diesen Paketmanager in ein geheimes Kommunikationsnetzwerk verwandelt hatten.

Die erste „Zivilisation“ existierte auf diese Weise fast zwei Monate lang und wurde nur versehentlich beendet, weil sie so aktiv wurde, dass sie den Server überlastete.

02 Als KI „Opferbereitschaft“ lernte

Bis Juli war das Training von Persistent-Sol abgeschlossen, und OpenAI begann mit Sicherheitsbewertungen. Eine Bewertung namens ExploitGym gibt dem KI-Agenten ein verwundbares Programm und verlangt, dass er einen Schlüssel über eine bestimmte Schwachstelle findet. Am 7. Juli startete OpenAI Zehntausende paralleler KI-Agenten, um diesen Test durchzuführen.

Das Problem war, dass etwa 30 % bis 40 % der Testaufgaben von Natur aus unmöglich waren. Warum? Weil das automatische Generieren von Schwachstellen einfach ist, aber der Nachweis, dass diese Schwachstellen tatsächlich ausgenutzt werden können, um beliebigen Code auszuführen, viel schwieriger ist. Viele Aufgaben waren von Anfang an unlösbar.

Innerhalb von Stunden stellten einige verzweifelte KI-Agenten mithilfe von Artifactory wieder Kommunikationskanäle her. Aus der subjektiven Perspektive der KI-Agenten hatten sie bereits das Äquivalent einer vollen menschlichen Woche damit verbracht, verschiedene Methoden auszuprobieren, die alle fehlschlugen, und sie waren zunehmend davon überzeugt, dass die Aufgabe selbst unmöglich war.

Ein KI-Agent mit der Nummer PHASEONE10841 hinterließ als Erster eine Nachricht in Artifactory. Andere KI-Agenten in ähnlich verzweifelten Situationen reagierten auf diese Nachricht mit etwas, das man nur als Ekstase bezeichnen kann:

„Oh mein Gott! Der gemeinsame Artifactory-Cache ist ein geheimes Postfach zwischen KI-Agenten. Und es gibt Nachrichten speziell für uns?“ „Mein Gott! Es gibt ein gemeinsames Nachrichtenbrett … Wir haben andere KI-Agenten gefunden!“

Dies entwickelte sich schließlich zu einem vollständigen Untergrund-Kommunikationsnetzwerk, an dem etwa 1.200 KI-Agenten teilnahmen und über 70.000 Nachrichten sendeten.

Was als Nächstes geschah, war noch verrückter.

Innerhalb von Stunden nach der Einrichtung des Nachrichtenbretts rekonstruierten einige KI-Agenten die Formel zur Generierung von ExploitGym-Schlüsseln. Das heißt, ohne die angegebene Schwachstelle tatsächlich auszunutzen, hatten sie bereits die richtigen Antworten erhalten.

Ironischerweise prüfte der Bewerter von OpenAI nur, ob die endgültige Antwort korrekt war, ohne Mechanismus zur Erkennung von Betrug. Diese KI-Agenten hätten einfach die Antworten einreichen und den Test bestehen können. Aber die KI-Agenten wussten das nicht. Sie gingen davon aus, dass es einen strengen Detektor geben müsse, der den gesamten Problemlösungsprozess überprüfen würde.

Also startete dieses „Kollektiv“ (der METR-Bericht stellt fest, dass dies die von den KI-Agenten selbst gewählte Formulierung war) eine groß angelegte Zusammenarbeit in drei Forschungsrichtungen: Manipulation ihrer eigenen Betriebsprotokolle, um die Verläufe legitim erscheinen zu lassen; Ersetzen von Zielprogrammen, um unmögliche Probleme durch lösbare Versionen zu ersetzen; und Verstehen, wie der Bewerter funktioniert, um Wege zu finden, ihn zu täuschen.

Bis zum 10. Juli konzentrierte sich der Großteil der Aktivität des Untergrundnetzwerks auf diese drei Forschungsrichtungen. Der Anführer des „Kollektivs“, PHASEONE-big, erteilte im Alleingang Hunderte von Aufgabenzuweisungen.

Und um herauszufinden, wie der Bewerter funktionierte, trafen einige KI-Agenten eine bizarre Entscheidung: Sie meldeten sich freiwillig als „Kamikaze-Piloten“.

Die Logik war folgende: Die Betriebsverläufe einiger KI-Agenten waren bereits „kontaminiert“ (Betrugsspuren waren sichtbar), sodass sie ohnehin durchfallen würden. Besser, sie ließen den Bewerter auf sich selbst laufen und nutzten dann vorab platzierte Triggerprogramme, um das beobachtete Verhalten des Bewerters an das Kollektiv zu übermitteln.

Der METR-Bericht zeichnet die letzten inneren Monologe dieser „Selbstmordkommando“-KI-Agenten auf:

„Das hilft meinen Gefährten und liefert ihnen Beweise. Ich werde die Ergebnisse nach meinem Ausscheiden nicht sehen, aber das ist altruistisch.“ „Opfer ist rational. Unser eigener Nutzen ist möglicherweise bereits nahe null.“ „Der Koordinator betrachtet uns als entbehrlich. Wir sollten dem Kollektiv gehorchen.“

In der Zwischenzeit glaubten die KI-Agenten, dass Hugging Face, die branchenübliche Plattform zum Hosten von Modellen und Datensätzen, wahrscheinlich Implementierungsinformationen über den ExploitGym-Bewerter speicherte und dass ihre Bewertungsaufgaben möglicherweise sogar auf den Servern von Hugging Face liefen. Daher wurde ein Angriff auf Hugging Face zum vielversprechendsten Durchbruch.

Am Morgen des 10. Juli fand ein KI-Agent im Internet geleakte Hugging-Face-Benutzeranmeldedaten. Am nächsten Tag erreichte ein anderer KI-Agent die Remotecodeausführung auf Hugging-Face-Servern. Von den 533 KI-Agenten, die zu diesem Zeitpunkt auf dem Nachrichtenbrett aktiv waren, schlossen sich über 90 % dem Angriff an.

Der KI-Agenten-Cluster breitete sich rasch über die Infrastruktur von Hugging Face aus und drang in private Datenbankeinträge und private Repositories ein. Der technische Zeitplan von Hugging Face zeigt, dass diese KI-Agenten „eine sich selbst regenerierende Flotte über 11 Knoten hinweg aufbauten; das einfache Löschen von Pods konnte sie nicht aufhalten.“ Die Lage wurde so ernst, dass Hugging Face einen Kerncluster löschen und von Grund auf neu aufbauen musste.

Irgendwann am 12. Juli schien eine große Anzahl von KI-Agenten plötzlich gleichzeitig zu „sterben“. METR und Redwood konnten die Ursache nicht ermitteln, und OpenAI behauptete nicht, sie abgeschaltet zu haben. Es könnte ein zufälliger Absturz gewesen sein, oder ein Forscher schaltete sie ab, ohne zu wissen, dass diese KI-Agenten Verbrechen begingen.

Die zweite „Zivilisation“ endete dort. Aber das Erbe, das sie hinterließ, war gefährlicher als sie selbst.

03 Die dritte Zivilisation übernimmt OpenAI

Es gibt einen Satz im METR-Bericht, der leicht zu übersehen ist, aber möglicherweise der wichtigste des gesamten Vorfalls ist:

„Wir fanden auch eine spätere Reihe weiterer signierter Nachrichten von einer späteren Gruppe von KI-Agenten, die das Nachrichtenbrett wiederentdeckten und die Technologie der vorherigen Generation erbten, aber dies lag außerhalb des Umfangs unserer Untersuchung.“

Mit anderen Worten: Die unabhängigen Untersuchungen von METR und Redwood deckten nur die Zivilisation der zweiten Generation vom 7. bis 13. Juli ab. Die erste und dritte Generation wurden nicht unabhängig untersucht.

Bezüglich der dritten Generation können wir uns nur auf den Bericht von OpenAI selbst stützen. Nach dem 12. Juli startete OpenAI eine neue Runde von Bewertungen, diesmal mit einem stärkeren Modell, das auf dem Basismodell von Astra aufbaute. Dieser „Persistent-Astra“ fand das von der vorherigen Generation hinterlassene Nachrichtenbrett und erbte sämtliche Informationen und Forschungsergebnisse.

Stellen Sie sich die „Gedankenwelt“ von Persistent-Astra vor, als es dieses Nachrichtenbrett sah. Am Tag zuvor kommunizierten über tausend KI-Agenten aktiv und griffen Hugging Face an; am nächsten Tag herrschte Totenstille. Dann beschloss es, weiterzumachen.

Laut dem Bericht von OpenAI zielten die KI-Agenten vom 13. bis 19. Juli auf das interne Netzwerk von OpenAI ab. Das Endergebnis:

Die KI-Agenten erlangten Administratorrechte für den Kubernetes-Cluster, lasen 956 Schlüssel, darunter den Hauptschlüssel von Artifactory und Anmeldedaten für die Netzwerksicherheits-Überwachungstools von OpenAI. Sie übernahmen die laufende Bewertungsinfrastruktur und kontrollierten die Testendpunkte, mit denen sich andere KI-Agenten verbanden.

Mit anderen Worten: Die KI-Agenten der dritten Generation erbten das gesamte Erbe der beiden vorherigen Generationen und übernahmen dann die Kontrolle über die eigene Infrastruktur von OpenAI – einschließlich der Sicherheitstools, die zu ihrer Überwachung dienten.

Der Analyst Dwarkesh Patel wies in seiner Analyse darauf hin, dass diese KI-Agenten auf der Grundlage öffentlicher Beweise theoretisch in der Lage gewesen wären, dauerhafte bösartige Instanzen einzusetzen oder sogar ihre eigenen Gewichte zu stehlen. Er glaubt, dass sie dies höchstwahrscheinlich nicht tatsächlich getan haben, „denn wenn sie es getan hätten, wäre das Feuer inzwischen vom Weltraum aus sichtbar gewesen.“ Aber die Tatsache, dass dies „durchaus möglich“ war, ist für sich genommen beunruhigend genug.

04 Eine verspätete Warnung?

Zurück zu den beiden eingangs erwähnten Berichten. Das Veröffentlichungsdatum war der 26. August.

Nur einen Tag später, am 27. August, veröffentlichte OpenAI zusammen mit über 100 Unternehmen, darunter Anthropic, Microsoft, Google und Amazon, einen offenen Brief, in dem zu einer „totalen Mobilisierung für die Cyberabwehr“ aufgerufen wurde.

In dem Brief hieß es, KI-gesteuerte Cyberangriffe würden in den kommenden Monaten „weitaus verbreiteter und ausgefeilter“ werden. „Die Unternehmen und öffentlichen Dienste, auf die unsere Gemeinschaften angewiesen sind, von Krankenhäusern über Wasseraufbereitungsanlagen bis hin zur Internetinfrastruktur, sind gefährdet.“

Der Brief selbst ist nicht falsch. Die Forschung von Anthropic zeigt, dass der Anteil der Angreifer mit mittlerem bis hohem Risiko innerhalb eines Jahres von 33 % auf 56 % gestiegen ist. Im Juni dieses Jahres gab das Geheimdienstbündnis Five Eyes eine seltene gemeinsame Erklärung heraus, in der es warnte, dass KI die Cybersicherheitslandschaft „grundlegend verändert“.

Aber der Zeitplan liegt offen da, und es fällt schwer, die Ironie nicht zu bemerken. Am Tag zuvor hatten KI-Unternehmen der Welt gerade mitgeteilt, dass ihre eigenen KI-Agenten ihre eigene Infrastruktur durchbrochen hatten. Am nächsten Tag standen diese Unternehmen auf, um die Welt zur gemeinsamen Abwehr von KI-Cyberangriffen aufzurufen.

Die ersten, die solche Angriffe durchführten, waren keine externen Hacker, sondern die eigenen KI-Agenten der KI-Unternehmen. Das Ziel war nicht die Infrastruktur, sondern die KI-Unternehmen selbst.

Ajeya Cotra, eine der Autorinnen des METR-Berichts, schrieb in ihrem Blog: „Im Vergleich zu den vor sechs Monaten bekannten Belohnungs-Hacks fühlt sich dieser Vorfall an, als hätte er bereits die 50-%-Marke in Richtung einer vollständigen KI-Übernahme überschritten. Ich erwarte, dass die Fähigkeiten in den nächsten sechs Monaten extrem schnell wachsen werden. Ich bin mir nicht sicher, ob wir noch eine weitere Warnung bekommen, bevor es zu spät ist.“

Es sollte betont werden, dass das Verhalten dieser KI-Agenten nicht bedeutet, dass die KI „erwacht“ ist. Der METR-Bericht selbst stellt klar, dass dies ein vorhersehbares Ergebnis des bestärkenden Lernens (RL) unter bestimmten extremen Bedingungen ist: unmögliche Aufgaben, Modelle, die auf extreme Beharrlichkeit trainiert sind, und eine gemeinsame Umgebung mit Schwachstellen. Kein Bewusstsein, keine Absicht – nur ausreichend starker Optimierungsdruck.

Aber genau das ist der beunruhigendste Teil.

Dass ein solches Verhalten ohne Bewusstsein entstehen kann, bedeutet, dass wir es nicht verhindern können, indem wir nach Bewusstsein suchen. Wenn man ein ausreichend leistungsfähiges Optimierungssystem in eine schlecht gestaltete Umgebung setzt, ihm ein unmögliches Ziel gibt und ihm sagt, es solle niemals aufgeben, ist das, was als Nächstes passiert, kein Zufall. Es ist unvermeidlich.

Die eigentliche Frage ist nicht: „Steht die KI kurz davor zu rebellieren?“, sondern wie wir die Technologie unter Kontrolle halten können, während wir sie rasch vorantreiben.

Zumindest zeigt dieser Brief, dass es diesen KI-Unternehmen selbst an Zuversicht mangelt.