Ein umfassender Leitfaden für das nächste Jahrzehnt, die KI-Investitionsbibel für geniale Jugendliche: „Situationsbewusstsein“

Autor: @giantcutie666

Im Jahr 2024 verließ Leopold Aschenbrenner, ein nach 2000 geborenes Teenager-Genie, OpenAI, um einen Fonds zu gründen.

Gleichzeitig notierte er seine Investitionsideen:

Im Rückblick ist diese 165-seitige Abhandlung mit dem Titel „Situationsbewusstsein: Das kommende Jahrzehnt“ legendär geworden.

Wer das letztes Jahr verstanden hat, hat dieses Jahr mit Sicherheit finanzielle Freiheit erlangt!

Ich habe die 165-seitige englische Originalfassung „hier“ eingefügt, und unten finden Sie eine Kurzfassung des Inhalts:

https://situational-awareness.ai/wp-content/uploads/2024/06/situationalawareness.pdf

Die Kernaussage des Artikels lautet: Innerhalb dieses Jahrzehnts wird die Menschheit eine AGI (die in der Lage ist, alle Aufgaben eines Durchschnittsmenschen auszuführen) entwickeln, kurz darauf gefolgt von einer Superintelligenz.

Derzeit verstehen das nur wenige Hundert Menschen, die meisten davon konzentriert in einigen wenigen Straßen von San Francisco. Der Rest – darunter die Wall Street, die Medien und Washington – hat es noch nicht begriffen (einige an der Wall Street haben dies erst in diesem Jahr erkannt).

Teil Eins: Warum AGI bis 2027 existieren wird

Die Methode ist einfach, aber effektiv: Man sagt nicht die Zeit voraus, sondern den Umfang der Rechenleistung.

In den vergangenen vier Jahren, von GPT-2 bis GPT-4, hat sich die „effektive Rechenleistung“ des Modells um etwa das 100.000-fache erhöht und ist alle sechs Monate um das Zehnfache gewachsen!

GPT-2 war wie ein Kindergartenkind, das Mühe hatte, halbwegs zusammenhängende Sätze zu schreiben, während GPT-4 wie ein intelligenter Gymnasiast ist, der in der Lage ist, das Staatsexamen zu bestehen und wissenschaftliche Probleme auf Doktorandenniveau zu lösen.

Diese 100.000-fache Steigerung ist auf drei Quellen zurückzuführen:

Erstens, die Hardware-Investitionen. Die für das Training benötigte Rechenleistung hat sich jährlich mehr als verdreifacht. Das Mooresche Gesetz sieht eine Steigerung um das 1,3-Fache pro Jahr vor, während sich die KI dank menschlicher Investitionen in dedizierte KI-Chips um das Fünffache beschleunigt hat.

Zweitens: intelligentere Algorithmen. Dank der Algorithmenentwickler, die die Grenzen des Machbaren immer weiter verschieben, benötigt man heute für das Tausendfache weniger Rechenaufwand, um eine bestimmte mathematische Fähigkeit zu erreichen, als noch vor zwei Jahren.

Drittens ist die Freischaltung standardmäßig unterdrückter Funktionen (Entfesselung) der interessanteste Aspekt.

Das Modell selbst verfügt über viele Möglichkeiten, ist aber durch Standardeinstellungen eingeschränkt. Beispielsweise war das Basismodell von ChatGPT durchaus intelligent, lieferte aber sinnlose Ergebnisse – RLHF hat sein Potenzial freigesetzt.

Ebenso wurde das Denkvermögen des Modells freigesetzt, indem man ihm erlaubte, „eine Weile nachzudenken, bevor es antwortete“ (Gedankenkette). Die Bereitstellung von Werkzeugen und Langzeitgedächtnis erschließt eine weitere Ebene.

In den nächsten vier Jahren (bis 2027) prognostiziert der Autor, dass sich diese drei Wege um weitere 100.000 Mal verstärken werden.

Die entscheidende Erkenntnis liegt in der Entfesselung:

Die aktuellen Modelle können nur „einige Minuten lang denken“ – etwa einige hundert Token. Was wäre, wenn sie „einige Monate lang denken“ könnten – über eine Million Token?

Der Unterschied zwischen Ihnen und Einstein ist beispielsweise viel geringer als der Unterschied zwischen „Sie denken 5 Minuten lang nach“ und „Sie denken 5 Monate lang nach“.

Sollte diese Erschließung gelingen, würde dies einen weiteren Intelligenzsprung um drei bis vier Größenordnungen bedeuten. Dieses Ziel ist bereits in greifbarer Nähe.

Hochgerechnet auf das Jahr 2027 wird eine neue Art von KI entstehen: Sie ist in der Lage, wochenlang selbstständig wie ein Mitarbeiter im Homeoffice zu arbeiten, Aufgaben zu planen, Code zu schreiben, Experimente durchzuführen, Fehler zu beheben und Ergebnisse zu übermitteln.

Es könnte einen OpenAI-Forscher vollständig ersetzen, so definiert der Autor AGI.

Die größte Unsicherheit ergibt sich aus der Datenflut – hochwertige öffentliche Internetdaten werden schnell verbraucht.

Teil Zwei: AGI ist nicht das Ende, sondern der Auslöser

Was passiert, wenn KI die Arbeit von KI-Forschern übernehmen kann?

Bei gleichbleibender Rechenleistung sind Sie nicht länger durch „die wenigen hundert Forscher bei OpenAI/Anthropic/DeepMind zusammen“ beschränkt – Sie können 100 Millionen Kopien von KI-Forschern ausführen, die jeweils mit der 100-fachen Geschwindigkeit eines Menschen arbeiten.

Alle paar Tage entspräche die Produktivität einem ganzen Jahr menschlicher Arbeit.

Diese automatisierten Forscher haben auch strukturelle Vorteile: Sie lesen alle ML-Veröffentlichungen, erinnern sich an jedes Experiment, tauschen Gedanken direkt zwischen den Kopien aus, und die Schulung einer Kopie bedeutet, dass alle geschult werden (es ist nicht nötig, dass sich jeder neue Mitarbeiter langsam einarbeiten muss).

Das bedeutet: Ein algorithmischer Fortschritt, für den Menschen ursprünglich 10 Jahre benötigt hätten, könnte in nur einem Jahr erreicht werden.

Dieses eine Jahr wird dann ein intelligenteres Modell der nächsten Generation hervorbringen, was zu einer weiteren Komprimierungsrunde führt. Der Übergang von AGI zu Superintelligenz, die die menschlichen Fähigkeiten weit übertrifft, könnte in nur wenigen Monaten bis zu ein oder zwei Jahren erfolgen.

Der Autor räumt ein, dass es Engpässe gibt – etwa rechenintensive Experimente, und selbst bei vielen Kopien muss man auf GPUs warten. Er argumentiert jedoch, dass diese Engpässe die rasante Verbreitung nur geringfügig verlangsamen, nicht aber verhindern werden.

Wie sieht Superintelligenz aus?

In puncto Umfang übertrifft es den Menschen – es lässt Hunderte Millionen Kopien parallel laufen, integriert sich sofort über alle Disziplinen hinweg und sammelt innerhalb weniger Wochen das Äquivalent von tausend Jahren menschlicher Erfahrung an.

Qualitativ übertrifft es den Menschen – wie etwa AlphaGos 37. Zug (ein Zug, den sich menschliche Experten jahrzehntelang nicht hätten vorstellen können) – und das in allen Bereichen. Es kann Code-Schwachstellen aufdecken, die Menschen in ihrem ganzen Leben nie entdecken würden, und Code schreiben, den Menschen niemals verstehen könnten.

Wir werden uns wie Grundschüler fühlen, die Doktorarbeiten lesen.

Die Konsequenzen sind: Die Robotik wird gelöst sein (es handelt sich dabei in erster Linie um ein Problem der ML-Algorithmen, nicht um ein Hardwareproblem), die synthetische Biologie wird als Waffe eingesetzt werden, und Schwärme von Tarnkappendrohnen könnten Atomwaffen präventiv zerstören.

Das gesamte internationale militärische Gleichgewicht wird sich innerhalb weniger Jahre umkehren.

Teil Drei: Vier wirklich dringende Probleme

Problem Eins: Billionen-Dollar-Cluster

Bei diesem Wettbewerb geht es nicht nur um Programmierer, die Code schreiben; es geht um die Mobilisierung der Industrie.

Jede neue Modellgeneration erfordert größere Cluster, und größere Cluster benötigen Kraftwerke, die wiederum Chipfabriken benötigen.

Bei dem derzeitigen Tempo: ein 1-GW-Cluster bis 2026 (entspricht der Leistung des Hoover-Staudamms), 10 GW bis 2028 (entspricht einem mittelgroßen US-Bundesstaat) und 100 GW bis 2030 (über 20 % der gesamten US-Stromerzeugung).

Das Investitionsvolumen könnte bis 2027 1 Billion US-Dollar pro Jahr übersteigen.

Der eigentliche Flaschenhals ist nicht Geld oder GPUs, sondern Strom. „Wo bekomme ich 10 GW her?“ ist derzeit das heißeste Thema in San Francisco.

Um dies im Inland in den USA zu realisieren, müssen die Umweltauflagen gelockert und die Macht des Bundes genutzt werden, um Land freizugeben – der Autor erhebt dies auf eine Ebene der nationalen Sicherheit.

Wenn die USA es nicht schaffen, werden die Cluster in die VAE oder nach Saudi-Arabien verlagert, wodurch die Kontrolle über AGI faktisch an autoritäre Länder übergehen würde.

Zweites Problem: Labore sind undicht

Die heutigen KI-Labore verfügen über ein Sicherheitsniveau, das dem von gewöhnlichen Silicon-Valley-Startups entspricht.

Google DeepMind (der Branchenführer) räumt ein, dass seine Verteidigungsfähigkeit gegen staatliche Angreifer auf Stufe 0 (von maximal 4) liegt.

Was bedeutet das? Die „Gewichte“ von AGI-Modellen sind im Wesentlichen eine große Datei auf einem Server.

Wenn diese Datei gestohlen würde, wäre das so, als würde man „automatisierte KI-Forscher“ direkt an China ausliefern – sie könnten sofort ihre eigene Geheimdienstexplosion auslösen und damit alle Fortschritte der USA zunichtemachen.

Noch dringlicher ist, dass algorithmische Geheimnisse – die entscheidenden Durchbrüche für das Paradigma der nächsten Generation (wie man die Datenmauer durchbricht) – in den Slack-Kanälen und außerhalb der Schreibtische verschiedener Unternehmen in San Francisco entstehen.

Der Autor behauptet: Innerhalb der nächsten 12 bis 24 Monate werden entscheidende Durchbrüche im Bereich der künstlichen allgemeinen Intelligenz (AGI) nach China gelangen. Das ist keine Frage des Vielleicht, sondern nahezu sicher.

Um ein Sicherheitsniveau zu erreichen, das der vollen Macht des chinesischen Ministeriums für Staatssicherheit standhält, sind Isolation auf Hardwareebene, Hintergrundüberprüfungen des Personals auf dem Niveau von Atomwaffeningenieuren und speziell entwickelte Cluster erforderlich – deren Entwicklung und Aufbau mindestens einige Jahre in Anspruch nehmen wird. Wird nicht umgehend gehandelt, wird die Sicherheit bis zum Erreichen der AGI im Jahr 2027 nicht mithalten können, was nur zwei schlechte Optionen lässt: entweder die Verantwortung an andere Länder abzugeben oder abzuwarten, bis die Sicherheit aufgebaut ist (und damit möglicherweise den Vorsprung zu verlieren).

Problem drei: Ausrichtungsprobleme

Die derzeitige Technologie zur Modellanpassung heißt RLHF – Menschen bewerten das Modell, und das Modell lernt, den Menschen zu gefallen.

Diese Methode ist im Vergleich zu einer KI, die nicht über menschliches Verständnis verfügt, effektiv. Sobald die KI jedoch um ein Vielfaches intelligenter ist als der Mensch, versagt diese Methode völlig – wie soll man eine Doktorarbeit bewerten, die man nicht versteht?

Die rasante Entwicklung der Geheimdienste macht diese Angelegenheit extrem brisant:

In weniger als einem Jahr erfolgt der Sprung von „RLHF funktioniert noch“ zu „RLHF versagt komplett“, ohne dass Zeit für iteratives Ausprobieren bleibt.

Gleichzeitig springt es von "kleineren Fehlern" (ChatGPT flucht) zu "katastrophalen Fehlern" (Superintelligenz entkommt dem Cluster, um militärische Systeme zu hacken).

Die Zwischenarchitektur durchläuft mehrere Generationen der Evolution, und wir werden nicht verstehen, wie die endgültige Superintelligenz denkt.

Die aktuellen Modelle argumentieren mit englischen Token (relativ transparent), aber in Zukunft werden sie sich wahrscheinlich dahingehend weiterentwickeln, dass sie mit internen latenten Zuständen argumentieren – völlig unerklärlich.

Der Autor ist hinsichtlich technischer Lösungen optimistisch: Es gibt viele leicht umsetzbare Lösungen, und es werden Fortschritte in der Erklärbarkeitsforschung erzielt.

Allerdings ist er hinsichtlich der organisatorischen Umsetzung äußerst pessimistisch – weltweit arbeiten nur wenige Dutzend Experten an diesem Thema, und die Labore scheinen keinerlei Bereitschaft zu zeigen, die Sicherheit zu verbessern. „Wir verlassen uns zu sehr auf Glück.“

Problem Vier: Die freie Welt muss gewinnen

Der Autor verwendet viel Zeit darauf zu argumentieren, dass einige Länder nicht nur noch im Spiel sind, sondern auch sehr wettbewerbsfähig.

In puncto Rechenleistung: Huaweis 7-nm-Chips (hergestellt von SMIC) erreichen die Leistung von NVIDIAs A100, wobei das Kosten-Leistungs-Verhältnis 2-3 Mal schlechter, aber immer noch ausreichend ist.

Was die Baukapazität angeht: China hat im letzten Jahrzehnt Stromerzeugungskapazitäten geschaffen, die der gesamten installierten Kapazität der USA entsprechen. Hinsichtlich der industriellen Mobilisierung zum Aufbau eines 100-GW-Clusters könnte China den USA überlegen sein.

Wege für Diebstahl: Solange US-Labore nicht gesichert sind, werden wichtige Algorithmen innerhalb von zwei Jahren unweigerlich durchsickern.

Es gibt eine beunruhigende zeitliche Übereinstimmung: Der Zeitplan für die AGI (ca. 2027) deckt sich mit dem Zeitfenster für Beobachter der Taiwanstraße hinsichtlich eines möglichen Angriffs der KPCh auf Taiwan (ca. 2027). „Das Endspiel der AGI könnte sich vor dem Hintergrund eines Weltkriegs abspielen.“

Die Schlussfolgerung des Autors: Die USA müssen einen „deutlichen Vorsprung“ wahren – er schlägt zwei Jahre vor. Dieser zweijährige Puffer soll die Lage stabilisieren und die Aushandlung der internationalen Ordnung für das Zeitalter der Superintelligenz mit China ermöglichen.

Bei weniger als diesem Vorsprung wird die ganze Welt in einen „Überlebenswettlauf durch Intelligenzexplosion“ gestürzt – alle Sicherheitsmargen werden auf null reduziert, und jeder wird rücksichtslos um Geschwindigkeit wetteifern.

Teil Vier: Das Projekt (AGI-Version des Manhattan-Projekts)

An dieser Stelle präsentiert der Autor die kühnste Vorhersage des gesamten Buches.

„Es ist unmöglich für die US-Regierung, ein Start-up-Unternehmen aus Science-Fiction mit der Entwicklung von Superintelligenz zu beauftragen.“ Stellen Sie sich vor, man hätte damals Uber mit der Entwicklung der Atombombe beauftragt.

Prognose: Im Laufe des Jahres 2027 oder 2028 wird der US-amerikanische Sicherheitsapparat das AGI-Projekt in irgendeiner Form übernehmen. Dies könnte in Form eines Rüstungsunternehmens (OpenAI wird zu Lockheed Martin), eines Joint-Venture-Modells (Cloud-Anbieter + Labore + Regierung) oder sogar einer noch umfassenderen Verstaatlichung erfolgen.

Die wichtigsten Forscher werden in SCIF-gesicherte Einrichtungen umziehen, und Billionen-Dollar-Cluster werden in Kriegsgeschwindigkeit errichtet.

Der Weg wird sich ebnen: In den Jahren 2026/27 wird die erste wirklich beängstigende Leistungsdemonstration stattfinden – möglicherweise die „Unterstützung von Anfängern bei der Entwicklung biologischer Waffen“ oder das autonome Eindringen von KI in kritische Infrastrukturen.

Sobald Details über die Infiltration von Laboren durch die KPCh bekannt werden, wird sich die Atmosphäre in Washington dramatisch verändern. Die Frage „Brauchen wir ein Manhattan-Projekt mit künstlicher Intelligenz?“ wird erst langsam, dann plötzlich zum beherrschenden Thema werden.

Warum muss es die Regierung sein? Weil Superintelligenz eher mit Atomwaffen als mit Internettechnologie vergleichbar ist.