Un guide complet pour la prochaine décennie, la bible de l'investissement en IA pour les jeunes génies : « Conscience situationnelle »

Auteur : @giantcutie666

En 2024, Leopold Aschenbrenner, un jeune génie né après les années 2000, a quitté OpenAI pour créer un fonds.

Parallèlement, il a noté ses idées d'investissement :

Avec le recul, ce document de 165 pages intitulé « Conscience situationnelle : la décennie à venir » est devenu légendaire.

Ceux qui l'avaient compris l'an dernier ont assurément atteint la liberté financière cette année !

J’ai placé la version originale anglaise de 165 pages « ici », et vous trouverez ci-dessous une version condensée du contenu :

https://situational-awareness.ai/wp-content/uploads/2024/06/situationalawareness.pdf

L'idée principale de l'article est la suivante : au cours de cette décennie, l'humanité créera une intelligence artificielle générale (capable d'effectuer toutes les tâches d'une personne moyenne), suivie de près par une superintelligence.

À l'heure actuelle, quelques centaines de personnes seulement le comprennent, la plupart étant regroupées dans quelques rues de San Francisco. Le reste – y compris Wall Street, les médias et Washington – n'a pas encore saisi l'enjeu (certains à Wall Street ont commencé à s'en rendre compte cette année).

Première partie : Pourquoi l'IA générale existera d'ici 2027

La méthode est simple mais efficace : ne prédisez pas le temps, prédisez l'échelle de la puissance de calcul.

Au cours des quatre dernières années, de GPT-2 à GPT-4, la « puissance de calcul effective » du modèle a été multipliée par environ 100 000, soit une multiplication par dix tous les six mois !

GPT-2 était comme un enfant de maternelle qui peinait à écrire des phrases à moitié cohérentes, tandis que GPT-4 est comme un lycéen brillant capable de réussir l'examen du barreau et de résoudre des problèmes scientifiques de niveau doctorat.

Cette augmentation de 100 000 fois provient de trois sources :

Premièrement, l'investissement matériel. La puissance de calcul utilisée pour l'entraînement a plus que triplé chaque année. La loi de Moore n'augmente que de 1,3 fois par an, tandis que l'IA a quintuplé grâce aux investissements humains dans les puces dédiées à l'IA.

Deuxièmement, des algorithmes plus intelligents. Acquérir une certaine capacité mathématique coûte aujourd'hui 1 000 fois moins d'efforts de raisonnement qu'il y a deux ans, grâce aux ingénieurs en algorithmes qui repoussent les limites.

Troisièmement, le déblocage des capacités désactivées par défaut (désactivation) est l'aspect le plus intéressant.

Le modèle lui-même possède de nombreuses fonctionnalités, mais il est limité par ses paramètres par défaut. Par exemple, le modèle de base de ChatGPT était en réalité assez intelligent, mais produisait des résultats incohérents ; RLHF a permis d’exploiter pleinement son potentiel.

De même, laisser le modèle « réfléchir un moment avant de répondre » (enchaînement de raisonnement) a libéré sa capacité de raisonnement. Le doter d'outils et d'une mémoire à long terme ouvre un nouveau niveau de compréhension.

L’auteur prévoit que, dans les quatre prochaines années (d’ici 2027), ces trois voies se multiplieront par 100 000.

L'idée clé réside dans le déblocage :

Les modèles actuels ne peuvent « réfléchir que pendant quelques minutes », soit quelques centaines de jetons. Et s'ils pouvaient « réfléchir pendant quelques mois », soit plus d'un million de jetons ?

Par exemple, l'écart entre vous et Einstein est bien moindre que l'écart entre « vous réfléchissez pendant 5 minutes » et « vous réfléchissez pendant 5 mois ».

Si ce déblocage a lieu, il représenterait un bond en avant considérable en matière d'intelligence, de trois à quatre ordres de grandeur. Ce progrès est déjà à portée de main.

En extrapolant cela, vers 2027, un type d'IA émergera : capable de travailler de manière indépendante comme un employé à distance pendant des semaines, de planifier des tâches, d'écrire du code, de mener des expériences, de corriger des bugs et de soumettre des résultats.

Elle pourrait totalement remplacer un chercheur d'OpenAI, ce qui correspond à la définition de l'AGI donnée par l'auteur.

La plus grande incertitude provient du mur des données : les données publiques de haute qualité sur Internet sont rapidement consommées.

Deuxième partie : L’IA générale n’est pas la fin, mais le point de départ.

Que se passera-t-il lorsque l'IA sera capable d'effectuer le travail des chercheurs en IA ?

Avec une puissance de calcul inchangée, vous n'êtes plus limité par « les quelques centaines de chercheurs d'OpenAI/Anthropic/DeepMind réunis » : vous pouvez exécuter 100 millions de copies de chercheurs en IA, chacune fonctionnant à une vitesse 100 fois supérieure à celle de l'humain.

En quelques jours seulement, la production équivaudrait à une année entière de travail humain.

Ces chercheurs automatisés présentent également des avantages structurels : ils lisent tous les articles sur l’apprentissage automatique, se souviennent de chaque expérience, partagent directement leurs idées entre les copies, et la formation de l’un d’eux signifie la formation de tous (pas besoin que chaque nouvel employé se mette lentement à niveau).

Cela signifie que les progrès algorithmiques qui prendraient initialement 10 ans aux humains pourraient être condensés en une seule année.

Cette année permettra ensuite de développer un modèle de nouvelle génération plus performant, entraînant une nouvelle phase de compression. La transition de l'IA générale à une superintelligence surpassant largement les capacités humaines pourrait se produire en quelques mois, voire un ou deux ans seulement.

L'auteur reconnaît l'existence de goulots d'étranglement, comme les expériences nécessitant une puissance de calcul importante, et le fait que, même avec de nombreuses copies, il faille encore attendre la disponibilité des GPU. Cependant, il soutient que ces goulots d'étranglement ne feront que ralentir légèrement l'essor, sans l'empêcher.

À quoi ressemble la superintelligence ?

En termes d'échelle, il surpasse les humains : il exécute des centaines de millions de copies en parallèle, s'intègre instantanément dans toutes les disciplines et accumule en quelques semaines l'équivalent de mille ans d'expérience humaine.

Qualitativement, il surpasse les humains — à l'image d'AlphaGo effectuant son 37e coup (un coup que les experts humains n'auraient pu concevoir en des décennies), mais dans tous les domaines. Il peut identifier des failles de sécurité dans le code que les humains ne verraient jamais de leur vie et écrire du code que les humains ne pourraient jamais comprendre.

Nous serons comme des élèves de primaire lisant des thèses de doctorat.

Les conséquences sont les suivantes : la robotique sera maîtrisée (il s'agit principalement d'un problème d'algorithme d'apprentissage automatique, et non d'un problème matériel), la biologie synthétique sera militarisée et des essaims de drones furtifs pourraient détruire préventivement les armes nucléaires.

L'équilibre militaire international tout entier sera bouleversé d'ici quelques années.

Troisième partie : Quatre problèmes véritablement urgents

Problème numéro un : Les clusters valant des milliards de dollars

Ce concours ne se résume pas à des programmeurs écrivant du code ; il s'agit d'une mobilisation industrielle.

Chaque génération de modèles nécessite des grappes plus importantes, et ces grappes plus importantes nécessitent des centrales électriques, qui à leur tour nécessitent des usines de semi-conducteurs.

Au rythme actuel : un cluster de 1 GW d'ici 2026 (équivalent à la puissance du barrage Hoover), 10 GW d'ici 2028 (équivalent à un État américain de taille moyenne) et 100 GW d'ici 2030 (plus de 20 % de toute la production d'électricité américaine).

Le volume des investissements pourrait dépasser 1 000 milliards de dollars par an d'ici 2027.

Le véritable goulot d'étranglement n'est ni l'argent ni les cartes graphiques, mais l'électricité. « Où trouver 10 GW ? » est actuellement le sujet qui fait le plus parler à San Francisco.

Pour construire cela aux États-Unis, les autorisations environnementales doivent être assouplies et le pouvoir fédéral doit être utilisé pour débloquer des terrains – l’auteur élève cette question au rang d’enjeu de sécurité nationale.

Si les États-Unis ne parviennent pas à la construire, les clusters seront transférés aux Émirats arabes unis ou en Arabie saoudite, ce qui aura pour effet de confier les clés de l'intelligence artificielle générale à des pays autoritaires.

Deuxième problème : Les laboratoires sont sujets aux fuites.

Les laboratoires d'IA actuels possèdent des niveaux de sécurité équivalents à ceux des start-ups ordinaires de la Silicon Valley.

Google DeepMind (le meilleur du secteur) admet que sa capacité de défense contre les adversaires étatiques est au niveau 0 (sur un maximum de 4).

Qu’est-ce que cela signifie ? Les « poids » des modèles d’IA générale correspondent essentiellement à un fichier volumineux hébergé sur un serveur.

Si ce fichier est volé, ce serait comme livrer directement des « chercheurs en IA automatisée » à la Chine : ils pourraient immédiatement lancer leur propre offensive en matière de renseignement, annulant ainsi tous les progrès américains.

Plus urgent encore, les secrets algorithmiques — les percées clés du paradigme de la prochaine génération (comment briser le mur des données) — se forment dans les canaux Slack et en dehors des bureaux de diverses entreprises à San Francisco.

L'auteur affirme que, dans les 12 à 24 prochains mois, des avancées cruciales en matière d'intelligence artificielle générale (IAG) fuiteront vers la Chine. Ce n'est pas une possibilité, c'est presque certain.

Pour atteindre un niveau de sécurité capable de résister à la pleine puissance du ministère chinois de la Sécurité d'État, il est nécessaire d'isoler les infrastructures matérielles, de procéder à des vérifications d'antécédents du personnel équivalentes à celles des ingénieurs en armes nucléaires et de concevoir des clusters spécifiques. La mise en place et le développement de ces solutions prendront au moins quelques années. Si aucune mesure n'est prise immédiatement, lorsque l'intelligence artificielle générale (IAG) sera atteinte en 2027, la sécurité ne pourra pas suivre le rythme, ne laissant que deux mauvaises options : soit céder cette technologie à d'autres pays, soit attendre passivement que la sécurité soit renforcée (au risque de perdre l'avance technologique).

Problème numéro trois : Problèmes d'alignement

La technologie d'alignement actuelle s'appelle RLHF : des humains évaluent le modèle, et le modèle apprend à plaire aux humains.

Cette méthode est efficace comparée à une IA basique. Dès lors que l'IA sera plusieurs ordres de grandeur plus intelligente que les humains, cette méthode deviendra totalement inefficace : comment évaluer une thèse de doctorat que l'on ne comprend pas ?

L'explosion des renseignements rend cette question extrêmement tendue :

En moins d'un an, on passe de « RLHF fonctionne encore » à « RLHF échoue complètement », sans laisser le temps à des essais et erreurs itératifs.

Dans le même temps, on passe des « erreurs mineures » (les jurons de ChatGPT) aux « erreurs catastrophiques » (une superintelligence s'échappant du cluster pour pirater des systèmes militaires).

L'architecture intermédiaire subit plusieurs générations d'évolution, et nous ne comprendrons jamais comment pense la superintelligence finale.

Les modèles actuels raisonnent à l'aide de jetons anglais (relativement transparents), mais à l'avenir, ils évolueront probablement vers un raisonnement utilisant des états latents internes — totalement inexplicables.

L'auteur se montre optimiste quant aux solutions techniques : de nombreuses solutions sont faciles à mettre en œuvre et des progrès sont réalisés dans la recherche sur l'explicabilité.

Il se montre toutefois extrêmement pessimiste quant à la mise en œuvre organisationnelle : seules quelques dizaines de personnes sérieuses travaillent sur ce sujet à l’échelle mondiale, et les laboratoires ne semblent pas prêts à consentir aux efforts nécessaires en matière de sécurité. « Nous sommes trop dépendants de la chance. »

Problème n°4 : Le monde libre doit gagner

L'auteur consacre beaucoup de temps à démontrer que certains pays sont non seulement toujours dans la course, mais aussi très compétitifs.

En termes de puissance de calcul : les puces 7 nm de Huawei (produites par SMIC) offrent des performances équivalentes à celles de la puce A100 de NVIDIA, avec un rapport coût-performance 2 à 3 fois inférieur, mais toujours suffisant.

En termes de capacités de construction : la Chine a ajouté au cours de la dernière décennie une capacité de production d’électricité équivalente à la totalité de la capacité installée des États-Unis. En termes de mobilisation industrielle pour construire un pôle de 100 GW, la Chine pourrait être plus forte que les États-Unis.

Voies de vol : tant que les laboratoires américains ne seront pas sécurisés, des algorithmes clés fuiteront inévitablement d'ici deux ans.

Il existe une coïncidence troublante dans le calendrier : le calendrier de l’IA générale (vers 2027) coïncide avec la période durant laquelle les observateurs du détroit de Taïwan pourraient être attentifs à une éventuelle attaque du PCC contre Taïwan (vers 2027). « La stratégie finale de l’IA générale pourrait se dérouler dans le contexte d’une guerre mondiale. »

Conclusion de l'auteur : les États-Unis doivent conserver une avance confortable, qu'il estime à deux ans. Cette marge de sécurité de deux ans vise à stabiliser la situation et à négocier avec la Chine l'ordre international nécessaire à l'ère de la superintelligence.

En deçà de cette avance, le monde entier sera plongé dans une « course à la survie par explosion de l'intelligence » — toutes les marges de sécurité seront réduites à néant, et chacun se lancera dans une course effrénée vers la vitesse.

Quatrième partie : Le projet (version AGI du projet Manhattan)

À ce stade, l'auteur présente la prédiction la plus audacieuse de tout le livre.

« Il est impossible que le gouvernement américain confie le développement de la superintelligence à une start-up de San Francisco. » Imaginez un peu utiliser Uber pour développer la bombe atomique à l'époque.

Prédiction : entre 2027 et 2028, l’appareil de sécurité nationale américain prendra le contrôle du projet d’intelligence artificielle générale (IAG) sous une forme ou une autre. Cela pourrait se traduire par un modèle d’entreprise de défense (OpenAI devenant Lockheed Martin), un modèle de coentreprise (fournisseurs de services cloud + laboratoires + gouvernement), voire une nationalisation plus radicale.

Les principaux chercheurs s'installeront dans des installations sécurisées SCIF, et des pôles de recherche valant des milliards de dollars seront construits à un rythme effréné, comme en temps de guerre.

La voie se dessinera : en 2026/27, la première démonstration de capacité véritablement effrayante aura lieu – peut-être « aider des novices à créer des armes biologiques », ou une IA piratant de manière autonome des infrastructures critiques.

À mesure que les détails de l'infiltration des laboratoires par le PCC seront révélés, l'atmosphère à Washington changera radicalement. La question « Avons-nous besoin d'un projet Manhattan d'intelligence artificielle générale ? » deviendra progressivement, puis soudainement, le sujet numéro un.

Pourquoi le gouvernement ? Parce que la superintelligence est comparable aux armes nucléaires, et non à la technologie internet.