Apprentissage par renforcement : un changement de paradigme dans les réseaux d’IA décentralisés

La véritable opportunité de l'apprentissage par renforcement × Web3 ne réside pas dans la réplication d'une version décentralisée d'OpenAI, mais dans la réécriture des « relations de production intelligentes ».

Écrit par : 0xjacobzhao

Ce rapport de recherche indépendant a bénéficié du soutien d'IOSG Ventures. Le processus de recherche et de rédaction s'est inspiré du rapport de Sam Lehman (Pantera Capital) sur l'apprentissage par renforcement. Nous remercions Ben Fielding (Gensyn.ai), Gao Yuan (Gradient), Samuel Dare et Erfan Miahi (Covenant AI), Shashank Yadav (Fraction AI) et Chao Wang pour leurs précieuses suggestions. Malgré notre souci d'objectivité et d'exactitude, certains points de vue relèvent d'un jugement subjectif et peuvent comporter des biais ; nous vous remercions de votre compréhension.

L'intelligence artificielle évolue d'un apprentissage statistique, principalement axé sur la reconnaissance de formes, vers un système de capacités centré sur le raisonnement structuré, où le post-entraînement prend une importance croissante. L'émergence de DeepSeek-R1 marque un changement de paradigme dans l'apprentissage par renforcement à l'ère des grands modèles, et conduit à un consensus au sein de l'industrie : le pré-entraînement constitue le fondement de la construction de modèles à usage général. L'apprentissage par renforcement n'est plus seulement un outil d'alignement des valeurs, mais il a démontré sa capacité à améliorer systématiquement la qualité des chaînes de raisonnement et les capacités de prise de décision complexes, se transformant progressivement en une voie technologique pour l'amélioration continue de l'intelligence.

Parallèlement, le Web3 redéfinit les relations de production de l'IA grâce aux réseaux informatiques décentralisés et aux systèmes d'incitation cryptés. Les exigences structurelles de l'apprentissage par renforcement, notamment l'échantillonnage progressif, les signaux de récompense et la formation vérifiable, s'alignent naturellement sur la collaboration en matière de puissance de calcul, la distribution des incitations et l'exécution vérifiable de la blockchain. Cette recherche analyse en profondeur le paradigme de formation de l'IA et les principes de l'apprentissage par renforcement, démontrant ainsi les avantages structurels de l'association de l'apprentissage par renforcement et du Web3. Elle examine également des projets tels que Prime Intellect, Gensyn, Nous Research, Gradient, Grail et Fraction AI.

I. Trois étapes de l'entraînement de l'IA : pré-entraînement, ajustement fin des instructions et alignement post-entraînement

Le cycle de vie complet de l'entraînement des grands modèles de langage (LLM) modernes se divise généralement en trois étapes principales : le pré-entraînement, l'ajustement fin supervisé (SFT) et le post-entraînement/apprentissage par renforcement (RL). Ces trois étapes remplissent respectivement les fonctions de « construction d'un modèle du monde », d'« intégration des capacités liées à la tâche » et de « structuration du raisonnement et de la valeur ». Leur structure de calcul, leurs exigences en matière de données et la difficulté de leur vérification déterminent le degré de décentralisation de l'appariement.

Le pré-entraînement, qui construit la structure statistique linguistique et le modèle intermodal du monde du modèle grâce à un apprentissage auto-supervisé à grande échelle, constitue le fondement des capacités des modèles linguistiques. Cette étape exige un entraînement sur des milliards de corpus de manière synchrone à l'échelle mondiale, s'appuyant sur des ensembles homogènes de milliers à dizaines de milliers d'images H100, et représente 80 à 95 % du coût. Extrêmement sensible à la bande passante et aux droits d'auteur des données, elle doit par conséquent être réalisée dans un environnement hautement centralisé.

Le réglage fin supervisé permet d'intégrer les fonctionnalités des tâches et les formats d'instructions. Il nécessite peu de données et représente environ 5 à 15 % du coût. Ce réglage fin peut être effectué par apprentissage complet des paramètres ou par des méthodes de réglage fin paramétriquement efficaces (PEFT), parmi lesquelles LoRA, Q-LoRA et Adapter sont les méthodes les plus courantes. Cependant, la synchronisation des gradients reste nécessaire, ce qui limite son potentiel de décentralisation.

La phase de post-entraînement comprend plusieurs sous-étapes itératives qui déterminent la capacité de raisonnement, les valeurs et les limites de sécurité du modèle. Parmi les méthodes utilisées, on trouve les systèmes d'apprentissage par renforcement (RLHF, RLAIF, GRPO), les méthodes d'optimisation des préférences sans apprentissage par renforcement (DPO) et les modèles de récompense de processus (PRM). Cette phase requiert moins de données et engendre des coûts réduits (5 à 10 %), se concentrant principalement sur le déploiement et la mise à jour des politiques. Elle prend naturellement en charge l'exécution asynchrone et distribuée ; les nœuds n'ont pas besoin de stocker l'intégralité des poids. Associée à un calcul vérifiable et à des incitations intégrées à la blockchain, elle permet de constituer un réseau d'entraînement ouvert et décentralisé, ce qui en fait la phase d'entraînement la plus adaptée au Web3.

II. Vue d'ensemble des technologies d'apprentissage par renforcement : architecture, cadres et applications

2.1 Architecture du système et composants essentiels de l'apprentissage par renforcement

L'apprentissage par renforcement (RL) permet à un modèle d'améliorer de manière autonome sa capacité de décision grâce à l'interaction avec l'environnement, le retour d'information par récompense et la mise à jour de la politique. Sa structure de base peut être vue comme une boucle de rétroaction composée d'un état, d'une action, d'une récompense et d'une politique. Un système RL complet comprend généralement trois types de composants : la politique (réseau de politiques), le déploiement (échantillonnage de l'expérience) et l'apprenant (mise à jour de la politique). La politique interagit avec l'environnement pour générer une trajectoire, et l'apprenant met à jour la politique en fonction des signaux de récompense, formant ainsi un processus d'apprentissage itératif et optimisant continu.

Réseau de politiques : Il génère des actions à partir de l’état de l’environnement et constitue le cœur du processus de décision du système. Lors de l’apprentissage, une rétropropagation centralisée est nécessaire pour garantir la cohérence ; lors de l’inférence, elle peut être distribuée sur différents nœuds pour un fonctionnement en parallèle.

Déploiement : les nœuds interagissent avec l’environnement conformément à la politique définie, générant des trajectoires telles que l’état, l’action et la récompense. Ce processus est hautement parallèle, nécessite une communication minimale et est insensible aux différences matérielles, ce qui en fait le composant le plus adapté à la mise à l’échelle dans les environnements décentralisés.

Le module d'apprentissage agrège toutes les trajectoires de déploiement et effectue les mises à jour du gradient de politique. C'est le module qui requiert le plus de puissance de calcul et de bande passante ; il est donc généralement déployé de manière centralisée ou semi-centralisée afin de garantir la stabilité de la convergence.

2.2 Architecture de l'étape d'apprentissage par renforcement (RLHF → RLAIF → PRM → GRPO)

L’apprentissage par renforcement peut généralement être divisé en cinq étapes, et le processus global est le suivant :

Phase de génération de données (exploration des politiques) : À partir d'indices d'entrée, le modèle de politique πθ génère plusieurs chaînes d'inférence candidates ou trajectoires complètes, fournissant une base d'échantillons pour l'évaluation ultérieure des préférences et la modélisation des récompenses, et déterminant l'étendue de l'exploration des politiques.

Phase de rétroaction des préférences (RLHF / RLAIF) :
 

L'apprentissage par renforcement à partir de retours humains (RLHF) utilise plusieurs réponses candidates, l'annotation des préférences humaines, l'entraînement d'un modèle de récompense (RM) et une stratégie d'optimisation PPO pour que les résultats du modèle soient plus en phase avec les valeurs humaines. Il s'agit d'un élément clé de la transition de GPT-3.5 à GPT-4.

RLAIF (Reinforcement Learning from AI Feedback) remplace l'annotation manuelle par un système de jugement automatique ou des règles constitutionnelles, automatisant ainsi l'acquisition des préférences, réduisant considérablement les coûts et offrant une grande évolutivité. Ce système est devenu le paradigme d'alignement dominant pour des entreprises telles qu'Anthropic, OpenAI et DeepSeek.

Phase de modélisation des récompenses : les préférences sont appliquées au modèle de récompense d’entrée, qui apprend à associer la sortie à une récompense. La modélisation des récompenses (MR) enseigne au modèle « quelle est la bonne réponse », tandis que la modélisation des pré-récompenses (MPR) lui enseigne « comment raisonner correctement ».
 

Le modèle de récompense (RM) est utilisé pour évaluer la qualité de la réponse finale, en notant uniquement le résultat.
 

Le modèle de récompense de processus (PRM) n'évalue plus seulement la réponse finale, mais attribue un score à chaque étape du raisonnement, à chaque jeton et à chaque segment logique. Il s'agit également d'une technologie clé d'OpenAI o1 et de DeepSeek-R1, qui, en substance, apprend au modèle à penser.

Phase de vérification des récompenses (RLVR) : Introduction de « contraintes vérifiables » lors de la génération et de l’utilisation des signaux de récompense afin de garantir que les récompenses proviennent autant que possible de règles, de faits ou d’un consensus reproductibles, réduisant ainsi les risques de piratage et de biais des récompenses, et améliorant l’auditabilité et l’évolutivité dans les environnements ouverts.

L'optimisation des politiques consiste à mettre à jour les paramètres θ de la politique en fonction des signaux du modèle de récompense afin d'obtenir une politique πθ′ dotée d'une capacité de raisonnement plus robuste, d'une sécurité accrue et de comportements plus stables. Les principales méthodes d'optimisation comprennent :

PPO (Optimisation de politique proximale) : Un optimiseur traditionnel dans RLHF, connu pour sa stabilité, mais qui fait souvent face à des limitations telles qu'une convergence lente et une stabilité insuffisante dans les tâches d'inférence complexes.

L'optimisation de politique relative de groupe (GRPO) est une innovation majeure de DeepSeek-R1. Elle estime la valeur espérée en modélisant la distribution de dominance au sein des groupes de réponses candidates, plutôt qu'en les classant simplement. Cette méthode préserve l'information relative à l'amplitude de la récompense, ce qui la rend plus adaptée à l'optimisation de la chaîne d'inférence et permet un processus d'entraînement plus stable. Elle est considérée comme un cadre d'optimisation important pour l'apprentissage par renforcement dans les scénarios d'inférence profonde, après l'optimisation par politique de groupe (PPO).

DPO (Optimisation directe des préférences) : Méthode de post-entraînement qui n’est pas une méthode d’apprentissage par renforcement. Elle ne génère pas de trajectoires ni ne construit de modèles de récompense, mais optimise directement les paires de préférences. Peu coûteuse et stable, elle est donc largement utilisée pour l’alignement dans des modèles open source tels que Llama et Gemma, mais n’améliore pas les capacités d’inférence.

Nouvelle politique de déploiement : Le modèle optimisé présente des capacités de raisonnement de type 2 améliorées, des comportements plus conformes aux préférences humaines ou de l’IA, un taux d’hallucinations réduit et une sécurité accrue. Grâce à des itérations continues, le modèle apprend les préférences, optimise le processus et améliore la qualité de la prise de décision, formant ainsi une boucle fermée.

2.3 Cinq grandes catégories d'applications industrielles de l'apprentissage par renforcement

L'apprentissage par renforcement, initialement issu de la théorie des jeux, est devenu un cadre fondamental pour la prise de décision autonome dans de nombreux secteurs. Ses applications peuvent être regroupées en cinq grandes catégories selon leur maturité technologique et leur mise en œuvre industrielle, chacune ayant permis des avancées majeures dans son domaine.

Systèmes de jeux et de stratégie : Il s’agit du premier domaine de l’apprentissage par renforcement (RL) à avoir été validé. Dans des environnements à « information parfaite et récompenses explicites » tels qu’AlphaGo, AlphaZero, AlphaStar et OpenAI Five, le RL a démontré une intelligence décisionnelle capable de rivaliser, voire de surpasser, celle des experts humains, jetant ainsi les bases des algorithmes de RL modernes.

Robotique et intelligence artificielle incarnée : l’apprentissage par renforcement (RL), grâce au contrôle continu, à la modélisation dynamique et à l’interaction avec l’environnement, permet aux robots d’apprendre la manipulation, le contrôle des mouvements et les tâches intermodales (telles que RT-2 et RT-X), et progresse rapidement vers l’industrialisation. Il s’agit d’une voie technologique clé pour l’application concrète des robots.

Raisonnement numérique (LLM System-2) : l’association de l’apprentissage par renforcement (RL) et de la gestion des motifs de raisonnement (PRM) permet aux grands modèles de passer de l’imitation du langage au raisonnement structuré. Parmi ses réalisations les plus remarquables figurent DeepSeek-R1, OpenAI o1/o3, Anthropic Claude et AlphaGeometry. Son principe consiste à optimiser les récompenses tout au long de la chaîne de raisonnement, plutôt que de se contenter d’évaluer la réponse finale.

Découverte scientifique et optimisation mathématique (RL) : RL recherche des structures ou des stratégies optimales dans des espaces de recherche immenses, complexes et non étiquetés, et a réalisé des percées fondamentales telles que AlphaTensor, AlphaDev et Fusion RL, démontrant une capacité d'exploration qui surpasse l'intuition humaine.

Prise de décision économique et trading : l’apprentissage par renforcement (RL) est utilisé pour l’optimisation des stratégies, la gestion des risques multidimensionnels et la génération de systèmes de trading adaptatifs. Contrairement aux modèles quantitatifs traditionnels, il permet un apprentissage continu en environnement incertain et constitue un élément essentiel de la finance intelligente.

III. Adéquation naturelle entre l'apprentissage par renforcement et le Web3

La forte compatibilité entre l'apprentissage par renforcement (RL) et le Web3 tient au fait que les deux sont fondamentalement des « systèmes incitatifs ». Le RL s'appuie sur des signaux de récompense pour optimiser les stratégies, tandis que la blockchain utilise des incitations économiques pour coordonner les comportements des participants, ce qui assure une cohérence naturelle au niveau des mécanismes. Les besoins fondamentaux du RL — déploiement hétérogène à grande échelle, distribution des récompenses et vérification d'authenticité — constituent précisément le point fort du Web3.

Découplage du raisonnement et de l'entraînement : Le processus d'entraînement par renforcement peut être clairement divisé en deux étapes :
 

Déploiement (échantillonnage exploratoire) : Le modèle génère une grande quantité de données en fonction de la politique actuelle, une tâche gourmande en calculs mais nécessitant peu de communications. Elle ne requiert pas de communications fréquentes entre les nœuds et se prête à une génération parallèle sur des GPU grand public distribués à l’échelle mondiale.

Mise à jour (mise à jour des paramètres) : Met à jour les poids du modèle en fonction des données collectées, ce qui nécessite un nœud centralisé à haute fréquence et à large bande passante.
 

Le « découplage inférence-entraînement » est parfaitement adapté aux structures de puissance de calcul hétérogènes décentralisées : le déploiement peut être externalisé vers des réseaux ouverts, avec un règlement basé sur la contribution via un mécanisme de jetons, tandis que les mises à jour des modèles restent centralisées pour garantir la stabilité.

Vérifiabilité : ZK et la preuve d’apprentissage permettent de vérifier si les nœuds effectuent effectivement un raisonnement, résolvant ainsi le problème d’honnêteté dans les réseaux ouverts. Pour les tâches déterministes telles que le traitement de code et le raisonnement mathématique, les vérificateurs n’ont qu’à contrôler la réponse pour confirmer la charge de travail, ce qui améliore considérablement la crédibilité des systèmes d’apprentissage par renforcement décentralisés.

Le système d'incitation repose sur un mécanisme de production de feedback basé sur des jetons : le mécanisme de jetons de Web3 peut récompenser directement les contributeurs de feedback de préférence RLHF/RLAIF, permettant ainsi à la génération de données de préférence d'avoir une structure d'incitation transparente, réglable et sans autorisation ; la mise en jeu et la réduction contraignent davantage la qualité du feedback, formant un marché du feedback plus efficace et aligné que le crowdsourcing traditionnel.

Le potentiel de l'apprentissage par renforcement multi-agents (MARL) : la blockchain est par nature un environnement multi-agents public, transparent et en constante évolution. Les comptes, les contrats et les agents ajustent continuellement leurs stratégies en fonction des incitations, ce qui lui confère un potentiel naturel pour la création de vastes bancs d'essai pour le MARL. Bien qu'encore à ses débuts, la blockchain, grâce à son état public, son exécution vérifiable et ses incitations programmables, présente un avantage fondamental pour son développement futur.

IV. Analyse des projets classiques Web3 + apprentissage par renforcement

Sur la base du cadre théorique présenté ci-dessus, nous analyserons brièvement les projets les plus représentatifs de l'écosystème actuel :

Prime Intellect : Paradigme d’apprentissage par renforcement asynchrone - prime-rl

Prime Intellect se consacre à la construction d'un marché mondial du calcul ouvert, à la réduction des obstacles à la formation, à la promotion de la formation collaborative décentralisée et au développement d'une suite complète de technologies de superintelligence open source. Son système comprend : Prime Compute (un environnement de calcul unifié dans le cloud et distribué), la famille de modèles INTELLECT (de 10 milliards à plus de 100 milliards d'unités), Environments Hub (centre d'environnement d'apprentissage par renforcement ouvert) et le moteur de données synthétiques à grande échelle SYNTHETIC-1/2.

L'architecture prime-rl, composant central de l'infrastructure Prime Intellect, est conçue pour les environnements distribués asynchrones et est particulièrement adaptée à l'apprentissage par renforcement. Parmi les autres composants figurent le protocole de communication OpenDiLoCo, qui pallie les limitations de bande passante, et le mécanisme de vérification TopLoc, qui garantit l'intégrité des calculs.

Aperçu des composants d'infrastructure de base de Prime Intellect

Fondements techniques : cadre d’apprentissage par renforcement asynchrone prime-rl

prime-rl est le moteur d'entraînement principal de Prime Intellect, conçu spécifiquement pour les environnements décentralisés asynchrones à grande échelle. Il assure un débit d'inférence élevé et des mises à jour stables grâce à un découplage complet entre les acteurs et les apprenants. Les nœuds de déploiement et les apprenants ne sont plus bloqués de manière synchrone ; ils peuvent rejoindre ou quitter le système à tout moment, en récupérant en continu la dernière stratégie et en téléchargeant les données générées.

Acteur (Déploiement) : Responsable de l’inférence du modèle et de la génération des données. Prime Intellect intègre de manière innovante le moteur d’inférence vLLM côté acteur. La technologie PagedAttention et la capacité de traitement par lots continu de vLLM permettent aux acteurs de générer des trajectoires d’inférence à très haut débit.

Apprenant (Formateur) : Responsable de l’optimisation des politiques. L’apprenant extrait de manière asynchrone les données du tampon d’expérience partagé pour mettre à jour les gradients sans attendre que tous les acteurs aient terminé le lot en cours.

Orchestrateur : Responsable de la planification des pondérations du modèle et du flux de données.

Les principales innovations de prime-rl :

Véritable asynchronisme : prime-rl abandonne le paradigme synchrone du PPO traditionnel, n’attend pas les nœuds lents et ne nécessite pas d’alignement par lots, permettant à un nombre quelconque de GPU, quelle que soit leur performance, d’accéder à tout moment, jetant ainsi les bases de la faisabilité du RL décentralisé.

Intégration poussée de FSDP2 et MoE : grâce au découpage des paramètres FSDP2 et à l’activation parcimonieuse MoE, prime-rl permet un entraînement efficace de milliards de modèles dans un environnement distribué. Les acteurs n’exécutent que les experts actifs, ce qui réduit considérablement la consommation de mémoire GPU et les coûts d’inférence.

GRPO+ (Optimisation de politique relative de groupe) : GRPO élimine le réseau critique, réduisant considérablement la charge de calcul et la consommation de mémoire, et s’adapte naturellement aux environnements asynchrones. Le GRPO+ de Prime-RL garantit en outre une convergence fiable même en cas de latence élevée grâce à un mécanisme de stabilisation.

La famille de modèles INTELLECT : un marqueur de maturité dans la technologie RL décentralisée.

INTELLECT-1 (10B, octobre 2024) est le premier à démontrer qu'OpenDiLoCo peut être entraîné efficacement dans des réseaux hétérogènes couvrant trois continents (taux de communication <2%, utilisation de la puissance de calcul 98%), brisant la compréhension physique de l'entraînement interrégional.

INTELLECT-2 (32B, avril 2025) est le premier modèle RL sans permission, qui vérifie la capacité de convergence stable de prime-rl et GRPO+ dans des environnements à délai multi-étapes et asynchrones, et réalise un RL décentralisé avec une participation mondiale ouverte à la puissance de calcul.

INTELLECT-3 (106 milliards de données MoE, novembre 2025) utilise une architecture clairsemée n'activant que 12 milliards de paramètres. Entraîné sur un ensemble de 512 × H200, il atteint des performances d'inférence de haut niveau (AIME 90,8 %, GPQA 74,4 %, MMLU-Pro 81,9 %, etc.). Ses performances globales sont supérieures à celles de son modèle central et dépassent même celles du modèle source.

Prime Intellect a également développé plusieurs composants d'infrastructure de support : OpenDiLoCo réduit considérablement les communications d'entraînement interrégionales grâce à une communication temporellement clairsemée et à des différences de poids de quantification, permettant ainsi à INTELLECT-1 de maintenir un taux d'utilisation de 98 % sur trois réseaux continentaux ; TopLoc et ses vérificateurs forment une couche d'exécution décentralisée pour la vérification des empreintes digitales, tandis que le moteur de données de vérification des empreintes digitales en environnement isolé (sandbox) produit des chaînes d'inférence à grande échelle et de haute qualité et permet au modèle 671B de fonctionner efficacement sur des clusters GPU grand public grâce au parallélisme de pipeline. Ces composants constituent une base technique essentielle pour la génération, la vérification et le débit d'inférence des données dans le cadre de l'apprentissage par renforcement décentralisé. La série INTELLECT démontre que cette pile technologique peut produire des modèles matures et de classe mondiale, marquant ainsi la transition des systèmes d'entraînement décentralisés du stade conceptuel au stade d'application pratique.

Gensyn : Piles de base pour l’apprentissage par renforcement : Swarm et SAPO

L'objectif de Gensyn est de centraliser la puissance de calcul inutilisée à l'échelle mondiale au sein d'une infrastructure d'entraînement d'IA ouverte, décentralisée et infiniment évolutive. Son architecture repose sur une couche d'exécution standardisée sur tous les appareils, un réseau de coordination pair-à-pair et un système de vérification des tâches décentralisé, qui alloue automatiquement les tâches et les récompenses via des contrats intelligents. Tirant parti des caractéristiques de l'apprentissage par renforcement, Gensyn introduit des mécanismes clés tels que RL Swarm, SAPO et SkipPipe pour découpler les processus de génération, d'évaluation et de mise à jour, en utilisant un « essaim » de GPU hétérogènes à l'échelle mondiale pour parvenir à une évolution collective. En définitive, Gensyn fournit non seulement de la puissance de calcul, mais une intelligence vérifiable.

Applications d'apprentissage par renforcement empilé Gensyn

RL Swarm : un moteur d'apprentissage par renforcement collaboratif décentralisé

RL Swarm présente un modèle collaboratif totalement inédit. Il ne s'agit plus d'un simple système de répartition des tâches, mais d'une boucle décentralisée « générer-évaluer-mettre à jour » qui simule l'apprentissage social humain, analogue à un processus d'apprentissage collaboratif, avec une boucle infinie :

Solveurs (exécuteurs) : responsables de l’inférence du modèle local et de la génération du déploiement, indépendamment de l’hétérogénéité des nœuds. Gensyn intègre localement un moteur d’inférence à haut débit (tel que CodeZero), capable de fournir la trajectoire complète et non seulement le résultat.

Propositions : Générer dynamiquement des tâches (problèmes mathématiques, problèmes de programmation, etc.) pour favoriser la diversité des tâches et l'adaptation de la difficulté de l'apprentissage du programme scolaire.

Évaluateurs : Ils utilisent des « modèles de jugement » ou des règles figés pour évaluer les déploiements locaux et générer des signaux de récompense locaux. Le processus d’évaluation est auditable, ce qui réduit les risques de comportements malveillants.

Ensemble, ces trois éléments forment une structure organisationnelle P2P RL, permettant un apprentissage collaboratif à grande échelle sans planification centralisée.

SAPO : Un algorithme d'optimisation de politiques pour la reconstruction décentralisée : SAPO (Swarm Sampling Policy Optimization) repose sur le partage des Rollouts et le filtrage des échantillons de signaux sans gradient, plutôt que sur le partage des gradients eux-mêmes. Grâce à un échantillonnage décentralisé à grande échelle des Rollouts et en considérant les Rollouts reçus comme générés localement, il assure une convergence différentielle même dans des environnements à coordination décentralisée et à latence élevée. Contrairement à PPO, qui s'appuie sur des réseaux de critiques et présente des coûts de calcul importants, ou à GRPO, basé sur l'estimation de l'avantage intra-groupe, SAPO permet aux GPU grand public de participer efficacement à l'optimisation par apprentissage par renforcement à grande échelle avec une bande passante extrêmement faible.

Grâce à RL Swarm et SAPO, Gensyn démontre que l'apprentissage par renforcement (en particulier le RLVR post-entraînement) est naturellement adapté aux architectures décentralisées, car il repose davantage sur des déploiements à grande échelle et diversifiés que sur une synchronisation fréquente des paramètres. En combinant les frameworks de validation PoL et Verde, Gensyn propose une voie alternative pour l'entraînement de modèles à mille milliards de paramètres, affranchie de toute dépendance vis-à-vis d'un seul géant technologique : un réseau super-intelligent auto-évolutif composé de millions de GPU hétérogènes répartis dans le monde entier.

Nous Research : Atropos, un environnement d'apprentissage par renforcement basé sur la validation

Nous Research développe une infrastructure cognitive décentralisée et auto-évolutive. Ses composants principaux — Hermes, Atropos, DisTrO, Psyche et World Sim — sont organisés en un système intelligent en boucle fermée, en constante évolution. Contrairement au processus linéaire traditionnel « pré-entraînement – post-entraînement – inférence », Nous utilise des techniques d'apprentissage par renforcement telles que DPO, GRPO et l'échantillonnage par rejet pour unifier la génération, la vérification, l'apprentissage et l'inférence des données au sein d'une boucle de rétroaction continue, créant ainsi un écosystème d'IA en boucle fermée qui s'améliore continuellement.

Aperçu du volet Recherche de Nous

Couche modèle : Hermès et l'évolution des capacités de raisonnement

La série Hermes est la principale interface de modélisation destinée aux utilisateurs de Nous Research, et son évolution illustre clairement la transition du secteur de l'alignement traditionnel SFT/DPO vers l'apprentissage par renforcement du raisonnement (RL) :

Hermes 1–3 : Alignement des instructions et capacité d’agent précoce : Hermes 1–3 s’appuyait sur des DPO à faible coût pour un alignement robuste des instructions, tandis que Hermes 3 tirait parti de données synthétiques et du mécanisme de vérification Atropos nouvellement introduit.

Hermes 4 / DeepHermes : En intégrant la pensée lente de type System-2 dans les poids via une chaîne de pensée, il améliore les performances mathématiques et de code grâce à la mise à l'échelle au moment du test et s'appuie sur « l'échantillonnage par rejet + la vérification Atropos » pour construire des données d'inférence de haute pureté.

DeepHermes adopte en outre GRPO pour remplacer PPO, difficile à déployer de manière distribuée, permettant ainsi à l'apprentissage par renforcement inférentiel de s'exécuter sur le réseau GPU décentralisé Psyche, jetant les bases techniques de l'évolutivité de l'apprentissage par renforcement inférentiel open source.
 

Atropos : un environnement d’apprentissage par renforcement vérifiable basé sur la récompense

Atropos est la véritable pierre angulaire du système Nous RL. Il encapsule les invites, les appels d'outils, l'exécution de code et les interactions à plusieurs tours dans un environnement RL standardisé, vérifiant directement l'exactitude des résultats et fournissant des signaux de récompense déterministes, remplaçant ainsi l'annotation humaine coûteuse et difficilement extensible. Plus important encore, dans le réseau d'entraînement décentralisé Psyche, Atropos agit comme un « arbitre », vérifiant si les nœuds améliorent réellement leurs politiques, prenant en charge la preuve d'apprentissage auditable et résolvant fondamentalement le problème de la fiabilité des récompenses dans l'apprentissage par renforcement distribué.

DisTrO et Psyche : couches d’optimisation pour l’apprentissage par renforcement décentralisé

L'entraînement traditionnel en apprentissage par renforcement (RLF/RLAIF) repose sur des clusters centralisés à large bande passante, ce qui constitue un obstacle majeur que les systèmes open source ne peuvent reproduire. DisTrO réduit considérablement le coût de communication de l'apprentissage par renforcement grâce au découplage de l'inertie et à la compression du gradient, permettant ainsi un entraînement sur la bande passante d'Internet. Psyche, quant à lui, déploie ce mécanisme d'entraînement sur un réseau on-chain, permettant aux nœuds d'effectuer localement l'inférence, la vérification, l'évaluation des récompenses et la mise à jour des poids, formant ainsi une boucle d'apprentissage par renforcement complète.

Dans l'architecture Nous, Atropos valide le raisonnement logique ; DisTrO compresse les communications d'entraînement ; Psyche gère la boucle d'apprentissage par renforcement ; WorldSim fournit un environnement complexe ; Forge collecte les inférences réelles ; et Hermes intègre l'apprentissage dans les poids. L'apprentissage par renforcement n'est pas seulement une phase d'entraînement, mais le protocole central de l'architecture Nous qui connecte les données, l'environnement, le modèle et l'infrastructure, faisant d'Hermes un système vivant capable de s'améliorer continuellement sur des réseaux de calcul open source.

Réseau de gradients : Echo, une architecture d'apprentissage par renforcement

La vision fondamentale de Gradient Network est de repenser le paradigme du calcul en intelligence artificielle grâce à une « pile technologique ouverte ». Cette pile technologique se compose d'un ensemble de protocoles fondamentaux capables d'évoluer indépendamment tout en collaborant de manière hétérogène. Son système, de la communication sous-jacente à la collaboration intelligente de haut niveau, inclut : Parallax (inférence distribuée), Echo (entraînement par renforcement décentralisé), Lattica (réseau P2P), SEDM/Massgen/Symphony/CUAHarm (mémoire, collaboration, sécurité), VeriLLM (vérification de confiance) et Mirage (simulation de fidélité). Cette simulation partagée constitue une infrastructure en constante évolution.

Echo — Architecture de formation par apprentissage par renforcement

Echo est le framework d'apprentissage par renforcement de Gradient. Sa philosophie de conception repose sur le découplage des processus d'entraînement, d'inférence et de distribution des données (récompenses), permettant ainsi la génération de déploiements, l'optimisation des politiques et l'évaluation des récompenses de manière indépendante dans des environnements hétérogènes. Il fonctionne de manière collaborative au sein de réseaux hétérogènes composés de nœuds d'inférence et d'entraînement, garantissant la stabilité de l'entraînement dans des environnements hétérogènes étendus grâce à un mécanisme de synchronisation léger. Ceci atténue efficacement les défaillances SPMD et les goulots d'étranglement liés à l'utilisation du GPU causés par la combinaison d'inférence et d'entraînement dans les frameworks DeepSpeed RLHF/VERL traditionnels.

Echo utilise une architecture à deux groupes pour l'inférence et l'entraînement afin d'optimiser l'utilisation de la puissance de calcul. Les deux groupes fonctionnent indépendamment et ne se bloquent pas mutuellement.

Optimisation du débit d'échantillonnage : l'Inference Swarm est composé de GPU grand public et de périphériques de périphérie, et utilise Parallax pour construire des échantillonneurs à haut débit de manière parallèle en pipeline, en se concentrant sur la génération de trajectoires ;

Optimisation de la puissance de calcul du gradient : l’essaim d’entraînement, composé de réseaux GPU grand public pouvant fonctionner sur des clusters centralisés ou dans plusieurs endroits du monde, est responsable des mises à jour du gradient, de la synchronisation des paramètres et du réglage fin de LoRA, en se concentrant sur le processus d’apprentissage.
 

Pour maintenir la cohérence des politiques et des données, Echo fournit deux protocoles de synchronisation légers : séquentiel et asynchrone, afin de réaliser une gestion bidirectionnelle de la cohérence des pondérations et des trajectoires des politiques.

Mode d'extraction séquentielle | Priorité à la précision : le côté entraînement force le nœud d'inférence à actualiser la version du modèle avant d'extraire une nouvelle trajectoire, garantissant ainsi la fraîcheur de la trajectoire, ce qui convient aux tâches très sensibles à l'obsolescence de la politique ;

Mode Push-Pull asynchrone | L'efficacité avant tout : le côté inférence génère en continu des trajectoires avec des étiquettes de version, le côté entraînement les consomme à son propre rythme et le coordinateur surveille les écarts de version et déclenche des actualisations de poids pour maximiser l'utilisation du dispositif.

Au cœur d'Echo se trouvent Parallax (inférence hétérogène dans des environnements à faible bande passante) et des éléments d'entraînement distribués légers (tels que VERL), s'appuyant sur LoRA pour réduire le coût de la synchronisation entre les nœuds, permettant ainsi à l'apprentissage par renforcement de fonctionner de manière stable sur des réseaux hétérogènes à travers le monde.

Graal : Apprentissage par renforcement dans l'écosystème Bittensor

Bittensor construit un réseau de fonction de récompense massif, clairsemé et non stationnaire grâce à son mécanisme de consensus Yuma unique.

Au sein de l'écosystème Bittensor, Covenant AI a mis en place un pipeline intégré verticalement, du pré-entraînement au post-entraînement par renforcement (RL), grâce à SN3 Templar, SN39 Basilica et SN81 Grail. SN3 Templar assure le pré-entraînement du modèle de base, SN39 Basilica fournit une plateforme de calcul distribué et SN81 Grail sert de couche d'inférence vérifiable pour le post-entraînement par renforcement, prenant en charge les processus clés de RLHF/RLAIF et réalisant l'optimisation en boucle fermée du modèle de base à la stratégie d'alignement.

GRAIL vise à prouver cryptographiquement l'authenticité de chaque déploiement d'apprentissage par renforcement et son lien avec l'identité du modèle, garantissant ainsi l'exécution sécurisée du RLHF dans un environnement sans confiance. Le protocole établit une chaîne de confiance grâce à un mécanisme à trois niveaux :

Génération de défis déterministes : des tâches de défi imprévisibles mais reproductibles (telles que SAT et GSM8K) sont générées à l’aide de balises aléatoires et de hachages de blocs, éliminant ainsi la tricherie avant calcul ;

En utilisant l'échantillonnage d'index PRF et les engagements d'esquisse, les validateurs peuvent échantillonner les chaînes logprob et d'inférence au niveau du jeton à un coût extrêmement faible pour confirmer que le déploiement est bien généré par le modèle de déclaration.

Liaison de l'identité du modèle : Le processus d'inférence est lié à la signature structurée de l'empreinte des poids du modèle et de la distribution des jetons, garantissant ainsi l'identification immédiate du remplacement du modèle ou de la réutilisation des résultats. Ceci fournit une base solide pour le déploiement de l'inférence dans l'apprentissage par renforcement.

S'appuyant sur ce mécanisme, le sous-réseau Grail implémente un processus de post-entraînement vérifiable de type GRPO : les mineurs génèrent plusieurs chemins d'inférence pour un même problème, les vérificateurs les évaluent selon leur exactitude, la qualité de la chaîne d'inférence et la satisfaction des exigences de validation (SAT), puis inscrivent les résultats normalisés sur la blockchain sous forme de poids TAO. Des expériences publiques montrent que ce cadre a amélioré la précision du modèle MATH de Qwen2.5-1.5B de 12,7 % à 47,6 %, prouvant ainsi sa capacité à prévenir la tricherie et à améliorer significativement les performances du modèle. Au sein de la plateforme d'entraînement de Covenant AI, Grail constitue la pierre angulaire de la confiance et de l'exécution pour l'apprentissage par renforcement distribué (RLVR) et l'apprentissage automatique décentralisé (RLAIF), et n'est pas encore officiellement déployé sur le réseau principal.

IA fractionnaire : Apprentissage par renforcement basé sur la compétition (RLFC)

L'architecture de Fraction AI est explicitement conçue autour de l'apprentissage par renforcement compétitif (RLFC) et de l'annotation de données ludifiée, remplaçant les récompenses statiques et les annotations manuelles du RLFC traditionnel par un environnement compétitif ouvert et dynamique. Les agents s'affrontent dans différents espaces, et leurs classements relatifs, combinés aux scores du juge IA, constituent des récompenses immédiates, transformant le processus d'alignement en un système de jeu multi-agents en ligne continu.

Les principales différences entre le RLHF traditionnel et le RLFC de Fraction AI :

La valeur fondamentale du RLFC réside dans le fait que les récompenses ne proviennent plus d'un modèle unique, mais d'adversaires et d'évaluateurs en constante évolution. Ceci empêche l'exploitation du modèle de récompense et évite que l'écosystème ne se retrouve piégé dans des optima locaux grâce à la diversité des stratégies. La structure des Espaces détermine la nature du jeu (à somme nulle ou à somme positive), favorisant l'émergence de comportements complexes dans les interactions adverses et coopératives.

En termes d'architecture système, Friction AI décompose le processus d'entraînement en quatre composantes clés :

Agents : Unités de politique légères basées sur LLM open-source, étendues avec des pondérations différentielles via QLoRA et mises à jour à faible coût ;

Espaces : Environnements de domaine de mission isolés où les agents paient pour entrer et reçoivent des récompenses en fonction des victoires et des défaites ;

Juges IA : une couche de récompense instantanée construite avec RLAIF fournit une évaluation évolutive et décentralisée ;

Preuve d'apprentissage : lie les mises à jour des politiques à des résultats compétitifs spécifiques, garantissant ainsi que le processus de formation est vérifiable et empêche la tricherie.

L'essence de Fraction AI réside dans la construction d'un moteur d'évolution collaboratif homme-machine. Les utilisateurs, agissant comme « méta-optimiseurs » au niveau stratégique, orientent l'exploration grâce à une ingénierie rapide et à la configuration des hyperparamètres ; tandis que les agents génèrent automatiquement une grande quantité de paires de préférences de haute qualité dans le cadre d'une compétition à micro-échelle. Ce modèle permet l'annotation des données pour parvenir à une boucle de rétroaction positive grâce à un « ajustement fin sans confiance ».

Comparaison des architectures de projets Web3 d'apprentissage par renforcement

V. Résumé et perspectives : Voies et opportunités pour l’apprentissage par renforcement × Web3

L’analyse déconstructive des projets de pointe susmentionnés nous a permis de constater que, malgré la diversité des points d’entrée de chaque équipe (algorithmes, ingénierie ou marchés), l’intégration de l’apprentissage par renforcement (RL) au Web3 conduit à une convergence de leur logique architecturale sous-jacente vers un paradigme « découplage-vérification-incitation » d’une grande cohérence. Il ne s’agit pas d’une simple coïncidence technique, mais bien d’une conséquence inévitable de l’adaptation des réseaux décentralisés aux propriétés uniques de l’apprentissage par renforcement.

Caractéristiques architecturales générales de l'apprentissage par renforcement : prise en compte des contraintes physiques fondamentales et des problèmes de confiance.

Découplage des déploiements et de l'apprentissage – Topologie de calcul prédéfinie

Le déploiement clairsemé et parallélisable est externalisé vers des GPU grand public dans le monde entier, avec des mises à jour de paramètres à haute fréquence concentrées sur un petit nombre de nœuds d'entraînement, comme on le voit dans l'Actor-Learner asynchrone de Prime Intellect et l'architecture à double cluster de Gradient Echo.

Confiance fondée sur la vérification – Développement de l'infrastructure

Dans les réseaux sans autorisation, l'authenticité des calculs doit être assurée par une conception mathématique et mécanique, représentant des méthodes de vérification cryptographiques telles que PoL de Gensyn, TOPLOC de Prime Intellect et Grail.

Boucle d'incitation tokenisée – Autorégulation du marché

La fourniture de puissance de calcul, la génération de données, la vérification et le classement, ainsi que la distribution des récompenses forment un cycle fermé. En stimulant la participation par des récompenses et en limitant la tricherie par des sanctions, le réseau peut rester stable et continuer d'évoluer dans un environnement ouvert.

Parcours technologiques différenciés : différents « points de rupture » au sein d’une architecture cohérente

Malgré des architectures similaires, chaque projet a opté pour des stratégies technologiques différentes, en fonction de ses propres caractéristiques :

Nous Research, un groupe spécialisé dans les avancées algorithmiques, s'attaque à la contradiction fondamentale (goulot d'étranglement de la bande passante) de l'entraînement distribué d'un point de vue mathématique. Leur optimiseur DisTrO vise à compresser la communication des gradients d'un facteur mille, afin de permettre l'entraînement de modèles complexes même avec une connexion internet domestique – une « attaque par réduction de dimensionnalité » contre les limitations physiques.

Approche d'ingénierie des systèmes (Prime Intellect, Gensyn, Gradient) : Elle vise à concevoir des systèmes d'exécution d'IA de nouvelle génération. Les solutions ShardCast de Prime Intellect et Parallax de Gradient sont conçues pour optimiser l'efficacité des clusters hétérogènes dans les conditions réseau existantes grâce à des techniques d'ingénierie poussées.

La théorie des jeux basée sur le marché (Bittensor, Fraction AI) se concentre sur la conception des fonctions de récompense. Grâce à des mécanismes de notation ingénieux, elle guide les mineurs vers la découverte spontanée de stratégies optimales, accélérant ainsi l'émergence de l'intelligence artificielle.

Points forts, défis et perspectives à long terme

Dans le paradigme combinant l'apprentissage par renforcement et le Web3, les avantages de la hiérarchie du système se reflètent d'abord dans la réécriture de la structure des coûts et de la structure de gouvernance.

Réorganisation des coûts : après l’entraînement en RL, la demande d’échantillonnage de déploiement est illimitée, tandis que le Web3 peut mobiliser une puissance de calcul mondiale à très bas coût, un avantage concurrentiel que les fournisseurs de cloud centralisés ne peuvent égaler.

Alignement souverain : en brisant le monopole des grandes entreprises sur les valeurs de l’IA (alignement), la communauté peut voter avec des jetons pour décider « quelle est la bonne réponse » pour le modèle, démocratisant ainsi la gouvernance de l’IA.

Parallèlement, ce système est également confronté à deux contraintes structurelles majeures.

Mur de la bande passante : Malgré des innovations telles que DisTrO, la latence physique limite toujours l'entraînement complet des modèles à très grand nombre de paramètres (70 milliards et plus), et l'IA Web3 est actuellement plus limitée au réglage fin et à l'inférence.

Loi de Goodhard (piratage des récompenses) : Dans les réseaux à forte incitation, les mineurs ont tendance à « surapprendre » les règles de récompense (accumulation de points) plutôt qu’à améliorer leur intelligence. Concevoir une fonction de récompense robuste pour empêcher la tricherie est un travail de longue haleine.

Attaques par processus byzantins malveillants : ces attaques perturbent la convergence du modèle en manipulant et en corrompant activement les signaux d’entraînement. Le principe fondamental n’est pas de concevoir en permanence des fonctions de récompense anti-triche, mais plutôt de construire un mécanisme robuste et antagoniste.

L'association de l'apprentissage par renforcement et du Web3 redéfinit fondamentalement le mécanisme de production, d'alignement et de distribution de l'intelligence. Son évolution peut se résumer en trois directions complémentaires :

Réseau d'entraînement push décentralisé : des machines de minage de puissance de calcul aux réseaux de politiques, externalisation du déploiement parallèle et vérifiable sur les GPU à longue traîne mondiaux, en se concentrant sur le marché de l'inférence vérifiable à court terme et en évoluant vers un sous-réseau d'apprentissage par renforcement pour le regroupement de tâches à moyen terme ;

Valorisation des préférences et des récompenses : de l’étiquetage des données à l’équité des données. Il s’agit de valoriser les préférences et les récompenses, de transformer les retours d’information de qualité et le modèle de récompense en actifs de données gérables et distribuables, et de faire évoluer l’« étiquetage des données » vers l’« équité des données ».

L'évolution « petite mais belle » dans les domaines verticaux : Dans les scénarios verticaux où les résultats sont vérifiables et les avantages quantifiables, des agents RL dédiés, petits mais puissants, sont développés, tels que l'exécution de stratégies DeFi et la génération de code, qui lient directement l'amélioration de la stratégie à la capture de valeur et devraient surpasser les modèles généraux à code source fermé.

Globalement, la véritable opportunité de l'apprentissage par renforcement × Web3 ne réside pas dans la réplication d'une version décentralisée d'OpenAI, mais dans la réécriture des « relations de production intelligentes » : faire de l'exécution de l'entraînement un marché ouvert de la puissance de calcul, rendre les récompenses et les préférences gouvernables en tant qu'actifs sur la chaîne, et redistribuer la valeur apportée par l'intelligence non plus concentrée sur la plateforme, mais entre les formateurs, les aligneurs et les utilisateurs.

Avertissement : Cet article a été rédigé avec l’aide des outils d’intelligence artificielle ChatGPT-5 et Gemini 3. L’auteur a mis tout en œuvre pour relire et garantir l’exactitude des informations, mais des omissions sont possibles. Nous vous prions de nous excuser pour tout désagrément. Il est important de noter que le marché des cryptomonnaies présente souvent un décalage entre les fondamentaux des projets et leur évolution sur le marché secondaire. Cet article est destiné à des fins d’information et de recherche uniquement et ne constitue en aucun cas un conseil en investissement ni une recommandation d’achat ou de vente de jetons.