La puce ASIC personnalisée d'OpenAI surpasse Nvidia Blackwell en seulement 9 mois ?

Auteur original : Dong Jing

Source originale : Wallstreetcn

La première puce développée en interne par OpenAI, Jalapeño, a fait irruption sur le devant de la scène, bouleversant le paysage actuel de l'industrie des puces d'IA à un rythme effréné. Ce n'est pas seulement un lancement de produit, mais un signal : l'IA est en train de redéfinir la manière même dont les puces sont conçues.

Selon un article de Wallstreetcn, Bloomberg a rapporté le 25 août qu'OpenAI a déclaré que Jalapeño devance la GB300 de Nvidia sur deux indicateurs clés : la charge de travail d'IA traitée par unité de puissance et la vitesse de réponse. La puce, développée en collaboration avec Broadcom, est conçue spécifiquement pour la phase d'inférence de l'IA et devrait être mise en service pratique dès la fin de cette année. Richard Ho, responsable de la division puces d'OpenAI, a déclaré que Jalapeño offre des performances élevées avec une faible consommation de 700 watts, contribuant à réduire considérablement les coûts d'électricité des centres de données.

Selon la société de recherche sur les semi-conducteurs SemiAnalysis, la puce a nécessité seulement environ 16 mois entre le début de la conception et le tape-out, le nœud critique de tape-out de l'emballage CoWoS ayant été achevé en novembre 2025, soit il y a à peine 9 mois, bien plus court que le cycle typique de l'industrie de 18 à 36 mois.

Les chercheurs de SemiAnalysis ont visité le laboratoire d'OpenAI en personne et ont testé Jalapeño à l'aide de leur suite de benchmarks propriétaire InferenceX. La conclusion a été directe : la puce a battu toutes les puces Nvidia, AMD et Google qu'ils avaient précédemment testées en termes de performance par watt (perf/W).

Fait encore plus remarquable, ce résultat a été obtenu sans que Jalapeño n'active le décodage spéculatif ou la désagrégation prefill-decode (PDD), alors que les autres puces comparées fonctionnaient toutes dans leurs configurations optimales.

Rien d'étonnant à ce que le célèbre analyste des semi-conducteurs Dylan Patel ait déclaré sans détour : « Ce n'est pas seulement Blackwell qui a été renversé, même la puce Rubin de Nvidia a été dépassée » !

Les analystes estiment que ce résultat constitue un défi direct à la position de Nvidia sur le marché et oblige le marché à réévaluer le paysage concurrentiel des puces d'IA.

Données de référence : Jalapeño écrase Blackwell sur plusieurs indicateurs clés

Les résultats des tests de SemiAnalysis montrent que l'avantage de Jalapeño en matière d'efficacité d'inférence est assez significatif.

Sur le modèle GPT-OSS 120B, Jalapeño produit environ 1 459 tokens par seconde, tandis que la GB200 de Nvidia n'atteint que 535. En termes de latence de bout en bout, Jalapeño accomplit une tâche en seulement 1,65 seconde, alors que la GB300 met près de 6 secondes, soit une différence de 3,6 fois. Dans les scénarios à forte interactivité, lorsque la GB300 est poussée à sa vitesse de décodage la plus rapide (169 tokens par seconde), le débit de Jalapeño est 104,3 fois supérieur.

Sur le nombre de tokens par mégawatt par seconde, un indicateur clé de l'efficacité énergétique des centres de données, Jalapeño atteint environ 53 millions de tokens/MW/s sur le modèle GPT-OSS, tandis que la GB200 NVL72 n'atteint qu'environ 10 millions.

SemiAnalysis souligne que cet indicateur équivaut essentiellement aux tokens produits par joule, déterminant directement le plafond de revenus d'un centre de données, un avantage particulièrement critique à une époque où la puissance de calcul est limitée par l'électricité.

Du point de vue du coût au niveau du système, après que SemiAnalysis a pris en compte l'alimentation, le refroidissement et la mise en réseau, le coût total de possession (TCO) par puce et par heure de Jalapeño est d'environ 1,56 $, presque équivalent aux 1,55 $ du H100, tandis que le Vera Rubin de Nvidia atteint 3,61 $.

Il convient de noter que SemiAnalysis a également soulevé plusieurs réserves importantes.

Premièrement, les modèles utilisés dans les tests ne sont pas les plus avancés actuellement disponibles. Nvidia et AMD ont publié des résultats basés sur la suite AgentX sur des modèles à plus grande échelle (tels que DeepSeek V4 Pro et Kimi K3), tandis que Jalapeño n'a pas encore terminé les tests AgentX, une suite qui reflète mieux les performances dans des scénarios de production réels avec des charges de travail multi-tours et à long contexte.

Deuxièmement, une comparaison plus équitable serait avec le Vera Rubin de Nvidia, qui utilise également HBM4, plutôt qu'avec Blackwell. La performance par watt du Vera Rubin est environ 5,4 fois celle de la GB200 NVL72, et comparé à Jalapeño, les deux sont presque égaux en termes de coût total de possession (TCO) par token.

Troisièmement, Jalapeño est encore au stade d'échantillon d'ingénierie, la production de masse ne devant monter en puissance progressivement qu'en 2027.

Puces conçues par l'IA : l'effet volant de GPT-Astra et Codex

La raison principale pour laquelle Jalapeño a été développé à une vitesse aussi étonnante est l'implication profonde des outils d'IA. Selon SemiAnalysis, OpenAI a largement utilisé des modèles d'IA internes dans le processus de conception de la puce, notamment le très attendu GPT-Astra.

L'utilisateur de la plateforme sociale X, Andrew Curran, citant des informations d'OpenAI, a souligné que GPT-Astra a été profondément impliqué tout au long de la R&D de Jalapeño :

« L'équipe a utilisé Codex et GPT-Astra pour optimiser trois modèles open source qui n'étaient pas initialement prévus dans le plan de production de masse de Jalapeño, atteignant des performances élevées en deux mois. »

Cela signifie que l'IA n'accélère pas seulement la conception des puces elle-même, mais élargit également rapidement la gamme de modèles que la puce peut prendre en charge.

Les données de SemiAnalysis quantifient davantage cette contribution :

La conception assistée par l'IA a réduit la surface de l'unité SIMD de 8 % et celle du moteur matriciel de 10 %, tout en surpassant la version initiale en termes de timing et de consommation d'énergie.

Au niveau logiciel, OpenAI a utilisé une version étendue en interne de Codex pour écrire les noyaux de Jalapeño, certains codes de noyau atteignant environ 3 000 lignes. Sur les mécanismes d'attention et les modules MoE les plus critiques en termes de performances, le code généré par l'IA était 1,5 à 1,8 fois plus rapide que les implémentations des meilleurs ingénieurs humains.

L'évaluation de SemiAnalysis est tranchante : les modèles d'OpenAI fonctionnant sur les GPU Nvidia (tels que GPT-5.6 Sol) sont utilisés pour concevoir une puce qui constitue une menace réelle pour le fossé CUDA — « les propres GPU de Nvidia sont en train d'engendrer leur successeur potentiel en temps réel ».

Analyse de l'architecture : pourquoi le « généraliste » est-il plus rapide ?

Le monde extérieur supposait généralement que Jalapeño est une puce profondément personnalisée pour les modèles propres d'OpenAI, mais la conclusion de SemiAnalysis est inverse : Jalapeño est une puce généraliste pour l'inférence d'IA, capable d'exécuter divers modèles et charges de travail, y compris même le jeu Doom porté avec Codex.

Au niveau architectural, la philosophie de conception fondamentale de Jalapeño est « l'élimination de la latence fixe ». Contrairement aux GPU qui reposent sur des hiérarchies de mémoire complexes, Jalapeño lie directement les cœurs de calcul aux tranches HBM, les cœurs étant synchronisés via un réseau d'agrégation à large bande passante dédié, réduisant considérablement la latence d'accès mémoire.

De plus, Jalapeño utilise des cœurs à exécution dans le désordre (OoO) associés à un cache L1, plutôt que les mémoires scratchpad gérées par logiciel couramment utilisées dans d'autres accélérateurs, ce qui lui permet d'approcher les pics théoriques du matériel dans les scénarios à petits lots et à faible latence.

En termes de bande passante mémoire, Jalapeño utilise HBM4, atteignant 15,4 To/s de bande passante mémoire par boîtier, avec une bande passante HBM par watt de 22, contre 11,1 pour le Rubin de Nvidia et seulement 5,71 pour la GB300.

SemiAnalysis note que la vitesse des broches HBM4 de Jalapeño atteint 10 Gbit/s, légèrement supérieure aux 9,6 Gbit/s du Rubin de Nvidia, et le fournisseur de HBM pourrait être Samsung.

Il convient de mentionner que Jalapeño a choisi de ne pas mettre en œuvre la désagrégation prefill-decode (PDD). SemiAnalysis a fourni une explication détaillée :

Dans les environnements de production réels, des paramètres tels que le ratio entrée-sortie, la concurrence et le taux de succès du cache changent continuellement. Le regroupement fixe conduit à une utilisation globale plus faible, tandis qu'un pool de ressources homogène peut répondre de manière flexible aux changements de trafic et allouer dynamiquement entre les requêtes sensibles à la latence et le traitement par lots à haut débit.

Fossé CUDA : des fissures déjà visibles ?

Le rapport de SemiAnalysis émet un jugement lourd de conséquences : le fossé CUDA est peut-être déjà mort.

La base réside dans la comparaison de la vitesse de montée en puissance logicielle. Le tape-out CoWoS du Rubin de Nvidia a été achevé un mois plus tôt que celui de Jalapeño, mais jusqu'à présent, les seules données de référence publiques pour le Rubin proviennent des échantillons d'ingénierie de CoreWeave. Nvidia n'a pas ouvert ses laboratoires à des tiers pour des tests gratuits comme l'a fait OpenAI. SemiAnalysis estime que cela reflète non pas un écart matériel, mais un écart de maturité logicielle.

Construire une pile logicielle à partir de zéro a permis à OpenAI de se débarrasser du fardeau historique et de prendre des décisions architecturales plus propres. OpenAI utilise son langage de programmation de noyaux propriétaire Gluon (basé sur Triton) et un moteur d'inférence interne appelé « Teacup », et tire parti de Codex pour optimiser rapidement les noyaux. SemiAnalysis a observé que en moins de deux semaines, le débit de Jalapeño à des vitesses d'interaction spécifiques s'est amélioré de plus de 2 fois ; en 8 jours, l'équipe a fait évoluer le parallélisme tensoriel de TP8 à TP32, réalisant un déploiement complet en rack sur plusieurs racks.

Cependant, SemiAnalysis souligne également clairement que les tests actuels ne couvrent que la charge de travail relativement simple 8k1k et n'ont pas encore terminé les tests AgentX multi-tours à long contexte. Sous des charges de travail d'agents plus complexes, les performances de composants tels que les routeurs et les caches de préfixes deviendront de nouveaux défis.

Prochaines étapes : B0 déjà en fonderie, feuille de route de 10 GW en cours

L'histoire de Jalapeño est loin d'être terminée.

Selon SemiAnalysis, tous les échantillons testés publiquement sont de la révision A0, tandis que la révision B0 est déjà entrée en fonderie et devrait améliorer la performance par watt d'environ 25 % par rapport à l'A0 — la puce de calcul unique B0 fournira 13,4 PFLOPs de calcul MXFP4 avec un TDP maintenu à 700 W.

Au niveau du système, OpenAI a collaboré avec Celestica pour concevoir une solution de rack complète : chaque armoire ASIC contient 128 puces Jalapeño, avec une consommation électrique totale du système à double armoire d'environ 160 kW, comparable à l'armoire double largeur GB300 de Nvidia.

Pour un déploiement à grande échelle, un seul domaine de réseau scale-out peut connecter jusqu'à 2 048 XPU Jalapeño répartis sur 16 racks. En ce qui concerne la production de masse, SemiAnalysis s'attend à une montée en puissance progressive en 2027, avec le prochain jalon étant une échelle de déploiement de 100 MW.

La vision stratégique plus large est qu'OpenAI et Broadcom ont signé un accord de coopération sur les accélérateurs personnalisés de 10 GW, une échelle équivalente à peu près à la production totale de dix réacteurs nucléaires.

L'article de Wallstreetcn écrit que Richard Ho, responsable de la division puces d'OpenAI, a déclaré que l'entreprise a atteint un niveau de puissance et de coût qui peut réduire efficacement les coûts d'infrastructure, et que « ce n'est que la première étape ». Il a également souligné que Nvidia reste un partenaire important et que la demande de puissance de calcul d'OpenAI est énorme, de sorte qu'elle n'abandonnera pas les fournisseurs existants à court terme.

Les analystes soulignent que l'importance de Jalapeño ne réside peut-être pas dans le nombre de puces Nvidia qu'elle peut remplacer aujourd'hui, mais dans la preuve de quelque chose qui était auparavant largement mis en doute : une entreprise d'IA, utilisant des outils d'IA, en un temps record, a construit une puce véritablement compétitive. Ce volant d'inertie a commencé à tourner.