Fireworks, un projet initialement développé par Meta, aborde la question des logiciels libres contre les logiciels propriétaires : qui l'emportera ?

Créateur de la vidéo : Silicon Valley Vector
Édité par : Peggy, BlockBeats

Note de la rédaction : Alors que les modèles open source se rapprochent rapidement des modèles propriétaires et que les prix de l’inférence continuent de baisser, les discussions du secteur se déplacent de « qui possède le modèle le plus puissant » à « qui peut déployer le modèle en production à moindre coût ». Cependant, à mesure que les capacités des modèles convergent et que l’augmentation de la consommation de jetons fait consensus, une question plus fondamentale commence à émerger : qu’est-ce que les entreprises sont réellement prêtes à payer — des appels de modèles moins chers ou une intelligence dédiée capable d’accomplir des tâches spécifiques de manière fiable ?

Récemment, Cao Qingyun, présentatrice de « Silicon Valley Coordinates », s'est entretenue avec Chen Yufei, cofondatrice de Fireworks AI. Fireworks, qui se situe à la croisée des chemins entre les modèles et les applications d'entreprise, propose principalement à ses clients des services d'inférence de modèles open source, d'optimisation des performances et de personnalisation. Plutôt que de se contenter de débattre de la capacité de l'open source à rattraper le logiciel propriétaire, les observations de Chen Yufei sont plus ancrées dans la réalité : à quoi servent les jetons, pourquoi les entreprises paient-elles, et que manque-t-il encore pour que les modèles passent du stade de preuve de concept à la production ?

Dans ce dialogue, Chen Yufei a décomposé la question « logiciel libre vs logiciel propriétaire » en un ensemble de questions structurelles plus fondamentales : la croissance des jetons peut-elle se traduire en revenus ? Les fonctionnalités générales peuvent-elles remplacer l’accumulation verticale ? Les modèles à bas prix peuvent-ils satisfaire aux exigences des entreprises ? Et comment les plateformes d’inférence peuvent-elles créer de la valeur entre les fournisseurs de cloud et les éditeurs d’applications ?

Premièrement, l'échelle d'utilisation et la valeur commerciale des modèles open source divergent. Auparavant, le rattrapage des capacités et les prix des appels étaient les principaux indicateurs de compétitivité de l'open source ; aujourd'hui, la plateforme Fireworks traite environ 400 à 500 gigabits de jetons par jour, et l'utilisation réelle des modèles open source a connu une croissance rapide. Cependant, le trafic gratuit, les subventions promotionnelles et les différences de prix entre les modèles peuvent amener les statistiques de jetons à surestimer la demande. Les clients peuvent utiliser massivement des modèles à bas coût tout en allouant leurs budgets les plus importants aux modèles propriétaires les plus performants. Cela signifie que la prochaine étape pour l'open source ne consiste plus seulement à augmenter le trafic, mais aussi à prouver sa capacité à égaler, voire à surpasser, les modèles de pointe sur des tâches à forte valeur ajoutée et à traduire les avantages de coût en une volonté de payer.

Deuxièmement, les modèles généralistes et les modèles verticaux évoluent de plus en plus différemment. Auparavant, chaque mise à jour d'un modèle de pointe pouvait rendre obsolètes de nombreux modèles optimisés. Désormais, les applications verticales, comme le droit, la santé et la programmation, accumulent des évaluations, des données et des flux de travail plus précis, et leurs objectifs d'optimisation divergent progressivement de ceux des laboratoires de pointe. Les modèles généralistes doivent étendre leurs capacités, tandis que les modèles verticaux doivent fournir des résultats stables dans des scénarios limités. Les premiers peuvent résoudre un plus large éventail de problèmes, tandis que les seconds comprennent mieux la définition de « justesse » pour les utilisateurs. Ainsi, pour les entreprises verticales, la barrière à l'entrée ne se limite plus à la simple possession d'un modèle personnalisé, mais implique la capacité de traduire en continu les besoins du secteur en systèmes d'évaluation et de les faire migrer à chaque mise à jour du modèle de base.

Troisièmement, le principal frein au déploiement de l'IA en entreprise se déplace de la fourniture de modèles vers les capacités d'évaluation. Auparavant, la validation de concept en entreprise reposait souvent sur des essais et un jugement subjectif ; désormais, avec l'intégration de l'IA dans les processus de production tels que les centres d'appels, la recherche juridique et l'assistance médicale, se fier uniquement à l'apparence ne suffit plus pour étayer les décisions d'achat. Les entreprises doivent savoir pour quelles tâches un modèle est performant, dans quelles situations il échoue et dans quelle mesure le passage d'un logiciel propriétaire à un logiciel libre entraînera des variations de coût et de qualité. L'évaluation n'est donc plus un outil auxiliaire, mais bien l'infrastructure reliant l'achat, la formation et le déploiement en production. Celui qui définit les tâches, établit les environnements de test et met à jour en continu les normes contrôle véritablement le choix du modèle.

Quatrièmement, la valeur des plateformes d'inférence évolue : il ne s'agit plus seulement de « vendre de la puissance de calcul à bas coût », mais aussi d'organiser les modèles, le matériel et les flux de travail. Auparavant, l'optimisation de l'inférence se résumait principalement à la réduction du coût d'un jeton unique ; aujourd'hui, la mise en cache, le fractionnement des tâches, le routage des modèles et la gestion du contexte peuvent influer directement sur les taux d'achèvement des tâches. Différents modèles n'ont plus besoin de se disputer la même place, mais peuvent agir respectivement comme exécutants et conseillers. La logique commerciale de Fireworks reste donc pertinente : au lieu de construire son propre matériel coûteux, l'entreprise lie ses revenus à l'utilisation réelle des modèles clients par le biais de l'entraînement, de la personnalisation et de l'inférence continue. Cependant, les principaux concurrents sur cette voie ne sont pas de nouvelles entreprises de cloud, mais de grands fournisseurs de cloud capables de contrôler simultanément la puissance de calcul, les logiciels et les points d'accès clients.

Cinquièmement, l'essor des modèles open source ne devrait pas nécessairement affaiblir la demande en infrastructures ; au contraire, il pourrait réduire le coût de la couche de modélisation et accroître encore la valeur ajoutée de l'inférence et de la puissance de calcul. L'augmentation constante des dépenses d'investissement des géants de la tech ne se limite pas au calcul des retours sur investissement à court terme, mais vise également à évaluer les risques à long terme liés au fait de rater le cycle de l'IA. Cependant, pour les nouvelles entreprises de cloud computing qui dépendent de financements externes, le coût de la dette, les retards de projets et les délais de rentabilisation resteront des contraintes plus directes. La baisse du coût des modèles ne signifie pas pour autant que la conception et l'exploitation des systèmes d'IA seront allégées.

Si l'on devait résumer cette conversation en un seul jugement, ce serait celui-ci : rattraper son retard sur les modèles open source n'est que le début ; la prochaine étape de la commercialisation de l'IA s'articulera autour de l'évaluation, de la personnalisation, de l'efficacité de l'inférence et des flux de travail des clients.

Voici le texte original (modifié pour en faciliter la lecture et la compréhension) :

TL;DR

Les modèles open source rattrapent rapidement les modèles propriétaires, mais la croissance du nombre de jetons ne se traduit pas par une croissance des revenus, et les budgets des entreprises privilégient toujours les modèles les plus performants.

La distillation ne peut aider les modèles open source à réduire l'écart qu'à court terme ; la compétitivité à long terme dépend toujours de la formation indépendante, des données d'évaluation, des talents et de la puissance de calcul.

• La mise à niveau des modèles généraux n'élimine plus nécessairement les modèles verticaux. Dans des domaines tels que le droit et la santé, les obstacles se déplacent des capacités des modèles vers l'évaluation, les données et les flux de travail.

La clé pour faire passer l'IA d'entreprise de la preuve de concept (PoC) à la production ne réside pas dans l'augmentation du nombre de choix de modèles, mais dans l'établissement d'un système d'évaluation capable de mesurer la qualité, le coût et les limites de défaillance.

L'optimisation de l'inférence s'est étendue de la simple réduction du coût d'un jeton unique à la mise en cache, au fractionnement des tâches et au routage des modèles. La conception même du système permet à plusieurs combinaisons de modèles de surpasser un modèle de pointe unique.

Les modèles personnalisés conviennent mieux aux plateformes SaaS verticales qui couvrent un grand nombre de clients similaires, car les entreprises individuelles manquent généralement de capacités de distribution de données suffisamment larges et d'évaluation continue.

L'avantage concurrentiel de Fireworks ne réside pas dans la possession de GPU, mais dans la connexion entre l'entraînement, la personnalisation et l'inférence continue. Cependant, ses véritables concurrents à long terme restent les géants du cloud capables de couvrir l'ensemble de la pile technologique.

L'adoption généralisée des modèles open source ne réduira pas nécessairement la demande en matériel ; elle est plus susceptible de comprimer les primes des couches de modélisation et de redistribuer la valeur de l'industrie vers la puissance de calcul, l'infrastructure d'inférence et les flux de travail d'entreprise.

Points clés de l'entretien

L'open source continuera de rattraper son retard, mais la distillation n'est pas une solution à long terme.

L'équipe Fireworks est en grande partie issue de l'écosystème PyTorch de Meta. Forte de son expérience dans le développement de systèmes d'exploitation, de bases de données et d'autres logiciels, elle est convaincue depuis longtemps que les logiciels performants finiront par trouver des solutions open source compétitives. Le modèle global pourrait suivre une trajectoire similaire, mais cette phase de rattrapage est plus rapide que Chen Yufei ne l'avait initialement prévu.

D'une part, les revenus annuels récurrents des entreprises de modèles propriétaires comme OpenAI et Anthropic continuent de croître rapidement ; d'autre part, les modèles open source en Chine et aux États-Unis réduisent également rapidement l'écart de performance et font chuter les prix de l'inférence. Logiciel libre et logiciel propriétaire ne sont pas dans une relation à somme nulle où l'un progresse tandis que l'autre régresse inévitablement.

Concernant l'utilisation des résultats de modèles propriétaires pour certains modèles open source, Chen Yufei estime que si cette approche peut permettre aux modèles d'atteindre un niveau élevé à court terme, elle a peu de chances d'être une solution fiable à long terme. Les fournisseurs de logiciels propriétaires peuvent progressivement corriger leurs API et leurs mécanismes de sécurité afin de réduire les risques d'extraction des processus d'inférence et des données associées.

Cependant, les progrès des modèles open source ne dépendent pas entièrement de la distillation. Tant que le système d'évaluation continue de s'améliorer, que le coût des données continue de diminuer et que les équipes open source disposent de suffisamment de talents, de GPU et de capacités d'ingénierie, elles peuvent continuer à entraîner de manière indépendante des modèles compétitifs. Des entreprises comme Meta, avec leur puissance de calcul et leurs ressources humaines, n'ont aucune raison de maintenir un écart important avec les modèles de pointe propriétaires sur le long terme.

Cela ne signifie pas pour autant que les modèles propriétaires perdront des parts de marché. Chen Yufei compare les deux à Apple et Android : les écosystèmes ouverts peuvent accueillir une utilisation à plus grande échelle, tandis que les produits propriétaires leaders du marché peuvent fidéliser une clientèle à forte valeur ajoutée, moins sensible aux prix, en misant sur une expérience utilisateur stable, la notoriété de la marque et la confiance des entreprises.

Les achats en entreprise sont généralement empreints de prudence. L'adage « On ne risque pas sa vie pour avoir acheté des solutions IBM » illustre parfaitement cette mentalité. Tant que les clients continueront de croire que l'acquisition de logiciels propriétaires leaders du marché est l'option la plus sûre, des entreprises comme OpenAI et Anthropic conserveront un certain avantage. Comparé aux écarts technologiques à court terme, il peut s'avérer plus difficile de modifier la perception des utilisateurs et de faciliter l'accès au marché.

Chen Yufei prévoit que le chiffre d'affaires annuel récurrent (ARR) des entreprises à logiciel propriétaire continuera de croître, mais ce chiffre pourrait ne pas refléter pleinement leurs avantages économiques réels. Par exemple, une partie des revenus pourrait devoir être partagée avec les fournisseurs de services cloud, et une augmentation de l'ARR ne se traduit pas nécessairement par une augmentation proportionnelle du chiffre d'affaires et des bénéfices comptables. Seul un abattement de la part des entreprises concernées, après la publication d'informations financières plus complètes, permettra de déterminer si leur pouvoir de négociation a diminué.

À long terme, l'open source pourrait connaître une plus large diffusion, tandis que le logiciel propriétaire continuera de contrôler la demande pour générer des profits plus importants. Ce qui détermine les frontières commerciales entre les deux n'est pas seulement la capacité du modèle, mais aussi la marque, les canaux de distribution, la confiance des clients et les méthodes de répartition des revenus.

Les jetons évoluent vers l'open source, mais les revenus restent tributaires des performances.

D'après Chen Yufei, la plateforme Fireworks traite actuellement entre 40 et 50 billions de jetons par jour. Selon les informations publiques qu'il cite, ce chiffre dépasse le trafic des API d'entreprise divulgué par Gemini et OpenAI.

Les principales demandes concernant la plateforme proviennent de la programmation, de la santé, du travail collaboratif et de la recherche approfondie. Parmi celles-ci, un nombre croissant de tâches qui n'étaient pas initialement considérées comme de la programmation sont désormais redéfinies comme des « problèmes de programmation ».

Les logiciels bureautiques comme PowerPoint et Excel en sont des exemples typiques. Lorsqu'un modèle peut interagir avec ces logiciels via du code ou des outils structurés, les méthodes existantes de génération de code, d'appel d'outils et d'apprentissage par renforcement peuvent être transposées aux environnements bureautiques. De nombreuses entreprises SaaS verticales intègrent également des outils sectoriels dans des environnements accessibles aux modèles, puis utilisent l'apprentissage par renforcement pour familiariser ces modèles avec des flux de travail spécifiques.

Chen Yufei catégorise les besoins actuels en deux grandes catégories : la programmation et la recherche approfondie. Différentes applications verticales combineront ces deux aspects pour créer des agents dédiés à des secteurs tels que le droit, la santé et le travail de bureau.

Il est particulièrement optimiste quant aux outils bureautiques collaboratifs destinés aux utilisateurs non techniques. Auparavant, la plupart des ressources du secteur étaient investies dans les besoins liés aux sciences, technologies, ingénierie et mathématiques (STEM), comme les mathématiques et la programmation, mais les besoins d'un large éventail de travailleurs du savoir, tels que la création de présentations, le traitement de documents et la réalisation de vidéos, devraient croître encore plus rapidement.

Le développement des agents informatiques a été plus lent que prévu. Il y a un peu plus d'un an, on pensait que ces produits permettraient de s'affranchir des API complexes et d'offrir aux utilisateurs une interaction directe avec les ordinateurs, à l'instar des humains. Cependant, dans les faits, les entreprises, soucieuses de réduire leurs coûts, ont opté pour des flux de travail en texte brut. Les modèles textuels sont moins onéreux et plus faciles à intégrer aux processus existants. Si les agents informatiques pourraient gagner en popularité à mesure que le coût des machines virtuelles diminue et que les environnements d'exploitation s'améliorent, les pistes d'optimisation restent à explorer.

Cependant, la croissance du nombre de jetons ne reflète pas directement leur valeur commerciale. Les classements publics des modèles de routage sont souvent influencés par les quotas gratuits et les promotions, et un même nombre de jetons peut correspondre à des prix totalement différents. Le trafic généré par les modèles à bas prix et celui généré par les modèles haut de gamme onéreux n'ont pas la même signification en termes de revenus.

Chen Yufei estime que le chiffre d'affaires est un meilleur indicateur du véritable choix d'un client que le nombre de jetons. Lorsque les entreprises ne sont pas sensibles au prix, leurs budgets seront toujours alloués aux modèles les plus performants. Par conséquent, lorsque Fireworks aide ses clients à personnaliser des modèles, son objectif principal n'est généralement pas d'atteindre un bon rapport coût-efficacité, mais plutôt d'égaler, voire de surpasser, les principaux modèles propriétaires pour des tâches spécifiques.

Le marché de la programmation présente également un décalage entre l'utilisation et les revenus. La consommation de jetons devrait continuer de croître, mais si le prix des modèles couramment utilisés continue de baisser, cette baisse stimulera certes davantage d'appels, mais n'entraînera pas nécessairement une augmentation proportionnelle des revenus du marché. De même que l'accès généralisé à l'électricité ne signifie pas que tous les profits reviennent aux entreprises de production d'électricité, la croissance de l'utilisation de l'IA ne permet pas de déterminer directement où réside la véritable valeur de ce secteur.

Dans un avenir proche, l'utilisation des modèles open source pourrait continuer de progresser, mais la croissance des dépenses associées dépendra de la volonté des entreprises d'investir dans la personnalisation. Si de plus en plus d'entreprises parviennent à adapter des modèles open source personnalisés pour concurrencer les modèles propriétaires sur des tâches spécifiques, le trafic et les revenus migreront davantage vers l'open source. En revanche, si les coûts de personnalisation, les taux d'échec et les capacités organisationnelles persistent, les modèles propriétaires continueront de répondre à la plupart des besoins à forte valeur ajoutée.

Les modèles à usage général repoussent les limites supérieures des capacités, tandis que les modèles verticaux accumulent les barrières liées aux tâches.

À chaque lancement d'un nouveau modèle de pointe, le marché soulève une nouvelle question : le modèle que les entreprises s'efforcent de perfectionner en y investissant des données et des fonds perdra-t-il rapidement de sa valeur ?

Chen Yufei a déclaré que si de nombreux modèles personnalisés ont effectivement été remplacés par des modèles de base de nouvelle génération en 2025, cette situation a considérablement diminué en 2026. Selon lui, il s'agit d'un signe positif indiquant que la valeur commerciale des modèles verticaux se stabilise progressivement.

La raison en est que les modèles généralistes et les applications verticales sont optimisés dans des directions différentes. Les laboratoires de pointe doivent prouver que les modèles peuvent résoudre des problèmes mathématiques, scientifiques et de développement de médicaments plus complexes ; tandis que les entreprises verticales dans des domaines tels que le droit et la santé se concentrent sur les besoins spécifiques des utilisateurs, les taux d’achèvement des tâches, la précision des citations et la fiabilité des flux de travail.

« Développer un bon agent pour un marché vertical spécifique et résoudre l'hypothèse de Riemann sont deux tâches complètement différentes. »

Prenons l'exemple de Harvey, une entreprise spécialisée dans l'IA juridique. Son avantage concurrentiel réside non seulement dans son modèle de base, mais aussi dans sa capacité à décomposer les tâches juridiques, son système d'évaluation, le traitement des données et les processus de développement du produit. Il en va de même dans le domaine médical : chaque produit doit définir des normes spécifiques en fonction des méthodes de travail des médecins, des sources de données et des exigences de précision.

Ces évaluations et données ne deviennent pas automatiquement invalidées par la publication de nouveaux modèles. Après la mise à jour du modèle de base, les entreprises du secteur peuvent migrer leurs environnements de formation existants vers le nouveau modèle sans avoir à réappréhender l'ensemble du secteur. À mesure que les évaluations se précisent et que les processus de nettoyage des données gagnent en maturité, les modèles verticaux développent une expertise qui s'enrichit continuellement autour de tâches spécifiques.

En théorie, les entreprises de modélisation de pointe pourraient concentrer leurs ressources sur l'entrée sur les marchés juridique ou médical et surpasser les produits existants dans un seul domaine. Cependant, cette approche pourrait ne pas correspondre à leurs objectifs commerciaux. Les entreprises de modélisation généralistes doivent servir une large clientèle, et investir massivement dans un seul secteur vertical pourrait ne pas suffire à atteindre la taille de marché et la valorisation souhaitées.

Chen Yufei a comparé le modèle général à une chaîne de restaurants qui doit satisfaire une clientèle variée, tandis que le modèle vertical s'apparente davantage à un restaurant spécialisé dans quelques plats. Ce dernier n'a pas besoin de résoudre tous les problèmes ; s'il est nettement supérieur à la solution générale pour la tâche visée, il peut potentiellement créer un espace payant indépendant.

Cette capacité à la fois déséquilibrée et hautement spécialisée, il la nomme « intelligence dentelée ». Un modèle juridique ne peut certes pas résoudre l'hypothèse de Riemann, mais il peut surpasser des modèles plus vastes et généralistes pour certains types de tâches juridiques. Pour les entreprises clientes, la capacité à mener à bien la tâche avec fiabilité est souvent plus importante que les capacités générales du modèle.

Les modèles personnalisés ne conviennent pas à toutes les entreprises. Chen Yufei estime que les clients les plus adaptés sont les entreprises SaaS verticales qui desservent un grand nombre d'institutions similaires, plutôt que les hôpitaux, les cabinets d'avocats ou les entreprises utilisatrices finales.

Les plateformes SaaS verticales permettent de toucher un grand nombre de clients, de comprendre les besoins communs aux différentes organisations et de mettre en place des systèmes d'évaluation couvrant un plus large éventail de situations. Les entreprises individuelles manquent généralement de capacités de diffusion des données suffisamment étendues et d'évaluation continue. Plutôt que de former des modèles de manière indépendante, il est préférable de transformer les processus internes en compétences, outils ou agents, puis de s'appuyer sur des modèles de base externes pour accomplir les tâches.

Dans les projets d'apprentissage par renforcement personnalisés, les GPU représentent le principal poste de dépense, mais les données et l'environnement d'entraînement sont tout aussi essentiels. Les équipes doivent se prémunir contre les manipulations de récompense (c'est-à-dire l'exploitation des failles d'évaluation pour obtenir des scores élevés sans avoir à accomplir la tâche) tout en garantissant un environnement d'entraînement stable et capable de monter en charge.

L'environnement d'entraînement initial ne nécessite pas forcément des centaines de milliers de trajectoires. Chen Yufei a indiqué qu'un millier d'environnements d'entraînement suffisent pour amorcer l'apprentissage par renforcement, car le modèle explore et génère de manière répétée un grand nombre de trajectoires pendant l'entraînement. En supposant que chaque étape d'entraînement soit exécutée 128 fois sur un environnement donné, un millier de points de données initiaux pourraient générer environ 128 000 trajectoires d'entraînement.

Les modèles personnalisés nécessitent encore des ajustements après leur déploiement. Lorsqu'un nouveau modèle de base open source est publié, la plateforme peut migrer le système de formation et d'évaluation d'origine vers ce nouveau modèle. Tant que les critères d'évaluation et l'environnement de travail restent inchangés, la migration en elle-même n'est pas forcément longue ; la charge de travail continue provient principalement de l'ajout par les clients de nouveaux scénarios, flux de travail et tâches plus complexes.

Par conséquent, les principaux atouts d'une entreprise verticale ne résident pas dans le poids d'une certaine génération de modèles, mais dans les données, les évaluations et les flux de travail qui peuvent être migrés de manière répétée à mesure que le modèle de base est mis à jour.

L'IA d'entreprise est bloquée au stade de la preuve de concept (PoC) non pas parce qu'elle manque de modèle, mais parce qu'elle manque d'évaluation.

Lorsque les entreprises choisissent entre les modèles open source et les modèles propriétaires, leur principal critère de choix n'est pas seulement la performance et le prix, mais aussi la confiance.

Les contrats d'entreprise ayant généralement une durée d'un à deux ans, les acheteurs doivent évaluer si le fournisseur de services et son écosystème peuvent répondre à leurs besoins sur le long terme. Les solutions open source peuvent s'avérer moins coûteuses et plus flexibles, mais les fournisseurs de solutions propriétaires conservent un avantage certain en matière de communication de marque, de réussite et de notoriété.

Chen Yufei estime que la principale faiblesse des modèles open source et de leurs fournisseurs de services ne réside pas dans la technologie, mais dans leur capacité à pénétrer le marché. Les entreprises à logiciel propriétaire peuvent constamment sensibiliser les utilisateurs grâce à des démonstrations de nouvelles fonctionnalités et à la publication de résultats de recherche, tandis que l'écosystème open source souffre d'un manque de système unifié de marketing et de communication client.

Les méthodes de déploiement évoluent également. Initialement, les entreprises privilégiaient les déploiements sur site, mais aujourd'hui, de plus en plus de charges de travail migrent vers le cloud. Dès lors que les fournisseurs de services parviennent à instaurer un climat de confiance, notamment en matière de sécurité et de clouds privés virtuels, les services cloud mutualisés s'avèrent généralement plus rentables que les GPU dédiés pour les entreprises.

Une entreprise seule peut avoir des difficultés à maintenir un taux d'utilisation élevé pour un lot de GPU, mais une plateforme peut agréger les besoins de différents clients et améliorer l'efficacité de l'utilisation du matériel. À mesure que les coûts d'inférence augmentent en pourcentage des dépenses d'exploitation d'une entreprise, les avantages économiques d'une infrastructure partagée deviennent plus marqués.

L'un des principaux obstacles au passage de la preuve de concept à la production est le manque d'évaluation rigoureuse. Même lorsque les entreprises ont déjà appliqué l'IA à des domaines importants comme les centres d'appels, elles continuent d'évaluer l'efficacité de leurs modèles par tâtonnement plutôt qu'en établissant des normes de test reproductibles.

Sans évaluation, les entreprises ne peuvent comparer de manière fiable les modèles open source et propriétaires, ni déterminer si les mises à jour de ces modèles améliorent réellement leur activité. Chen Yufei estime donc que les talents capables de concevoir des systèmes d'évaluation de l'IA restent rares. Un système d'évaluation fiable pourrait aider les entreprises à mener à bien le remplacement de leurs modèles et à réaliser des économies à long terme bien supérieures à leurs coûts de développement initiaux.

Cela ne diffère pas fondamentalement des tests unitaires pratiqués dans les entreprises de logiciels traditionnelles. Auparavant, les entreprises SaaS devaient exécuter une série de tests avant la livraison du logiciel ; aujourd’hui, les entreprises spécialisées en IA verticale doivent mettre en place un ensemble d’évaluations pour confirmer que l’agent répond aux normes requises avant sa mise en production. L’accent est mis, au sein de l’industrie, non plus sur la simple « écriture de tests », mais sur l’« écriture d’évaluations ». L’objectif principal reste cependant de transformer la qualité du produit en capacités organisationnelles mesurables et cumulatives.

Le développement des sociétés de données tierces peut également servir d'indicateur pour observer l'intégration de l'IA dans les entreprises. Si leurs clients restent concentrés dans quelques laboratoires de pointe, cela indique que la marge de manœuvre des entreprises classiques pour développer des compétences indépendantes en IA demeure limitée ; en revanche, une diversification progressive des sources de revenus peut signifier qu'un nombre croissant d'entreprises commencent à acheter des données, à mettre en place des systèmes d'évaluation et à entraîner leurs propres modèles.

Ce qui manque réellement aux entreprises, ce n'est pas davantage de modèles, mais un ensemble de normes permettant de définir ce qui est juste, d'identifier ce qui est faux et d'appuyer les décisions d'achat.

L'optimisation de l'inférence passe de la réduction des coûts des jetons à la planification du système.

L'activité principale de Fireworks est l'optimisation de l'inférence. Chen Yufei estime qu'il existe encore une marge de progression importante dans ce domaine, car les performances d'un modèle lors de sa première publication diffèrent souvent considérablement de celles obtenues après une optimisation de longue durée.

La plateforme vise à raccourcir ce cycle d'optimisation, afin que les nouveaux modèles soient aussi proches que possible de leur état optimal lors de leur déploiement. Outre le temps d'exécution du modèle lui-même, la mise en cache, la planification et l'infrastructure de support influent sur le coût final. De nombreuses optimisations nécessitent un travail d'ingénierie important et fragmenté, ce qui rend l'optimisation de l'inférence particulièrement complexe.

Comparativement aux API propriétaires fournies par les développeurs de modèles, Fireworks prend en charge simultanément un grand nombre de modèles de base et de modèles personnalisés, permettant ainsi d'observer des schémas de trafic et des charges de travail plus diversifiés. Les fournisseurs de modèles doivent d'abord s'assurer que leurs modèles sont disponibles de manière stable pour un large éventail d'utilisateurs, tandis que les plateformes tierces peuvent effectuer des optimisations plus poussées en fonction des caractéristiques spécifiques des requêtes de chaque client.

Le routage de modèles ne se limite pas à la réduction des coûts. Dans une expérience conjointe menée par Fireworks et Harvey, le système utilisait un modèle comme exécutant et un autre comme conseiller, décomposant les tâches complexes en plusieurs sous-tâches plus courtes. Étant donné que les performances du modèle principal peuvent diminuer à mesure que le contexte s'allonge, une division du travail appropriée permet d'obtenir des performances globales supérieures à celles obtenues avec le seul modèle le plus performant.

Chen Yufei a comparé ce processus à l'optimisation des performances d'un processeur. Les développeurs doivent comprendre les caractéristiques du processeur, puis décomposer le programme en charges de travail adaptées à ce processeur. De même, dans les systèmes d'IA, le modèle de base peut être vu comme un processeur de texte : l'équipe doit d'abord comprendre les limites de capacité des différents modèles, puis concevoir le cadre de traitement des tâches, et enfin placer le modèle approprié au bon endroit.

L'optimisation matérielle ne peut être abordée en se basant sur des métriques individuelles telles que le GPU, la HBM, le CPU et le réseau. Les modèles sont généralement conçus en tenant compte du rapport calcul/mémoire du matériel existant lors de l'entraînement initial. Par conséquent, migrer un modèle d'un GPU NVIDIA vers un GPU AMD aux performances similaires est relativement simple, tandis que la migration vers un ASIC d'architecture différente peut nécessiter un travail considérable.

Le succès d'un nouveau composant matériel dépend non seulement de la similarité de ses spécifications avec celles de Nvidia, mais aussi de l'ampleur de l'offre, de l'écosystème logiciel et de la capacité des incitations économiques à encourager les développeurs à optimiser leurs modèles. Même avec une configuration matérielle similaire à celle de Nvidia, il sera difficile de construire un écosystème si les développeurs ne peuvent pas en retirer un retour sur investissement suffisant.

En définitive, l'optimisation d'une plateforme d'inférence ne se résume pas à la vitesse d'exécution du modèle, mais concerne l'adéquation entre le modèle, la tâche et le matériel.

Fireworks ne possède pas le matériel, mais assure la liaison entre la formation et l'analyse des données.

Face à l'expansion des fournisseurs de cloud IA vers la couche logicielle, Fireworks n'envisage pas pour l'instant de développer son propre matériel ni d'investir massivement dans les GPU. Chen Yufei décrit le modèle de l'entreprise comme étant plus proche de celui d'un « propriétaire » : l'entreprise acquiert de la puissance de calcul auprès de fournisseurs d'infrastructure et se concentre sur les logiciels de calcul, les services d'inférence et la personnalisation des modèles.

La différence entre Fireworks et les plateformes cloud d'IA classiques réside dans le fait que la majeure partie du trafic sur la plateforme provient non pas de modèles de base non modifiés, mais de modèles personnalisés. Chen Yufei estime que la concurrence dans l'inférence des modèles de base va s'intensifier et que les profits proviendront davantage des modèles propriétaires capables d'offrir de meilleurs résultats aux clients.

Fireworks intègre l'entraînement et l'inférence au sein d'une même activité. L'entreprise aide ses clients à entraîner leurs modèles et vise une croissance soutenue du trafic d'inférence après leur mise en production. Contrairement aux prestataires qui facturent uniquement des frais de formation ou de conseil, cette structure de revenus aligne plus efficacement les avantages à long terme pour la plateforme et ses clients : à mesure que les clients génèrent davantage de valeur grâce à leurs modèles, Fireworks peut accroître ses revenus grâce à l'inférence continue.

Certains fournisseurs de services d'apprentissage par renforcement proposent uniquement des formations ou du conseil, et leurs revenus ne sont pas nécessairement liés à l'efficacité du modèle après son déploiement. Le modèle économique de Fireworks repose sur l'amélioration des performances grâce à l'entraînement, puis sur la valorisation des données générées par les inférences ultérieures. Fireworks ne vend pas de projets d'entraînement ponctuels, mais plutôt la possibilité de permettre aux modèles de ses clients de générer une utilisation continue.

Les véritables concurrents capables de couvrir l'ensemble de la chaîne ne sont pas de simples entreprises émergentes du cloud, mais de grands fournisseurs de services cloud tels qu'AWS, Microsoft Azure et Google Cloud. Ils disposent à la fois de la puissance de calcul et de la capacité de concevoir des services d'apprentissage par renforcement, des plateformes d'inférence et des outils de développement.

Fireworks est en concurrence avec les fournisseurs de services cloud tout en s'appuyant sur leur infrastructure et en collaborant avec elle. Actuellement, l'entreprise entretient un partenariat étroit avec Azure, permettant à ses clients d'acquérir des services Fireworks en utilisant des crédits Azure. Elle collabore également avec AWS et Google Cloud.

Chen Yufei estime que les capacités d'optimisation d'inférence actuelles de Fireworks restent supérieures aux services similaires des fournisseurs de cloud, mais que les performances ponctuelles ne constituent pas le principal obstacle. Plus important encore, Fireworks couvre l'intégralité du cycle d'opérations d'apprentissage automatique, de l'entraînement au déploiement, en passant par l'évaluation et l'inférence, offrant ainsi aux développeurs une expérience fluide. Comparé aux nouveaux fournisseurs de cloud, Fireworks a une portée plus étendue ; face aux géants du cloud, il doit préserver ses atouts en matière de spécialisation et de rapidité d'exécution.

Même si l'IA peut automatiser à l'avenir le développement des noyaux, l'inférence et l'optimisation post-entraînement, la compréhension des besoins clients restera probablement une tâche difficilement remplaçable. Un système peut certes résoudre des problèmes mathématiques complexes, mais il ne peut pas, à lui seul, appréhender les processus, les contraintes et les critères d'évaluation d'une entreprise. La valeur à long terme de Fireworks repose en définitive sur sa capacité à traduire les besoins clients en modèles, évaluations et produits opérationnels.

Le principal avantage des modèles de compression open source reste la puissance de calcul, qui constitue la contrainte ultime.

Au cours des deux prochaines années, le principal défi de Fireworks restera la puissance de calcul. Sa capacité à acquérir des ressources informatiques suffisantes à un prix raisonnable limitera directement la croissance de son chiffre d'affaires. Chen Yufei résume la situation actuelle de Fireworks comme étant « contrainte par la puissance de calcul » et prévoit que le marché dans son ensemble restera probablement dans cet état pendant au moins un an.

Cela a également influencé son point de vue sur les dépenses d'investissement en IA des géants de la tech. Le marché juge généralement si des entreprises comme Google et Meta surinvestissent en fonction du retour sur investissement ; mais pour ces entreprises, un autre risque pourrait être plus important : si l'IA génère finalement des rendements extrêmement élevés, et qu'elles ratent cette phase de compétition parce qu'elles ont réduit leurs investissements, elles pourraient perdre définitivement leur place parmi les leaders du marché.

Par conséquent, même en cas de surinvestissement à court terme, le coût se limitera probablement à une pression sur les états financiers et à la nécessité d'absorber l'amortissement au cours des prochaines années. Pour les géants de la tech disposant de flux de trésorerie et de capacités de financement à long terme, cela ne représente généralement pas un risque pour leur survie ; en revanche, rater des cycles technologiques clés pourrait en constituer un.

La situation est différente pour les nouvelles entreprises du cloud. Elles doivent calculer avec plus de rigueur la rentabilité des projets, les coûts de financement et les délais de retour sur investissement. Chen Yufei suggère de prêter attention aux notations de crédit, aux prolongations de projets et aux capacités de refinancement des entreprises concernées. Si certains acteurs se trouvent dans l'incapacité d'emprunter en raison de problèmes de crédit et doivent restructurer leur dette dans les 3 à 6 mois à venir, la disponibilité des fonds sur le marché sera un indicateur clé de la capacité de financement des infrastructures d'IA.

Chen Yufei se montre sceptique face à l'idée, répandue sur le marché, que « le rattrapage des modèles open source par rapport aux modèles propriétaires réduira la demande en matériel ». Selon lui, l'amélioration des capacités des modèles open source affaiblit principalement le pouvoir de fixation des prix des modèles eux-mêmes. Si les dépenses globales en IA restent inchangées, la valeur pourrait en réalité se déplacer vers les entreprises fournissant la puissance de calcul et l'infrastructure.

Cependant, la question de savoir si les investissements en IA généreront à terme des retours sur investissement suffisants reste ouverte. Les projets de puissance de calcul mettent souvent plusieurs années à amortir leur coût, et il est difficile de prévoir l'évolution de l'offre et de la demande dans un an. Un signal relativement clair se dégage actuellement : Fireworks et nombre de ses clients recherchent toujours davantage de puissance de calcul.

La concurrence entre les modèles open source et propriétaires ne se jouera pas uniquement sur leur classement. À mesure que l'écart de performance se réduit, la valeur ajoutée pour l'industrie dépendra davantage de la capacité à définir les tâches, à vérifier l'efficacité des modèles et à les déployer en production à un coût raisonnable.