Fireworks, ein Projekt von Meta, diskutiert Open Source versus Closed Source: Wer wird gewinnen?

Videoersteller: Silicon Valley Vector
Bearbeitet von: Peggy, BlockBeats

Anmerkung der Redaktion: Da Open-Source-Modelle schnell mit proprietären Modellen gleichziehen und die Preise für Inferenz weiter sinken, verlagert sich die Diskussion in der Branche von der Frage „Wer hat das leistungsstärkste Modell?“ hin zu „Wer kann das Modell kostengünstiger in der Produktion einsetzen?“. Doch mit der Angleichung der Modellfähigkeiten und dem zunehmenden Konsens über den steigenden Token-Verbrauch rückt eine grundlegendere Frage in den Vordergrund: Wofür sind Unternehmen wirklich bereit zu zahlen – für günstigere Modellaufrufe oder für spezialisierte Intelligenz, die spezifische Aufgaben zuverlässig erledigen kann?

Kürzlich unterhielt sich Cao Qingyun, Moderatorin von „Silicon Valley Coordinates“, mit Chen Yufei, Mitbegründerin von Fireworks AI. Fireworks, positioniert zwischen Modellen und Unternehmensanwendungen, bietet Kunden vorwiegend Open-Source-Modellinferenz, Leistungsoptimierung und Anpassungsdienste. Anstatt lediglich zu erörtern, ob Open Source mit Closed Source mithalten kann, konzentrierte sich Chen Yufei auf reale Anwendungsfälle: Wohin fließen die Token, warum zahlen Unternehmen dafür und was fehlt noch, damit Modelle vom Proof of Concept in die Produktion überführt werden können?

In diesem Dialog zerlegte Chen Yufei die Frage „Open Source vs. Closed Source“ in eine Reihe grundlegenderer Strukturfragen: Lässt sich Token-Wachstum in Umsatz umwandeln? Können allgemeine Fähigkeiten vertikale Akkumulation ersetzen? Bestehen Niedrigpreismodelle die Bewertung durch Unternehmen? Und wie können Inferenzplattformen zwischen Cloud-Anbietern und Anwendungsunternehmen an Wert gewinnen?

Erstens weichen der Nutzungsumfang und der kommerzielle Wert von Open-Source-Modellen voneinander ab. Früher waren die Aufholfähigkeit und die Anrufpreise die Hauptindikatoren für die Wettbewerbsfähigkeit von Open-Source-Lösungen. Heute verarbeitet die Fireworks-Plattform täglich etwa 400–500 Gigabit Token, und die tatsächliche Nutzung von Open-Source-Modellen hat rasant zugenommen. Kostenloser Traffic, Werbezuschüsse und Preisunterschiede zwischen den Modellen können jedoch dazu führen, dass die Token-Statistiken die Nachfrage teilweise überschätzen. Kunden nutzen möglicherweise kostengünstige Modelle intensiv, investieren aber ihre höchsten Budgets weiterhin in die effektivsten proprietären Modelle. Das bedeutet, dass es in der nächsten Phase für Open Source nicht mehr nur um die Steigerung des Traffics geht, sondern darum, die Fähigkeit unter Beweis zu stellen, bei hochwertigen Aufgaben mit führenden Modellen gleichzuziehen oder diese sogar zu übertreffen und Kostenvorteile in Zahlungsbereitschaft umzuwandeln.

Zweitens entwickeln sich universelle und branchenspezifische Modelle zunehmend in unterschiedliche Richtungen. Früher konnte jedes Upgrade eines hochmodernen Modells eine ganze Reihe feinabgestimmter Modelle überflüssig machen. Heute hingegen sammeln Branchen wie Recht, Gesundheitswesen und Programmierung immer detailliertere Bewertungen, Daten und Arbeitsabläufe an, und ihre Optimierungsziele weichen allmählich von denen hochmoderner Labore ab. Universelle Modelle müssen ihre Leistungsfähigkeit steigern, während branchenspezifische Modelle in begrenzten Szenarien stabile Ergebnisse liefern müssen. Erstere können ein breiteres Spektrum an Problemen lösen, während letztere besser verstehen, wie Anwender „Korrektheit“ definieren. Das bedeutet, dass die Eintrittsbarriere für branchenspezifische Unternehmen nicht nur in einem maßgeschneiderten Modell liegt, sondern auch in der Fähigkeit, Branchenbedürfnisse kontinuierlich in Bewertungssysteme zu übersetzen und diese bei Aktualisierungen des Basismodells wiederholt zu migrieren.

Drittens verlagert sich der Engpass für den KI-Einsatz in Unternehmen von der Modellbereitstellung hin zu Evaluierungskapazitäten. Früher stützten sich Machbarkeitsstudien in Unternehmen oft auf Testerfahrungen und subjektive Einschätzungen. Da KI nun in Produktionsprozessen wie Callcentern, juristischer Recherche und medizinischer Versorgung Einzug hält, reicht es nicht mehr aus, sich allein auf den ersten Eindruck zu verlassen, um Beschaffungsentscheidungen zu treffen. Unternehmen müssen wissen, bei welchen Aufgaben ein Modell effektiv ist, wann es versagt und wie sich Kosten und Qualität beim Wechsel von proprietärer zu Open-Source-Software verändern. Die Evaluierung ist daher kein Hilfsmittel mehr, sondern die Infrastruktur, die Beschaffung, Training und Produktionseinsatz verbindet. Wer die Aufgaben definieren, Testverteilungen festlegen und Standards kontinuierlich aktualisieren kann, hat die Kontrolle über die Modellauswahl.

Viertens verschiebt sich der Wert von Inferenzplattformen vom reinen Verkauf günstiger Rechenleistung hin zur Organisation von Modellen, Hardware und Workflows. Früher verstand man unter Inferenzoptimierung vor allem die Reduzierung der Kosten einzelner Token; heute können Caching, Aufgabenaufteilung, Modellrouting und Kontextmanagement die Aufgabenabschlussraten direkt beeinflussen. Unterschiedliche Modelle konkurrieren nicht mehr um dieselbe Position, sondern können als Ausführende bzw. Berater fungieren. Fireworks' Geschäftslogik bleibt somit gültig: Anstatt eigene, ressourcenintensive Hardware zu entwickeln, generiert das Unternehmen seine Einnahmen durch die tatsächliche Nutzung von Kundenmodellen mittels Training, Anpassung und kontinuierlicher Inferenz. Die Hauptkonkurrenten auf diesem Weg sind jedoch nicht einzelne neue Cloud-Unternehmen, sondern große Cloud-Anbieter, die Rechenleistung, Software und Kundenzugangspunkte gleichzeitig kontrollieren können.

Fünftens muss der Aufstieg von Open-Source-Modellen die Infrastrukturnachfrage nicht zwangsläufig schwächen; im Gegenteil, er könnte den Preisaufschlag der Modellschicht verringern und den Wert weiter in Richtung Inferenz und Rechenleistung verlagern. Die kontinuierlich steigenden Investitionsausgaben der Technologiekonzerne dienen nicht nur der Berechnung kurzfristiger Renditen, sondern auch der Abwägung der langfristigen Risiken, den KI-Zyklus zu verpassen. Für neue Cloud-Unternehmen, die auf externe Finanzierung angewiesen sind, stellen Schuldenkosten, Projektverzögerungen und Amortisationszeiten jedoch weiterhin direktere Einschränkungen dar. Kostengünstigere Modelle bedeuten nicht automatisch, dass die Entwicklung und der Betrieb von KI-Systemen entsprechend einfacher werden.

Wenn wir dieses Gespräch in einem einzigen Urteil zusammenfassen müssten, wäre es dieses: Das Aufholen bei Open-Source-Modellen ist nur der Anfang; die nächste Phase der Kommerzialisierung von KI wird sich um Evaluierung, Anpassung, Inferenzeffizienz und Kunden-Workflows drehen.

Nachfolgend der Originaltext (zur besseren Lesbarkeit und zum besseren Verständnis bearbeitet):

TL;DR

Open-Source-Modelle holen schnell gegenüber Closed-Source-Modellen auf, aber Tokenwachstum bedeutet nicht automatisch Umsatzwachstum, und in den Unternehmensbudgets werden weiterhin die leistungsstärksten Modelle priorisiert.

Die Destillation kann Open-Source-Modellen nur kurzfristig helfen, die Lücke zu schließen; die langfristige Wettbewerbsfähigkeit hängt weiterhin von unabhängigem Training, Auswertungsdaten, Talent und Rechenleistung ab.

• Die Modernisierung allgemeiner Modelle führt nicht mehr zwangsläufig zur Abschaffung vertikaler Modelle. Die Herausforderungen in Bereichen wie Recht und Gesundheitswesen verlagern sich von den Modellfähigkeiten hin zu Evaluierung, Daten und Arbeitsabläufen.

Der Schlüssel zur Überführung von KI-Lösungen für Unternehmen vom Proof of Concept (PoC) in die Produktion liegt nicht in der Erhöhung der Anzahl der Modelloptionen, sondern in der Einrichtung eines Bewertungssystems, das Qualität, Kosten und Ausfallgrenzen messen kann.

Die Inferenzoptimierung hat sich von der Reduzierung der Kosten einzelner Token auf Caching, Aufgabenaufteilung und Modellrouting ausgeweitet. Das Systemdesign selbst ermöglicht es, dass mehrere Modellkombinationen ein einzelnes hochmodernes Modell übertreffen.

Kundenspezifische Modelle eignen sich besser für vertikale SaaS-Plattformen, die eine große Anzahl ähnlicher Kunden abdecken, da einzelnen Unternehmen in der Regel die nötigen Fähigkeiten zur breiten Datenverteilung und kontinuierlichen Auswertung fehlen.

Der Wettbewerbsvorteil von Fireworks liegt nicht im Besitz von GPUs, sondern in der Verknüpfung von Training, Anpassung und kontinuierlicher Inferenz. Die wahren langfristigen Konkurrenten sind jedoch nach wie vor die Cloud-Giganten, die die gesamte Technologiepalette abdecken.

Die breite Übernahme von Open-Source-Modellen wird die Hardwarenachfrage nicht unbedingt verringern; wahrscheinlicher ist, dass die Aufschläge auf Modellebenen sinken und der Branchenwert hin zu Rechenleistung, Inferenzinfrastruktur und Unternehmensworkflows umverteilt wird.

Wichtigste Punkte des Interviews

Open Source wird zwar weiter aufholen, aber Destillation ist keine langfristige Lösung.

Das Fireworks-Team stammt größtenteils aus dem PyTorch-Ökosystem von Meta. Aufgrund ihrer Erfahrung in der Entwicklung von Betriebssystemen, Datenbanken und anderer Software ist das Team seit Langem davon überzeugt, dass wertvolle Software früher oder später konkurrenzfähige Open-Source-Lösungen finden wird. Das Gesamtmodell könnte einen ähnlichen Weg einschlagen, nur dass diese Aufholjagd schneller vonstattengeht, als Chen Yufei ursprünglich erwartet hatte.

Einerseits wachsen die jährlichen wiederkehrenden Umsätze von Anbietern proprietärer Modelle wie OpenAI und Anthropic weiterhin rasant; andererseits verringern Open-Source-Modelle in China und den USA schnell die Leistungslücke und drücken die Preise für Inferenzfunktionen stark. Open Source und proprietäre Software sind kein Nullsummenspiel, bei dem das Wachstum der einen Seite zwangsläufig auf dem Rückgang der anderen beruht.

Bezüglich der Destillation einiger Open-Source-Modelle mithilfe der Ergebnisse proprietärer Modelle ist Chen Yufei der Ansicht, dass dieser Ansatz zwar kurzfristig zu einer höheren Modellqualität beitragen kann, langfristig jedoch kaum verlässlich ist. Anbieter proprietärer Software können APIs und Sicherheitsmechanismen schrittweise anpassen, um die Möglichkeit des Auslesens von Inferenzprozessen und zugehörigen Daten zu reduzieren.

Der Fortschritt von Open-Source-Modellen hängt jedoch nicht allein von der Datenreduktion ab. Solange sich das Evaluierungssystem weiter verbessert, die Datenkosten sinken und ausreichend Fachkräfte, GPUs und Entwicklungskapazitäten vorhanden sind, können Open-Source-Teams weiterhin eigenständig wettbewerbsfähige Modelle entwickeln. Unternehmen wie Meta haben mit ihrer Rechenleistung und ihren Fachkräftereserven langfristig keinen Grund, einen großen Rückstand gegenüber hochmodernen, proprietären Modellen aufrechtzuerhalten.

Das bedeutet nicht, dass proprietäre Modelle Marktanteile verlieren werden. Chen Yufei vergleicht die beiden mit Apple und Android: Offene Ökosysteme ermöglichen eine breitere Nutzung, während führende proprietäre Produkte dank stabiler Benutzererfahrung, Markenbekanntheit und Unternehmensvertrauen wertvolle Kunden mit geringerer Preissensibilität halten können.

Unternehmenskäufe sind tendenziell konservativ. Das Sprichwort „Wer IBM kauft, wird nicht gefeuert“ beschreibt diese Entscheidungsmentalität treffend. Solange Kunden weiterhin davon überzeugt sind, dass der Kauf führender proprietärer Systeme die sicherste Wahl ist, können Unternehmen wie OpenAI und Anthropic einen gewissen Wettbewerbsvorteil bewahren. Im Vergleich zu kurzfristigen technologischen Lücken dürften Veränderungen der Nutzerwahrnehmung und der Markteintrittsmöglichkeiten schwieriger sein.

Chen Yufei prognostiziert, dass der jährliche wiederkehrende Umsatz (ARR) von Unternehmen mit proprietären Geschäftsmodellen weiter steigen wird, diese Kennzahl jedoch möglicherweise nicht deren tatsächlichen wirtschaftlichen Nutzen vollständig widerspiegelt. Beispielsweise muss ein Teil des Umsatzes unter Umständen mit Cloud-Anbietern geteilt werden, und ein Anstieg des ARR führt nicht zwangsläufig zu einem proportionalen Anstieg des ausgewiesenen Umsatzes und Gewinns. Ob die Verhandlungsmacht proprietärer Geschäftsmodelle gesunken ist, lässt sich erst nach Offenlegung umfassenderer Finanzinformationen durch die betreffenden Unternehmen beurteilen.

Langfristig dürfte Open Source eine breitere Anwendung finden, während Closed Source weiterhin die Nachfrage nach gewinnbringender Software kontrollieren wird. Die kommerziellen Grenzen beider Ansätze werden nicht nur durch die Leistungsfähigkeit der jeweiligen Modelle bestimmt, sondern auch durch Marke, Vertriebskanäle, Kundenvertrauen und Umsatzverteilungsmethoden.

Token bewegen sich in Richtung Open Source, aber der Umsatz orientiert sich weiterhin an der Performance.

Laut Chen Yufei verarbeitet die Fireworks-Plattform derzeit täglich etwa 40 bis 50 Billionen Token. Basierend auf öffentlich zugänglichen Informationen, die er zitiert, übersteigt diese Zahl den von Gemini und OpenAI offengelegten API-Datenverkehr für Unternehmen.

Die Hauptanforderungen der Plattform stammen aus den Bereichen Programmierung, Gesundheitswesen, kollaboratives Arbeiten und tiefgehende Forschung. Dabei werden immer mehr Aufgaben, die ursprünglich nicht als Programmierung galten, als „Programmierprobleme“ neu definiert.

Bürosoftware wie PowerPoint und Excel sind typische Beispiele. Wenn ein Modell diese Programme mithilfe von Code oder strukturierten Tools bedienen kann, lassen sich bestehende Methoden zur Codegenerierung, Tool-Aufrufung und zum bestärkenden Lernen auf Büroszenarien übertragen. Viele branchenspezifische SaaS-Unternehmen integrieren zudem branchenspezifische Tools in Umgebungen, auf die Modelle zugreifen können, und nutzen anschließend bestärkendes Lernen, um die Modelle mit spezifischen Arbeitsabläufen vertraut zu machen.

Chen Yufei unterteilt den aktuellen Bedarf grob in zwei Kategorien: Programmierung und tiefgehende Forschung. Verschiedene Branchenanwendungen kombinieren diese beiden Bereiche, um spezialisierte Agenten für Szenarien wie Recht, Gesundheitswesen und Büroarbeit zu entwickeln.

Er ist besonders optimistisch, was kollaborative Büroprodukte für Anwender ohne technische Vorkenntnisse angeht. Bisher flossen die meisten Ressourcen der Branche in MINT-Bereiche wie Mathematik und Programmierung, doch der Bedarf einer breiten Palette von Wissensarbeitern, beispielsweise für die Erstellung von Präsentationen, die Dokumentenbearbeitung und die Videoproduktion, dürfte noch schneller wachsen.

Die Entwicklung computergesteuerter Agenten verlief langsamer als erwartet. Noch vor gut einem Jahr ging man davon aus, dass diese Produkte komplexe APIs umgehen und Nutzern eine direkte, menschenähnliche Interaktion mit Computern ermöglichen würden. In der Praxis haben Unternehmen jedoch, um Kosten zu senken, vermehrt auf reine Textverarbeitung umgestellt. Textmodelle sind kostengünstiger und lassen sich leichter in bestehende Prozesse integrieren. Obwohl computergesteuerte Agenten mit sinkenden Kosten für virtuelle Maschinen und verbesserten Betriebsumgebungen möglicherweise noch an Bedeutung gewinnen werden, werden die konkreten Optimierungswege weiterhin erforscht.

Das Tokenwachstum spiegelt jedoch nicht direkt den kommerziellen Wert wider. Öffentliche Rankings von Modellroutings werden häufig durch kostenlose Kontingente und Werbeaktionen beeinflusst, und dieselbe Tokenanzahl kann völlig unterschiedlichen Preisen entsprechen. Der durch günstige Modelle generierte Traffic hat hinsichtlich des Umsatzes eine andere Bedeutung als der durch teure, innovative Modelle generierte Traffic.

Chen Yufei ist der Ansicht, dass der Umsatz ein besserer Indikator für die tatsächliche Kundenpräferenz ist als die Anzahl der Token. Wenn Unternehmen nicht preissensibel sind, fließen ihre Budgets weiterhin in die leistungsstärksten Modelle. Daher ist das Hauptziel von Fireworks bei der Anpassung von Modellen in der Regel nicht, ein gutes Kosten-Nutzen-Verhältnis zu erzielen, sondern vielmehr, führende proprietäre Modelle in spezifischen Aufgaben zu erreichen oder sogar zu übertreffen.

Der Programmiermarkt weist ebenfalls eine Diskrepanz zwischen Nutzung und Umsatz auf. Der Token-Verbrauch dürfte weiter steigen, doch wenn die Preise gängiger Modelle sinken, führen niedrigere Preise zwar zu mehr Aufrufen, aber nicht zwangsläufig zu einem entsprechenden Umsatzwachstum. Genauso wie ein flächendeckender Stromzugang nicht bedeutet, dass alle Gewinne an die Energieerzeugungsunternehmen fließen, lässt sich aus dem Wachstum der KI-Nutzung nicht direkt ableiten, wo der Wert der Branche letztendlich liegt.

In naher Zukunft dürfte die Nutzung von Open-Source-Modellen weiter zunehmen. Ob die damit verbundenen Ausgaben jedoch parallel steigen, hängt davon ab, ob Unternehmen bereit sind, Ressourcen in die Anpassung zu investieren. Können immer mehr Unternehmen angepasste Open-Source-Modelle einsetzen, um proprietäre Modelle bei spezifischen Aufgaben herauszufordern, werden Traffic und Umsatz weiter in Richtung Open Source wandern. Bleiben hingegen Anpassungskosten, Fehlerraten und organisatorische Kapazitäten Hindernisse, werden proprietäre Modelle weiterhin den Großteil der wertvollen Anwendungen abdecken.

Universelle Modelle erhöhen die Obergrenze der Leistungsfähigkeit, während vertikale Modelle Aufgabenbarrieren anhäufen.

Immer wenn ein neues, hochmodernes Modell auf den Markt kommt, stellt sich die Frage: Wird das Modell, in dessen Feinabstimmung Unternehmen Daten und finanzielle Mittel investieren, schnell an Wert verlieren?

Chen Yufei stellte fest, dass zwar viele kundenspezifische Modelle im Jahr 2025 tatsächlich durch Basismodelle der neuen Generation ersetzt wurden, sich diese Situation bis 2026 jedoch deutlich verringerte. Seiner Ansicht nach ist dies ein positives Zeichen dafür, dass sich der kommerzielle Wert vertikaler Modelle allmählich stabilisiert.

Der Grund dafür ist, dass universelle Modelle und vertikale Anwendungen in unterschiedliche Richtungen optimiert werden. Forschungslabore müssen beweisen, dass Modelle komplexere mathematische, wissenschaftliche und arzneimittelentwicklungsbezogene Probleme lösen können; vertikale Unternehmen in Bereichen wie Recht und Gesundheitswesen konzentrieren sich hingegen auf spezifische Nutzerbedürfnisse, Aufgabenabschlussraten, Zitationsgenauigkeit und die Zuverlässigkeit von Arbeitsabläufen.

„Die Entwicklung eines guten Agenten für einen bestimmten vertikalen Markt und die Lösung der Riemannschen Vermutung sind zwei völlig unterschiedliche Aufgaben.“

Nehmen wir Harvey, ein Unternehmen für juristische KI, als Beispiel. Dessen Vorteil liegt nicht nur im verwendeten Basismodell, sondern auch in der Aufschlüsselung juristischer Aufgaben, dem Bewertungssystem, der Datenverarbeitung und den Produktprozessen. Ähnliches gilt für den medizinischen Bereich: Unterschiedliche Produkte erfordern die Festlegung spezifischer Standards, die auf den Arbeitsmethoden der Ärzte, den Datenquellen und den Genauigkeitsanforderungen basieren.

Diese Auswertungen und Daten verlieren nicht automatisch mit der Veröffentlichung neuer Modelle ihre Gültigkeit. Nach der Aktualisierung des Basismodells können Branchenunternehmen ihre bestehenden Trainingsumgebungen auf das neue Modell migrieren, ohne die gesamte Branche neu verstehen zu müssen. Mit zunehmend detaillierteren Auswertungen und ausgereifteren Datenbereinigungsprozessen entwickeln sich Branchenmodelle zu einer Kompetenz, die sich kontinuierlich um spezifische Aufgaben herum weiterentwickelt.

Theoretisch könnten innovative Modellierungsunternehmen ihre Ressourcen auf den Markteintritt im Rechts- oder Medizinsektor konzentrieren und bestehende Produkte in einem einzelnen Bereich übertreffen. Dieser Ansatz ist jedoch möglicherweise nicht mit ihren Geschäftszielen vereinbar. Unternehmen, die allgemeine Modellierung anbieten, müssen einen breiten Kundenstamm bedienen, und hohe Investitionen in einen einzelnen Marktbereich reichen unter Umständen nicht aus, um die angestrebte Marktgröße und Bewertung zu erreichen.

Chen Yufei verglich das allgemeine Modell mit einer Restaurantkette, die ein breites Geschmacksspektrum bedienen muss, während das vertikale Modell eher einem Restaurant ähnelt, das sich auf wenige Gerichte konzentriert. Letzteres muss nicht alle Probleme lösen; solange es in der angestrebten Aufgabe deutlich besser ist als die allgemeine Lösung, kann es sich potenziell einen eigenständigen, kostenpflichtigen Markt erschließen.

Diese unausgewogene, aber hochspezialisierte Fähigkeit bezeichnet er als „ungeordnete Intelligenz“. Ein juristisches Modell mag zwar die Riemannsche Vermutung nicht lösen können, aber es kann größere, universell einsetzbare Modelle bei bestimmten juristischen Aufgaben übertreffen. Für Unternehmen ist die zuverlässige Erfüllung der Aufgabe oft wichtiger als die umfassenderen Fähigkeiten des Modells.

Maßgeschneiderte Modelle sind nicht für alle Unternehmen geeignet. Chen Yufei ist der Ansicht, dass die geeignetsten Kunden vertikale SaaS-Unternehmen sind, die eine große Anzahl ähnlicher Institutionen bedienen, und nicht einzelne Krankenhäuser, Anwaltskanzleien oder Endkundenunternehmen.

Vertikale SaaS-Plattformen erreichen eine große Anzahl von Kunden, verstehen die gemeinsamen Bedürfnisse verschiedener Organisationen und etablieren Evaluierungssysteme, die ein breiteres Spektrum an Situationen abdecken. Einzelnen Unternehmen fehlt es häufig an einer ausreichend breiten Datenverteilung und kontinuierlichen Evaluierungskapazitäten. Anstatt Modelle eigenständig zu trainieren, ist es sinnvoller, interne Prozesse in Form von Fähigkeiten, Werkzeugen oder Agenten zu festigen und dann externe Basismodelle zur Aufgabenerfüllung einzusetzen.

Bei benutzerdefinierten Reinforcement-Learning-Projekten sind GPUs der Hauptkostenfaktor, aber Daten und Trainingsumgebung sind ebenso wichtig. Teams müssen auf sogenannte Reward Hacks achten – also auf die Ausnutzung von Schwachstellen in der Bewertung, um hohe Punktzahlen zu erzielen, ohne die Aufgabe tatsächlich zu lösen – und gleichzeitig eine stabile Trainingsumgebung gewährleisten, die skalierbar ist.

Die anfängliche Trainingsumgebung muss nicht unbedingt Hunderttausende von Trajektorien umfassen. Chen Yufei erklärte, dass tausend Trainingsumgebungen ausreichen, um Reinforcement Learning zu initiieren, da das Modell während des Trainings wiederholt eine große Anzahl von Trajektorien erkundet und generiert. Geht man davon aus, dass jeder Trainingsschritt 128 Mal in einer Umgebung ausgeführt wird, könnten tausend anfängliche Datenpunkte etwa 128.000 Trainingstrajektorien erzeugen.

Kundenspezifische Modelle müssen nach der Bereitstellung weiterhin angepasst werden. Sobald ein neues Open-Source-Basismodell veröffentlicht wird, kann die Plattform das bestehende Trainings- und Evaluierungssystem auf das neue Modell migrieren. Solange die Evaluierungskriterien und die Aufgabenumgebung unverändert bleiben, ist die Migration selbst nicht unbedingt zeitaufwändig. Kontinuierlicher Arbeitsaufwand entsteht erst, wenn Kunden neue Szenarien, Workflows und komplexere Aufgaben hinzufügen.

Daher sind die Kernressourcen eines vertikal integrierten Unternehmens nicht die Gewichtungen einer bestimmten Modellgeneration, sondern die Daten, Auswertungen und Arbeitsabläufe, die bei der Aktualisierung des Basismodells wiederholt migriert werden können.

Die KI-Lösungen für Unternehmen stecken in der Proof-of-Concept-Phase (PoC) fest, nicht weil es an einem Modell mangelt, sondern weil es an Evaluierung mangelt.

Bei der Wahl zwischen Open-Source- und Closed-Source-Modellen spielen für Unternehmen neben Leistung und Preis auch Vertrauen eine zentrale Rolle.

Da Unternehmensverträge in der Regel ein bis zwei Jahre laufen, müssen Käufer prüfen, ob der Dienstleister und sein Ökosystem die Geschäftsanforderungen langfristig erfüllen können. Open-Source-Modelle sind zwar oft kostengünstiger und flexibler, doch Anbieter proprietärer Software haben nach wie vor Vorteile in puncto Markenkommunikation, Erfolgsgeschichten und Marktbekanntheit.

Chen Yufei ist der Ansicht, dass die größte Schwäche von Open-Source-Modellen und ihren Dienstleistern nicht in der Technologie, sondern in der Markteintrittsfähigkeit liegt. Unternehmen mit proprietären Modellen können die Bekanntheit ihrer Produkte und Dienstleistungen durch die Präsentation neuer Funktionen und Forschungsergebnisse kontinuierlich steigern, während dem Open-Source-Ökosystem ein einheitliches Marketing- und Kundenkommunikationssystem fehlt.

Auch die Bereitstellungsmethoden ändern sich. Anfangs konzentrierten sich Unternehmen stärker auf lokale Installationen, doch mittlerweile werden immer mehr Workloads in die Cloud verlagert. Solange Serviceanbieter Vertrauen in Bereichen wie Sicherheit und virtuellen privaten Clouds aufbauen können, sind Multi-Tenant-Cloud-Dienste für Unternehmen in der Regel kostengünstiger als dedizierte GPUs.

Ein einzelnes Unternehmen kann die hohe Auslastung einer Vielzahl von GPUs möglicherweise nicht aufrechterhalten, eine Plattform hingegen kann die Bedürfnisse verschiedener Kunden bündeln und die Hardwareauslastung effizienter gestalten. Mit steigenden Inferenzkosten als Anteil der Betriebskosten eines Unternehmens werden die Kostenvorteile einer gemeinsam genutzten Infrastruktur immer deutlicher.

Eines der größten Hindernisse für Unternehmen beim Übergang von der Machbarkeitsstudie zur Serienproduktion ist der Mangel an fundierter Evaluierung. Selbst wenn Unternehmen KI bereits in wichtigen Bereichen wie Callcentern einsetzen, beurteilen sie die Effektivität ihrer Modelle immer noch eher durch Ausprobieren als durch die Festlegung von Teststandards, die wiederholt angewendet werden können.

Ohne Evaluierung können Unternehmen Open-Source- und proprietäre Modelle nicht zuverlässig vergleichen und auch nicht feststellen, ob Modellaktualisierungen ihr Geschäft tatsächlich verbessern. Chen Yufei ist daher der Ansicht, dass Fachkräfte für die Entwicklung von KI-Evaluierungssystemen weiterhin rar sind. Ein zuverlässiges Evaluierungssystem könnte Unternehmen bei der Modellerneuerung unterstützen und langfristig Kosten einsparen, die die anfänglichen Entwicklungskosten bei Weitem übersteigen.

Dies unterscheidet sich im Grunde nicht von Unit-Tests in traditionellen Softwareunternehmen. Früher mussten SaaS-Unternehmen vor der Softwareauslieferung eine Reihe von Tests durchführen; heute müssen Unternehmen im Bereich vertikaler KI-Lösungen Evaluierungen durchführen, um sicherzustellen, dass der Agent die entsprechenden Standards erfüllt, bevor er produktiv eingesetzt wird. Der Fokus der Branche verlagert sich vom teilweisen Schreiben von Tests hin zum Schreiben von Evaluierungen, doch im Kern geht es weiterhin darum, Produktqualität in messbare und kumulative organisatorische Fähigkeiten umzuwandeln.

Die Entwicklung von Drittanbietern für Daten kann auch als Indikator für die Implementierung von KI in Unternehmen dienen. Konzentrieren sich deren Kunden weiterhin auf wenige Spitzenforschungseinrichtungen, deutet dies darauf hin, dass der Spielraum für Unternehmen, eigenständige KI-Kompetenzen aufzubauen, noch begrenzt ist. Diversifizieren sich die Einnahmequellen hingegen allmählich, könnte dies bedeuten, dass immer mehr Unternehmen beginnen, Daten zu kaufen, Auswertungssysteme zu entwickeln und eigene Modelle zu trainieren.

Was Unternehmen wirklich fehlt, sind nicht mehr Modelle, sondern ein Satz von Standards, der definieren kann, was richtig ist, aufzeigt, was falsch ist, und Kaufentscheidungen unterstützt.

Die Inferenzoptimierung verlagert sich von der Reduzierung der Tokenkosten hin zur Systemplanung.

Das Kerngeschäft von Fireworks ist die Inferenzoptimierung. Chen Yufei ist der Ansicht, dass in diesem Bereich noch erhebliches Verbesserungspotenzial besteht, da die Leistung eines Modells bei seiner ersten Veröffentlichung oft deutlich von seiner Leistung nach langfristiger Optimierung abweicht.

Die Plattform zielt darauf ab, diesen Optimierungszyklus zu verkürzen und sicherzustellen, dass neue Modelle bei der Bereitstellung so nah wie möglich an ihrem optimalen Zustand sind. Neben der Modelllaufzeit selbst beeinflussen auch Caching, Scheduling und die unterstützende Infrastruktur die Gesamtkosten. Viele Optimierungen erfordern einen hohen Aufwand an fragmentierter Entwicklungsarbeit, was die Inferenzoptimierung zu einer arbeitsintensiven Aufgabe macht.

Im Vergleich zu den von Modellentwicklern bereitgestellten APIs unterstützt Fireworks gleichzeitig eine Vielzahl von Basismodellen und benutzerdefinierten Modellen. Dies ermöglicht die Beobachtung vielfältigerer Verkehrsmuster und Arbeitslasten. Modellanbieter müssen zunächst die stabile Bereitstellung ihrer Modelle für eine breite Nutzerbasis gewährleisten, während Drittanbieterplattformen detailliertere Optimierungen für die spezifischen Anfragecharakteristika einzelner Clients vornehmen können.

Modellrouting dient nicht nur der Kostenreduzierung. In einem gemeinsamen Experiment von Fireworks und Harvey nutzte das System ein Modell als Aufgabenausführer und ein anderes als Berater, um Aufgaben mit langem Kontext in mehrere kürzere Teilaufgaben zu unterteilen. Da die Leistung des großen Modells mit zunehmender Kontextlänge abnehmen kann, kann die Gesamtleistung des Systems durch eine sinnvolle Arbeitsteilung sogar die Leistung des leistungsstärksten Modells allein übertreffen.

Chen Yufei verglich diesen Prozess mit der CPU-Leistungsoptimierung. Entwickler müssen die Eigenschaften des Prozessors verstehen und das Programm dann in für diesen Prozessor geeignete Arbeitslasten aufteilen. Ähnlich verhält es sich bei KI-Systemen: Das Basismodell kann als Textprozessor betrachtet werden. Das Team muss zunächst die Leistungsgrenzen verschiedener Modelle verstehen, dann das Aufgabenframework entwerfen und schließlich das passende Modell an der richtigen Stelle platzieren.

Die Hardwareoptimierung lässt sich nicht allein durch die Betrachtung einzelner Metriken wie GPU, HBM, CPU und Netzwerk angehen. Modelle werden typischerweise unter Berücksichtigung des Verhältnisses von Rechenleistung zu Speicher der vorhandenen Hardware während des anfänglichen Trainings entworfen. Daher ist die Migration eines Modells von einer NVIDIA-GPU auf eine vergleichbar leistungsfähige AMD-GPU relativ einfach, während die Migration auf einen ASIC mit einer anderen Architektur erheblichen Aufwand erfordern kann.

Der Erfolg neuer Hardware hängt nicht nur von ähnlichen Spezifikationen wie denen von Nvidia ab, sondern auch von der Verfügbarkeit, dem Software-Ökosystem und der Frage, ob wirtschaftliche Anreize Entwickler dazu bewegen können, ihre Modelle dafür zu optimieren. Selbst bei ähnlicher Hardwarekonfiguration lässt sich ein Ökosystem nur schwer aufbauen, wenn Entwickler nicht ausreichend davon profitieren.

Letztendlich geht es bei der Optimierung einer Inferenzplattform nicht nur um die Geschwindigkeit, mit der das Modell ausgeführt wird, sondern auch um die Abstimmung zwischen Modell, Aufgabe und Hardware.

Fireworks besitzt nicht die Hardware, sondern verbindet Training und Inferenz.

Als Reaktion auf die Expansion von KI-Cloud-Anbietern in den Softwarebereich plant Fireworks derzeit weder die Entwicklung eigener Hardware noch größere Investitionen in GPUs. Chen Yufei beschreibt das Geschäftsmodell des Unternehmens als eher mit dem eines „Vermieters“ vergleichbar: Rechenleistung wird von Infrastrukturanbietern bezogen, während der Fokus auf Rechensoftware, Inferenzdiensten und der Anpassung von Modellen liegt.

Der Unterschied zwischen Fireworks und typischen KI-Cloud-Plattformen liegt darin, dass der Großteil des Datenverkehrs auf der Plattform nicht von unveränderten Basismodellen, sondern von kundenspezifischen Modellen stammt. Chen Yufei geht davon aus, dass der Wettbewerb im Bereich der Basismodellinferenz immer intensiver wird und Gewinne künftig eher durch proprietäre Modelle erzielt werden, die bessere Ergebnisse für die Kunden liefern.

Fireworks integriert Training und Inferenz in einem einzigen Geschäftsmodell. Das Unternehmen unterstützt Kunden beim Training ihrer Modelle und strebt nach dem Livegang der Modelle ein nachhaltiges Wachstum des Inferenzverkehrs an. Im Vergleich zu Dienstleistern, die lediglich Trainings- oder Beratungsgebühren erheben, sorgt diese Umsatzstruktur für eine effektivere Verknüpfung der langfristigen Vorteile für die Plattform und ihre Kunden: Je mehr Wert die Kunden durch ihre Modelle generieren, desto mehr Umsatz kann Fireworks durch kontinuierliche Inferenz erzielen.

Manche Anbieter von Reinforcement-Learning-Dienstleistungen beschränken sich auf Schulungen oder Beratung, und ihre Einnahmen stehen möglicherweise nicht in direktem Zusammenhang mit der Effektivität des Modells nach dessen Implementierung. Fireworks hingegen optimiert die Modellleistung durch Training und profitiert anschließend von der Nutzung der Daten. Das Unternehmen verkauft keine einmaligen Trainingsprojekte, sondern ermöglicht es seinen Kunden, ihre Modelle kontinuierlich zu nutzen.

Die wirklichen Wettbewerber, die die gesamte Wertschöpfungskette abdecken können, sind nicht einzelne neue Cloud-Unternehmen, sondern große Cloud-Service-Provider wie AWS, Microsoft Azure und Google Cloud. Sie verfügen sowohl über Rechenleistung als auch über die Fähigkeit, Reinforcement-Learning-Dienste, Inferenzplattformen und Entwicklungswerkzeuge zu erstellen.

Fireworks konkurriert mit Cloud-Anbietern und nutzt gleichzeitig deren Infrastruktur. Aktuell besteht die engste Partnerschaft mit Azure, wodurch Kunden Fireworks-Dienste mit Azure-Guthaben erwerben können. Darüber hinaus arbeitet Fireworks mit AWS und Google Cloud zusammen.

Chen Yufei ist überzeugt, dass Fireworks' aktuelle Optimierungsfähigkeiten im Bereich der Inferenz vergleichbarer Cloud-Dienste nach wie vor überlegen sind, die Performance einzelner Datenpunkte jedoch nicht das größte Hindernis darstellt. Viel wichtiger ist, dass Fireworks den gesamten Machine-Learning-Zyklus – von Training, Bereitstellung und Evaluierung bis hin zur Inferenz – abdeckt und Entwicklern so ein nahtloses Erlebnis bietet. Im Vergleich zu neuen Cloud-Anbietern deckt Fireworks eine längere Wertschöpfungskette ab; gegenüber den etablierten Cloud-Giganten muss das Unternehmen seine Vorteile in Spezialisierung und Ausführungsgeschwindigkeit jedoch beibehalten.

Selbst wenn KI in Zukunft die Kernelentwicklung, Inferenz und Optimierung nach dem Training automatisieren kann, wird das Verständnis der Kundenbedürfnisse wahrscheinlich eine schwer zu ersetzende Aufgabe bleiben. Ein System mag zwar komplexe mathematische Probleme lösen können, aber es kann die Prozesse, Einschränkungen und Bewertungskriterien eines Unternehmens nicht einfach so erfassen. Der langfristige Wert von Fireworks hängt letztendlich davon ab, ob es Kundenbedürfnisse in Modelle, Bewertungen und praktikable Produkte umsetzen kann.

Der Vorteil von Open-Source-Komprimierungsmodellen hängt nach wie vor von der Rechenleistung als ultimativem limitierenden Faktor ab.

In den nächsten ein bis zwei Jahren wird die Rechenleistung die größte Herausforderung für Fireworks bleiben. Die Fähigkeit des Unternehmens, ausreichend Rechenressourcen zu einem angemessenen Preis zu beschaffen, wird das Umsatzwachstum direkt begrenzen. Chen Yufei fasst die aktuelle Situation von Fireworks mit den Worten „durch die Rechenleistung eingeschränkt“ zusammen und prognostiziert, dass der Markt insgesamt diesen Zustand voraussichtlich mindestens im nächsten Jahr beibehalten wird.

Dies beeinflusste auch seine Sicht auf die KI-Investitionen der Tech-Giganten. Der Markt beurteilt üblicherweise anhand der Kapitalrendite, ob Unternehmen wie Google und Meta zu viel investieren; für diese Unternehmen birgt jedoch ein anderes Risiko ein größeres Risiko: Sollte KI letztendlich extrem hohe Renditen abwerfen und sie diese Wettbewerbsrunde verpassen, weil sie ihre Investitionen reduziert haben, könnten sie ihren Platz am Markt dauerhaft verlieren.

Selbst bei kurzfristigen Überinvestitionen beschränken sich die Kosten daher möglicherweise auf den Druck auf die Finanzberichte und die Notwendigkeit, Abschreibungen in den nächsten Jahren auszugleichen. Für Technologiekonzerne mit langfristigen Cashflows und Finanzierungsmöglichkeiten stellt dies in der Regel kein existenzbedrohendes Risiko dar; das Verpassen wichtiger Technologiezyklen hingegen schon.

Für neue Cloud-Unternehmen gestaltet sich die Situation anders. Sie müssen Projektrenditen, Finanzierungskosten und Amortisationszeiten genauer kalkulieren. Chen Yufei empfiehlt, auf die Bonitätseinstufungen, Projektverlängerungen und Refinanzierungsmöglichkeiten der relevanten Unternehmen zu achten. Sollten Marktteilnehmer aufgrund von Kreditproblemen keine weiteren Kredite aufnehmen können und ihre Schulden in den nächsten drei bis sechs Monaten restrukturieren müssen, ist die Frage, ob der Markt noch über ausreichend Kapital für eine Übernahme verfügt, ein wichtiger Indikator für die Finanzierungsfähigkeit der KI-Infrastruktur.

Chen Yufei steht der Markterzählung skeptisch gegenüber, dass „Open-Source-Modelle, die zu proprietären Modellen aufschließen, die Hardwarenachfrage reduzieren werden“. Seiner Ansicht nach schwächt die Verbesserung der Leistungsfähigkeit von Open-Source-Modellen primär die Preissetzungsmacht der Modellebene. Sollten die Gesamtausgaben für KI unverändert bleiben, könnte sich der Wert sogar zu Unternehmen verlagern, die Rechenleistung und Infrastruktur bereitstellen.

Ob sich Investitionen in KI-Lösungen letztendlich auszahlen werden, bleibt jedoch fraglich. Projekte im Bereich Rechenleistung benötigen oft mehrere Jahre, um ihre Investitionen zu amortisieren, und die Angebots- und Nachfragedynamik in einem Jahr ist schwer vorherzusagen. Ein relativ deutliches Signal ist derzeit, dass sowohl Fireworks als auch viele seiner Kunden weiterhin nach mehr Rechenleistung suchen.

Der Wettbewerb zwischen Open-Source- und proprietären Modellen wird nicht allein durch Modellrankings bestimmt. Da sich die Leistungslücke weiter verringert, wird der Branchenwert zunehmend davon abhängen, wer Aufgaben definieren, die Effektivität überprüfen und Modelle zu nachhaltigen Kosten in der Produktion implementieren kann.