O projeto Fireworks, originário da Meta, discute o dilema entre código aberto e código fechado: quem sairá vitorioso?

Criador do vídeo: Silicon Valley Vector
Editado por: Peggy, BlockBeats

Nota do editor: Com os modelos de código aberto se aproximando rapidamente da vanguarda dos modelos de código fechado e os preços da inferência continuando a cair, as discussões do setor estão mudando de "quem tem o modelo mais poderoso" para "quem pode implantar o modelo em produção a um custo menor". No entanto, à medida que as capacidades dos modelos convergem e o aumento do consumo de tokens se torna um consenso, uma questão mais fundamental começa a surgir: pelo que as empresas estão realmente dispostas a pagar — por chamadas de modelo mais baratas ou por inteligência dedicada capaz de concluir tarefas específicas de forma confiável?

Recentemente, Cao Qingyun, apresentador do programa "Silicon Valley Coordinates", conversou com Chen Yufei, cofundador da Fireworks AI. A Fireworks, que se posiciona entre modelos e aplicações empresariais, fornece principalmente aos clientes serviços de inferência de modelos de código aberto, otimização de desempenho e personalização. Em vez de simplesmente discutir se o código aberto pode alcançar o código fechado, as observações de Chen Yufei se aproximam de cargas de trabalho do mundo real: para onde vão os tokens, por que as empresas pagam e o que ainda falta para que os modelos passem da prova de conceito para a produção?

Neste diálogo, Chen Yufei desdobrou a questão de "código aberto versus código fechado" em um conjunto de questões estruturais mais fundamentais: O crescimento de tokens pode ser convertido em receita? As capacidades gerais podem substituir a acumulação vertical? Os modelos de baixo custo podem passar pela avaliação empresarial? E como as plataformas de inferência podem agregar valor entre fornecedores de nuvem e empresas de aplicativos?

Primeiramente, a escala de uso e o valor comercial dos modelos de código aberto estão divergindo. No passado, a capacidade de alcançar modelos de ponta e os preços das chamadas eram os principais indicadores de competitividade do código aberto; hoje, a plataforma Fireworks processa aproximadamente 400 a 500 tokens de gigabit por dia, e o uso real de modelos de código aberto expandiu-se rapidamente. No entanto, o tráfego gratuito, os subsídios promocionais e as diferenças de preço entre os modelos podem fazer com que as estatísticas de tokens superestimem parte da demanda. Os clientes podem utilizar amplamente modelos de baixo custo, mas ainda alocar seus maiores orçamentos aos modelos proprietários mais eficazes. Isso significa que o próximo estágio para o código aberto não se trata mais apenas de expandir o tráfego, mas de provar sua capacidade de alcançar ou mesmo superar modelos de ponta em tarefas de alto valor e traduzir as vantagens de custo em disposição para pagar.

Em segundo lugar, os modelos de uso geral e os modelos verticais estão começando a evoluir em direções diferentes. No passado, cada atualização de um modelo de ponta podia tornar obsoletos diversos modelos já otimizados; agora, aplicações verticais como direito, saúde e programação estão acumulando avaliações, dados e fluxos de trabalho mais granulares, e seus objetivos de otimização estão gradualmente se distanciando daqueles dos laboratórios de ponta. Os modelos de uso geral precisam ampliar seu limite de capacidade, enquanto os modelos verticais precisam fornecer resultados estáveis em cenários limitados. Os primeiros podem resolver uma gama mais ampla de problemas, enquanto os últimos entendem melhor como os usuários definem "correção". Isso significa que a barreira de entrada para empresas verticais não é apenas ter um modelo personalizado, mas a capacidade de traduzir continuamente as necessidades do setor em sistemas de avaliação e migrá-los repetidamente à medida que o modelo básico é atualizado.

Em terceiro lugar, o gargalo para a implementação de IA empresarial está mudando do fornecimento de modelos para as capacidades de avaliação. No passado, a prova de conceito empresarial frequentemente dependia de experiências de teste e julgamento subjetivo; agora, à medida que a IA entra em processos de produção, como call centers, pesquisas jurídicas e assistência médica, simplesmente confiar na aparência de um modelo não é mais suficiente para embasar as decisões de aquisição. As empresas precisam saber em quais tarefas um modelo é eficaz, quando ele falha e quanto o custo e a qualidade mudarão ao migrar de um modelo proprietário para um de código aberto. A avaliação, portanto, não é mais uma ferramenta auxiliar, mas sim a infraestrutura que conecta aquisição, treinamento e implementação em produção. Quem consegue definir as tarefas, estabelecer distribuições de teste e atualizar continuamente os padrões realmente controla a seleção do modelo.

Em quarto lugar, o valor das plataformas de inferência está mudando, passando de "vender poder computacional barato" para organizar modelos, hardware e fluxos de trabalho. No passado, a otimização da inferência era entendida principalmente como a redução do custo de um único token; agora, o armazenamento em cache, a divisão de tarefas, o roteamento de modelos e o gerenciamento de contexto podem alterar diretamente as taxas de conclusão de tarefas. Diferentes modelos não precisam mais competir pela mesma posição, mas podem atuar como executores e consultores, respectivamente. A lógica de negócios da Fireworks, portanto, se mantém: em vez de construir seu próprio hardware dispendioso em termos de ativos, ela vincula a receita ao uso real dos modelos dos clientes por meio de treinamento, personalização e inferência contínua. No entanto, os principais concorrentes nesse caminho não são novas empresas de nuvem isoladas, mas grandes fornecedores de nuvem que podem controlar simultaneamente o poder computacional, o software e os pontos de acesso dos clientes.

Em quinto lugar, a ascensão dos modelos de código aberto pode não necessariamente enfraquecer a demanda por infraestrutura; pelo contrário, pode comprimir o valor agregado da camada de modelos e direcionar ainda mais o valor para a inferência e o poder computacional. O aumento contínuo dos investimentos de capital das gigantes da tecnologia não se resume apenas ao cálculo de retornos de curto prazo, mas também à avaliação dos riscos de longo prazo de perder o ciclo da IA. No entanto, para as novas empresas de nuvem que dependem de financiamento externo, os custos da dívida, os atrasos nos projetos e os prazos de retorno ainda representarão restrições mais diretas. O fato de os modelos se tornarem mais baratos não significa que a construção e a operação de sistemas de IA se tornarão correspondentemente mais fáceis.

Se tivéssemos que resumir esta conversa em uma única conclusão, seria esta: alcançar os modelos de código aberto é apenas o começo; a próxima etapa da comercialização da IA girará em torno da avaliação, personalização, eficiência de inferência e fluxos de trabalho do cliente.

Segue abaixo o texto original (editado para facilitar a leitura e a compreensão):

Resumindo:

Os modelos de código aberto estão rapidamente alcançando os modelos de código fechado, mas o crescimento do número de tokens não se traduz em crescimento de receita, e os orçamentos corporativos ainda priorizam os modelos com melhor desempenho.

A destilação só pode ajudar os modelos de código aberto a reduzir a diferença no curto prazo; a competitividade a longo prazo ainda depende de treinamento independente, dados de avaliação, talento e poder computacional.

• A atualização de modelos gerais já não elimina necessariamente os modelos verticais. As barreiras em cenários como o direito e a saúde estão a mudar das capacidades dos modelos para a avaliação, os dados e o fluxo de trabalho.

A chave para levar a IA empresarial da Prova de Conceito (PoC) à produção não está em aumentar o número de opções de modelos, mas em estabelecer um sistema de avaliação que possa mensurar qualidade, custo e limites de falha.

A otimização da inferência evoluiu da redução do custo de um único token para o armazenamento em cache, divisão de tarefas e roteamento de modelos. O próprio design do sistema permite que múltiplas combinações de modelos superem um único modelo de ponta.

Os modelos personalizados são mais adequados para plataformas SaaS verticais que abrangem um grande número de clientes semelhantes, visto que empresas individuais geralmente não possuem distribuição de dados suficientemente ampla nem capacidade de avaliação contínua.

A vantagem competitiva do Fireworks não reside na posse de GPUs, mas na integração de treinamento, personalização e inferência contínua. No entanto, seus verdadeiros rivais a longo prazo ainda são os gigantes da computação em nuvem, capazes de abranger toda a pilha tecnológica.

A adoção generalizada de modelos de código aberto pode não necessariamente reduzir a demanda por hardware; é mais provável que comprima os custos adicionais da camada de modelo e redistribua o valor da indústria para poder computacional, infraestrutura de inferência e fluxos de trabalho empresariais.

Pontos-chave da entrevista

O código aberto continuará a ganhar terreno, mas a destilação não é uma solução a longo prazo.

A equipe do Fireworks é composta, em grande parte, por membros do ecossistema PyTorch da Meta. Com base em sua experiência anterior no desenvolvimento de sistemas operacionais, bancos de dados e outros softwares, a equipe sempre acreditou que softwares valiosos eventualmente teriam soluções de código aberto competitivas. O modelo mais amplo pode se desenvolver por um caminho semelhante, só que esta rodada de convergência está acontecendo mais rápido do que Chen Yufei havia previsto inicialmente.

Por um lado, a receita recorrente anual de empresas de modelos proprietários, como a OpenAI e a Anthropic, continua a crescer rapidamente; por outro lado, os modelos de código aberto na China e nos EUA também estão reduzindo rapidamente a diferença de capacidade e levando a preços de inferência muito baixos. A relação entre código aberto e código proprietário não é de soma zero, onde um lado cresce e o outro inevitavelmente declina.

Com relação à destilação de alguns modelos de código aberto usando a saída de modelos de código fechado, Chen Yufei acredita que, embora essa abordagem possa ajudar os modelos a atingirem um alto nível no curto prazo, é improvável que seja um caminho confiável a longo prazo. Os fornecedores de código fechado podem gradualmente corrigir APIs e mecanismos de segurança para reduzir a possibilidade de extração de processos de inferência e dados relacionados.

No entanto, o progresso dos modelos de código aberto não depende inteiramente da destilação. Enquanto o sistema de avaliação continuar a melhorar, os custos de dados continuarem a diminuir e houver talento, GPUs e capacidade de engenharia suficientes, as equipes de código aberto ainda poderão treinar modelos competitivos de forma independente. Empresas como a Meta, com seu poder computacional e reservas de talento, não têm motivos para manter uma grande defasagem em relação aos modelos de ponta de código fechado a longo prazo.

Isso não significa que os modelos de código fechado perderão participação de mercado. Chen Yufei compara os dois à Apple e ao Android: ecossistemas abertos podem acomodar uma escala de uso maior, enquanto produtos de código fechado que lideram continuamente o mercado conseguem reter clientes de alto valor com menor sensibilidade a preços, graças à experiência estável, ao reconhecimento da marca e à confiança corporativa.

As compras corporativas tendem a ser conservadoras. O ditado "Ninguém é demitido por comprar IBM" descreve bem essa mentalidade de tomada de decisão. Enquanto os clientes continuarem acreditando que adquirir modelos proprietários líderes de mercado é a opção mais segura, empresas como a OpenAI e a Anthropic poderão manter uma certa vantagem. Comparado às lacunas tecnológicas de curto prazo, mudar a percepção dos usuários e as capacidades de entrada no mercado pode ser mais difícil.

Chen Yufei prevê que a Receita Recorrente Anual (ARR) das empresas com modelo de negócios de código fechado continuará a crescer, mas esse número pode não refletir totalmente seus benefícios econômicos finais. Por exemplo, parte da receita pode precisar ser compartilhada com fornecedores de nuvem, e um aumento na ARR não se traduz necessariamente em um aumento proporcional na receita contábil e no lucro. A questão de se o poder de barganha dos modelos de negócios de código fechado diminuiu só poderá ser determinada após as empresas em questão divulgarem informações financeiras mais completas.

A longo prazo, o código aberto poderá alcançar uma escala de utilização maior, enquanto o código fechado continuará a controlar a demanda para obter maiores lucros. O que determina os limites comerciais entre os dois não são apenas as capacidades do modelo, mas também a marca, os canais de distribuição, a confiança do cliente e os métodos de distribuição de receita.

Os tokens estão migrando para o código aberto, mas a receita ainda acompanha o desempenho.

Segundo Chen Yufei, a plataforma Fireworks processa atualmente entre 40 e 50 trilhões de tokens por dia. Com base em informações públicas citadas por ele, esse número supera o tráfego de APIs corporativas divulgado pela Gemini e pela OpenAI.

As principais demandas da plataforma vêm das áreas de programação, saúde, trabalho colaborativo e pesquisa aprofundada. Entre elas, um número crescente de tarefas que originalmente não eram consideradas programação estão sendo redefinidas como "problemas de programação".

Softwares de escritório como PowerPoint e Excel são exemplos típicos. Quando um modelo consegue operar esses softwares por meio de código ou ferramentas estruturadas, os métodos existentes de geração de código, invocação de ferramentas e aprendizado por reforço podem ser transferidos para cenários de escritório. Muitas empresas de SaaS verticais também estão encapsulando ferramentas específicas do setor em ambientes que os modelos podem acessar e, em seguida, usando aprendizado por reforço para familiarizar os modelos com fluxos de trabalho específicos.

Chen Yufei divide as necessidades atuais em dois tipos principais: programação e pesquisa aprofundada. Diferentes aplicações verticais combinarão esses dois elementos para formar agentes dedicados a cenários como direito, saúde e trabalho de escritório.

Ele está particularmente otimista em relação a produtos de escritório colaborativos voltados para usuários não técnicos. Anteriormente, a maior parte dos recursos do setor era investida em necessidades "STEM" (Ciência, Tecnologia, Engenharia e Matemática), como matemática e programação, mas as necessidades de uma ampla gama de trabalhadores do conhecimento, como gerar slides, processar documentos e criar vídeos, provavelmente crescerão ainda mais rapidamente.

O desenvolvimento de agentes operados por computador tem sido mais lento do que o previsto. Há pouco mais de um ano, acreditava-se que esses produtos contornariam APIs complexas, permitindo que os usuários interagissem diretamente com os computadores como humanos. No entanto, na prática, as empresas, em um esforço para reduzir custos, têm migrado mais fluxos de trabalho para texto simples. Os modelos de texto são mais baratos e mais fáceis de incorporar aos processos existentes. Embora os agentes operados por computador ainda possam ganhar mais força à medida que os custos das máquinas virtuais diminuem e os ambientes operacionais melhoram, os caminhos específicos de otimização ainda estão sendo explorados.

No entanto, o crescimento do valor dos tokens não representa diretamente o valor comercial. Os rankings de roteamento de modelos públicos são frequentemente influenciados por cotas gratuitas e atividades promocionais, e a mesma quantidade de tokens pode corresponder a preços completamente diferentes. O tráfego gerado por modelos de baixo custo e o tráfego gerado por modelos de ponta caros têm significados diferentes em termos de receita.

Chen Yufei acredita que a receita é um indicador melhor da verdadeira escolha do cliente do que o número de tokens. Quando as empresas não são sensíveis ao preço, seus orçamentos ainda serão direcionados para os modelos de melhor desempenho. Portanto, quando a Fireworks ajuda os clientes a personalizar modelos, seu objetivo principal geralmente não é alcançar uma "boa relação custo-benefício", mas sim igualar ou até mesmo superar os principais modelos proprietários em tarefas específicas.

O mercado de programação também apresenta uma divergência entre uso e receita. O consumo de tokens provavelmente continuará a crescer, mas se os modelos mais usados continuarem a ter seus preços reduzidos, preços mais baixos estimularão mais chamadas, mas não necessariamente expandirão a receita do mercado na mesma proporção. Assim como o acesso generalizado à eletricidade não significa que todos os lucros vão para as empresas de geração de energia, o crescimento no uso de IA não pode responder diretamente onde reside o valor final do setor.

No futuro próximo, o uso de modelos de código aberto pode continuar a crescer, mas a expansão dos gastos relacionados dependerá da disposição das empresas em investir recursos em personalização. Se cada vez mais empresas conseguirem viabilizar modelos de código aberto personalizados para competir com modelos de código fechado em tarefas específicas, o tráfego e a receita migrarão ainda mais para o código aberto; caso contrário, se os custos de personalização, as taxas de falha e as capacidades organizacionais continuarem a representar obstáculos, os modelos de código fechado ainda atenderão à maioria das necessidades de alto valor agregado.

Os modelos de uso geral elevam o limite superior das capacidades, enquanto os modelos verticais acumulam barreiras de tarefas.

Sempre que um novo modelo de ponta é lançado, o mercado levanta uma nova questão: será que o modelo para o qual as empresas investem dados e recursos financeiros para aprimorar perderá seu valor rapidamente?

Chen Yufei afirmou que, embora muitos modelos personalizados tenham sido de fato substituídos por modelos básicos de nova geração em 2025, essa situação diminuiu significativamente em 2026. Em sua opinião, isso é um sinal positivo de que o valor comercial dos modelos verticais está gradualmente se estabilizando.

A razão é que os modelos de uso geral e as aplicações verticais estão sendo otimizados em direções diferentes. Os laboratórios de vanguarda precisam provar que os modelos podem resolver problemas matemáticos, científicos e de desenvolvimento de medicamentos mais complexos; enquanto as empresas verticais em áreas como direito e saúde se concentram em necessidades específicas do usuário, taxas de conclusão de tarefas, precisão de citações e confiabilidade dos fluxos de trabalho.

"Desenvolver um bom agente para um mercado vertical específico e resolver a Hipótese de Riemann são duas tarefas completamente diferentes."

Tomemos como exemplo a Harvey, uma empresa de IA jurídica. Sua vantagem reside não apenas no modelo base que utiliza, mas também na sua decomposição de tarefas jurídicas, sistema de avaliação, processamento de dados e processos de produto. O mesmo se aplica à área médica; diferentes produtos precisam estabelecer padrões específicos com base nos métodos de trabalho dos médicos, nas fontes de dados e nos requisitos de precisão.

Essas avaliações e dados não se tornam automaticamente inválidos com o lançamento de novos modelos. Após a atualização do modelo base, empresas de diversos setores podem migrar seus ambientes de treinamento existentes para o novo modelo sem precisar reaprender todo o setor. À medida que as avaliações se tornam mais detalhadas e os processos de limpeza de dados mais maduros, os modelos verticais formam uma capacidade que se acumula continuamente em torno de tarefas específicas.

Em teoria, empresas de modelagem de ponta poderiam concentrar seus recursos na entrada nos mercados jurídico ou médico e superar os produtos existentes em uma única área. No entanto, essa abordagem pode não estar alinhada com seus objetivos de negócios. Empresas de modelagem de uso geral precisam atender a uma ampla base de clientes, e investir pesadamente em um único segmento pode não ser suficiente para sustentar o tamanho de mercado e a avaliação desejados.

Chen Yufei comparou o modelo geral a uma cadeia de restaurantes que precisa atender a uma ampla gama de gostos, enquanto o modelo vertical se assemelha mais a um restaurante focado em poucos pratos. Este último não precisa resolver todos os problemas; contanto que seja significativamente melhor do que a solução geral para a tarefa em questão, pode potencialmente estabelecer um espaço pago independente.

Essa capacidade desequilibrada, porém altamente especializada, é o que ele chama de "Inteligência Seletiva". Um modelo jurídico pode não ser capaz de resolver a Hipótese de Riemann, mas pode superar modelos maiores e de uso geral em certos tipos de tarefas jurídicas. Para clientes corporativos, a capacidade de concluir a tarefa de forma confiável costuma ser mais importante do que as capacidades mais amplas do modelo.

Modelos personalizados não são adequados para todos os negócios. Chen Yufei acredita que os clientes mais adequados são empresas de SaaS verticais que atendem a um grande número de instituições semelhantes, em vez de hospitais, escritórios de advocacia ou empresas usuárias finais individuais.

Plataformas SaaS verticais podem alcançar um grande número de clientes, compreender as necessidades comuns de diferentes organizações e estabelecer sistemas de avaliação que abrangem mais situações. Empresas individuais geralmente carecem de uma distribuição de dados suficientemente ampla e de capacidades de avaliação contínua. Em vez de treinar modelos de forma independente, é melhor consolidar processos internos em habilidades, ferramentas ou agentes e, em seguida, recorrer a modelos básicos externos para concluir as tarefas.

Em projetos personalizados de aprendizado por reforço, as GPUs são o principal fator de custo, mas os dados e o ambiente de treinamento são igualmente críticos. As equipes precisam verificar a existência de "hacks de recompensa" — ou seja, a exploração de vulnerabilidades na avaliação para obter pontuações altas sem realmente concluir a tarefa — e, ao mesmo tempo, garantir um ambiente de treinamento estável que possa ser escalado.

O ambiente de treinamento inicial não precisa necessariamente atingir centenas de milhares de trajetórias. Chen Yufei afirmou que mil ambientes de treinamento são suficientes para iniciar o aprendizado por reforço, visto que o modelo explora e gera repetidamente um grande número de trajetórias durante o treinamento. Supondo que cada etapa de treinamento seja executada 128 vezes em um ambiente, mil pontos de dados iniciais poderiam gerar aproximadamente 128.000 trajetórias de treinamento.

Os modelos personalizados ainda precisam ser "reconfigurados" após a implantação. Quando um novo modelo base de código aberto é lançado, a plataforma pode migrar o sistema original de treinamento e avaliação para o novo modelo. Contanto que os critérios de avaliação e o ambiente de tarefas sejam fixos, a migração em si não é necessariamente demorada; o que realmente gera carga de trabalho contínua é quando os clientes adicionam novos cenários, fluxos de trabalho e tarefas mais complexas.

Portanto, os principais ativos de uma empresa vertical não são os pesos de uma determinada geração de modelos, mas sim os dados, as avaliações e os fluxos de trabalho que podem ser migrados repetidamente à medida que o modelo básico é atualizado.

A IA empresarial está presa na fase de Prova de Conceito (PoC) não por falta de modelos, mas sim por falta de avaliação.

Quando as empresas escolhem entre modelos de código aberto e de código fechado, sua principal consideração não é apenas o desempenho e o preço, mas também a confiança.

Como os contratos corporativos normalmente duram de um a dois anos, os compradores precisam avaliar se o provedor de serviços e seu ecossistema podem atender às necessidades de negócios a longo prazo. Os modelos de código aberto podem ser mais baratos e flexíveis, mas os fornecedores de código fechado ainda têm vantagem em comunicação de marca, casos de sucesso e reconhecimento de mercado.

Chen Yufei acredita que a maior fragilidade dos modelos de código aberto e de seus provedores de serviços não reside na tecnologia, mas sim na capacidade de entrada no mercado. Empresas com modelos de código fechado podem aumentar continuamente o conhecimento do usuário por meio de demonstrações de novas funcionalidades e resultados de pesquisas, enquanto o ecossistema de código aberto carece de um sistema unificado de marketing e comunicação com o cliente.

Os métodos de implantação também estão mudando. Inicialmente, as empresas se concentravam mais em implantações locais, mas agora cada vez mais cargas de trabalho estão migrando para a nuvem. Contanto que os provedores de serviços consigam estabelecer confiança em áreas como segurança e nuvens privadas virtuais, os serviços de nuvem multilocatários geralmente são mais econômicos do que GPUs dedicadas para empresas.

Uma única empresa pode não ser capaz de manter altas taxas de utilização para um lote de GPUs, mas uma plataforma pode agregar as necessidades de diferentes clientes e melhorar a eficiência da utilização do hardware. À medida que os custos de inferência aumentam como percentagem das despesas operacionais da empresa, as vantagens de custo da infraestrutura compartilhada tornam-se mais evidentes.

Um dos maiores obstáculos para as empresas que passam da fase de prova de conceito para a produção é a falta de avaliação rigorosa. Mesmo quando as empresas já aplicaram IA em áreas importantes, como call centers, elas ainda avaliam a eficácia de seus modelos por tentativa e erro, em vez de estabelecer padrões de teste que possam ser executados repetidamente.

Sem avaliação, as empresas não conseguem comparar de forma confiável modelos de código aberto e fechado, nem determinar se as atualizações de modelos realmente melhoram seus negócios. Chen Yufei acredita, portanto, que profissionais capacitados para projetar sistemas de avaliação de IA ainda são escassos. Um sistema de avaliação confiável poderia ajudar as empresas a concluir a substituição de modelos e economizar em despesas de longo prazo, que superam em muito os custos iniciais de desenvolvimento.

Isso não é fundamentalmente diferente dos testes unitários em empresas de software tradicionais. No passado, as empresas de SaaS precisavam executar um conjunto de testes antes da entrega do software; agora, as empresas de IA vertical precisam estabelecer um conjunto de avaliações para confirmar se o agente atende aos padrões correspondentes antes de ser colocado em produção. O foco do trabalho da indústria está mudando de "escrever testes" para "escrever avaliações", mas a essência continua sendo transformar a qualidade do produto em capacidades organizacionais mensuráveis e cumulativas.

O desenvolvimento de empresas de dados de terceiros também pode servir como um indicador para observar a implementação da IA nas empresas. Se seus clientes continuarem concentrados em alguns poucos laboratórios de ponta, isso indica que o espaço para empresas comuns desenvolverem capacidades independentes de IA ainda é limitado; se as fontes de receita se diversificarem gradualmente, pode significar que mais empresas estão começando a comprar dados, construir sistemas de avaliação e treinar seus próprios modelos.

O que as empresas realmente precisam não são mais modelos, mas sim um conjunto de padrões que possam definir o que é certo, identificar o que é errado e apoiar as decisões de compra.

A otimização da inferência passa de reduzir os custos dos tokens para o agendamento do sistema.

O principal negócio da Fireworks é a otimização de inferência. Chen Yufei acredita que ainda há muito espaço para melhorias nessa área, já que o desempenho de um modelo em seu lançamento inicial costuma ser significativamente diferente de seu desempenho após um longo período de otimização.

A plataforma visa encurtar esse ciclo de otimização, garantindo que os novos modelos estejam o mais próximo possível do seu estado ideal no momento da implantação. Além do próprio tempo de execução do modelo, o armazenamento em cache, o agendamento e a infraestrutura de suporte impactam o custo final. Muitas otimizações envolvem uma grande quantidade de trabalho de engenharia fragmentado, tornando a otimização de inferência uma tarefa trabalhosa.

Em comparação com as APIs próprias fornecidas pelos desenvolvedores de modelos, o Fireworks serve um grande número de modelos base e personalizados simultaneamente, permitindo a observação de padrões de tráfego e cargas de trabalho mais diversos. Os fornecedores de modelos devem primeiro garantir que seus modelos sejam servidos de forma estável a uma ampla gama de usuários, enquanto as plataformas de terceiros podem realizar otimizações mais detalhadas para as características específicas das solicitações de clientes em particular.

O roteamento de modelos não se resume apenas à redução de custos. Em um experimento conjunto entre a Fireworks e a Harvey, o sistema utilizou um modelo como executor de tarefas e outro como consultor, dividindo tarefas de contexto longo em várias subtarefas menores. Como o desempenho do modelo maior pode diminuir à medida que o contexto se torna mais extenso, com uma divisão de trabalho adequada, o desempenho geral do sistema pode, na verdade, superar o desempenho obtido com o uso exclusivo do modelo mais robusto.

Chen Yufei comparou esse processo à otimização do desempenho da CPU. Os desenvolvedores precisam entender as características do processador e, em seguida, dividir o programa em cargas de trabalho adequadas para esse processador. Da mesma forma, em sistemas de IA, o modelo base pode ser visto como um processador de texto: a equipe precisa primeiro entender os limites de capacidade dos diferentes modelos, depois projetar a estrutura da tarefa e, finalmente, colocar o modelo apropriado na posição apropriada.

A otimização de hardware não pode ser abordada analisando métricas individuais como GPU, HBM, CPU e rede. Os modelos são normalmente projetados considerando a relação entre computação e memória do hardware existente durante o treinamento inicial. Portanto, migrar um modelo de uma GPU NVIDIA para uma GPU AMD com capacidade semelhante é relativamente fácil, enquanto migrar para um ASIC com uma arquitetura diferente pode exigir um trabalho significativo.

O sucesso de um novo hardware depende não apenas da similaridade de suas especificações com as da Nvidia, mas também da escala de fornecimento, do ecossistema de software e da capacidade dos incentivos econômicos de motivar os desenvolvedores a otimizar seus modelos para ele. Mesmo que a configuração do hardware seja similar à da Nvidia, será difícil construir um ecossistema se os desenvolvedores não conseguirem obter retornos suficientes com seu uso.

Em última análise, a otimização da plataforma de inferência não se resume apenas à velocidade de execução do modelo, mas também ao método de adequação entre o modelo, a tarefa e o hardware.

A Fireworks não possui o hardware, mas conecta o treinamento e a inferência.

Em resposta à expansão dos fornecedores de nuvem de IA para a camada de software, a Fireworks não tem planos, no momento, de construir seu próprio hardware ou investir pesadamente em GPUs. Chen Yufei descreve o modelo da empresa como mais próximo ao de um "locador": adquirindo poder computacional de provedores de infraestrutura e focando em software de computação, serviços de inferência e personalização de modelos.

A diferença entre o Fireworks e as plataformas de IA em nuvem típicas reside no fato de que a maior parte do tráfego na plataforma não provém de modelos base não modificados, mas sim de modelos personalizados. Chen Yufei acredita que a competição na inferência de modelos base se tornará cada vez mais acirrada, e os lucros provavelmente virão de modelos proprietários que possam oferecer melhores resultados aos clientes.

A Fireworks integra treinamento e inferência em um único negócio. A empresa ajuda os clientes a treinar modelos e busca um crescimento sustentável no tráfego de inferência após a entrada em operação dos modelos. Comparada a provedores de serviços que cobram apenas taxas de treinamento ou consultoria, essa estrutura de receita alinha os benefícios de longo prazo para a plataforma e seus clientes de forma mais eficaz: à medida que os clientes geram mais valor por meio de seus modelos, a Fireworks pode obter mais receita com a inferência contínua.

Alguns provedores de serviços de aprendizado por reforço oferecem apenas treinamento ou consultoria, e sua receita pode não estar diretamente relacionada à eficácia do modelo após a implantação. A lógica de negócios da Fireworks é aprimorar o desempenho do modelo por meio do treinamento e, em seguida, colher os frutos do tráfego de inferência subsequente. Ela não vende projetos de treinamento pontuais, mas sim a capacidade de permitir que os modelos dos clientes gerem uso contínuo.

Os verdadeiros concorrentes capazes de abranger toda a cadeia não são empresas de nuvem isoladas, mas sim grandes provedores de serviços em nuvem como AWS, Microsoft Azure e Google Cloud. Eles possuem tanto poder computacional quanto a capacidade de construir serviços de aprendizado por reforço, plataformas de inferência e ferramentas de desenvolvimento.

A Fireworks compete com provedores de nuvem, ao mesmo tempo que depende e colabora com a infraestrutura deles. Atualmente, a empresa possui a parceria mais estreita com o Azure, permitindo que os clientes adquiram serviços da Fireworks usando créditos do Azure. Ela também colabora com a AWS e o Google Cloud.

Chen Yufei acredita que as capacidades atuais de otimização de inferência do Fireworks ainda são superiores às de serviços similares de fornecedores de nuvem, mas o desempenho em um único ponto não é o principal obstáculo. Mais importante, a plataforma completa todo o ciclo de operação de aprendizado de máquina, desde o treinamento, implantação e avaliação até a inferência, proporcionando aos desenvolvedores uma experiência integrada. Comparado a novas empresas de nuvem, o Fireworks abrange uma cadeia mais longa; comparado aos gigantes da nuvem, precisa manter suas vantagens em especialização e velocidade de execução.

Mesmo que a IA consiga automatizar o desenvolvimento de kernels, a inferência e a otimização pós-treinamento no futuro, compreender as necessidades dos clientes provavelmente continuará sendo uma tarefa difícil de substituir completamente. Um sistema pode ser capaz de resolver problemas matemáticos complexos, mas pode não conseguir compreender os processos, as restrições e os critérios de avaliação de uma empresa do nada. O valor a longo prazo da Fireworks depende, em última análise, de sua capacidade de traduzir as necessidades dos clientes em modelos, avaliações e produtos viáveis.

A vantagem dos modelos de compressão de código aberto ainda depende da capacidade computacional como fator limitante fundamental.

Nos próximos um a dois anos, o maior desafio da Fireworks continuará sendo o poder computacional. A capacidade da empresa de adquirir recursos computacionais suficientes a um preço razoável limitará diretamente o crescimento da receita. Chen Yufei resume a situação atual da Fireworks como "limitada pelo poder computacional" e prevê que o mercado como um todo provavelmente manterá esse estado por pelo menos o próximo ano.

Isso também influenciou sua visão sobre os investimentos em IA das gigantes da tecnologia. O mercado geralmente avalia se empresas como Google e Meta estão investindo demais com base no retorno sobre o investimento; mas, para essas empresas, outro risco pode ser ainda maior: se a IA, em última análise, trouxer retornos extremamente altos, e elas perderem esta rodada de competição por terem reduzido seus investimentos, podem perder permanentemente seu lugar no mercado.

Portanto, mesmo com investimentos excessivos no curto prazo, o custo pode se resumir à pressão sobre as demonstrações financeiras e à necessidade de absorver a depreciação nos próximos anos. Para gigantes da tecnologia com fluxo de caixa e capacidade de financiamento a longo prazo, isso geralmente não representa um risco de sobrevivência; no entanto, perder ciclos tecnológicos importantes pode ser.

A situação é diferente para novas empresas de computação em nuvem. Elas precisam calcular o retorno do projeto, os custos de financiamento e os prazos de retorno com mais rigor. Chen Yufei sugere prestar atenção às classificações de crédito, às extensões de projetos e à capacidade de refinanciamento das empresas relevantes. Se algum participante não conseguir continuar a contrair empréstimos devido a problemas de crédito e precisar reestruturar suas dívidas nos próximos 3 a 6 meses, a disponibilidade de fundos no mercado para assumir esses empréstimos será um indicador crucial da capacidade de financiamento da infraestrutura de IA.

Chen Yufei se mostra cético em relação à narrativa de mercado de que "modelos de código aberto alcançando modelos de código fechado reduzirão a demanda por hardware". Em sua visão, a melhoria nas capacidades dos modelos de código aberto enfraquece principalmente o poder de precificação premium da camada de modelo. Se o investimento total em IA permanecer inalterado, o valor poderá, na verdade, migrar para empresas que fornecem poder computacional e infraestrutura.

No entanto, resta saber se os investimentos em IA gerarão retornos suficientes. Projetos de poder computacional geralmente levam vários anos para recuperar o investimento, e a dinâmica de oferta e demanda daqui a um ano é difícil de prever. Um sinal relativamente claro no momento é que tanto a Fireworks quanto muitos de seus clientes ainda buscam mais poder computacional.

A competição entre modelos de código aberto e proprietários não será determinada apenas pela classificação dos modelos. À medida que a diferença de capacidade continua a diminuir, o valor para a indústria dependerá cada vez mais de quem consegue definir tarefas, verificar a eficácia e implementar modelos em produção a um custo sustentável.