Meta'dan doğan Fireworks, açık kaynak kodlu yazılımlar ile kapalı kaynak kodlu yazılımlar arasındaki rekabeti tartışıyor: Kim kazanacak?

Video oluşturucu: Silicon Valley Vector
Düzenleyen: Peggy, BlockBeats

Editörün Notu: Açık kaynaklı modeller hızla kapalı kaynaklı modellerin en ileri noktasına yaklaşırken ve çıkarım fiyatları düşmeye devam ederken, sektör tartışmaları "en güçlü modele kim sahip"ten "modeli daha düşük maliyetle üretime kim uygulayabilir"e doğru kayıyor. Ancak, model yetenekleri yakınlaşırken ve token tüketimindeki artış bir fikir birliği haline gelirken, daha temel bir soru ortaya çıkmaya başlıyor: İşletmeler gerçekten ne için ödeme yapmaya istekli? Daha ucuz model çağrıları için mi, yoksa belirli görevleri güvenilir bir şekilde tamamlayabilen özel zeka için mi?

"Silicon Valley Coordinates" programının sunucusu Cao Qingyun, yakın zamanda Fireworks AI'nin kurucu ortağı Chen Yufei ile bir söyleşi gerçekleştirdi. Modeller ve kurumsal uygulamalar arasında konumlanan Fireworks, öncelikle müşterilerine açık kaynaklı model çıkarımı, performans optimizasyonu ve özelleştirme hizmetleri sunuyor. Chen Yufei'nin gözlemleri, açık kaynak yazılımın kapalı kaynak yazılıma yetişip yetişemeyeceği tartışmasından ziyade, gerçek dünya iş yüklerine daha yakın: Token'lar nereye gidiyor, işletmeler neden ödeme yapıyor ve modellerin kavram kanıtından üretime geçmesi için hala ne eksik?

Bu diyalogda Chen Yufei, "açık kaynak mı, kapalı kaynak mı" sorusunu daha temel yapısal sorulara ayırdı: Token büyümesi gelire dönüştürülebilir mi? Genel yetenekler dikey birikimin yerini alabilir mi? Düşük fiyat modelleri kurumsal değerlendirmeden geçebilir mi? Ve çıkarım platformları bulut sağlayıcıları ve uygulama şirketleri arasında nasıl değer kazanabilir?

Öncelikle, açık kaynak modellerinin kullanım ölçeği ve ticari değeri birbirinden ayrışıyor. Geçmişte, yetenek yakalama ve çağrı fiyatları açık kaynak rekabet gücünün ana göstergeleriydi; bugün, Fireworks platformu günlük yaklaşık 400-500 gigabit token işliyor ve açık kaynak modellerinin gerçek kullanımı hızla genişliyor. Bununla birlikte, ücretsiz trafik, tanıtım sübvansiyonları ve model fiyat farklılıkları, token istatistiklerinin bazı talepleri abartmasına neden olabilir. Müşteriler düşük maliyetli modelleri yoğun olarak kullanabilir, ancak yine de en yüksek bütçelerini en etkili kapalı kaynak modellerine ayırabilirler. Bu, açık kaynak için bir sonraki aşamanın artık sadece trafiği genişletmekle ilgili olmadığı, aynı zamanda yüksek değerli görevlerde en son teknoloji modellerine ulaşma veya hatta onları aşma yeteneğini kanıtlamak ve maliyet avantajlarını ödeme isteğine dönüştürmekle ilgili olduğu anlamına gelir.

İkinci olarak, genel amaçlı modeller ve dikey modeller farklı yönlerde gelişmeye başlıyor. Geçmişte, en gelişmiş modellerin her yükseltmesi, ince ayarlı modellerin birçoğunu doğrudan geçersiz kılabiliyordu; şimdi ise hukuk, sağlık ve programlama gibi dikey uygulamalar daha ayrıntılı değerlendirmeler, veriler ve iş akışları biriktiriyor ve optimizasyon hedefleri giderek en gelişmiş laboratuvarların hedeflerinden farklılaşıyor. Genel amaçlı modellerin yetenek sınırlarını yükseltmesi gerekirken, dikey modellerin sınırlı senaryolar içinde istikrarlı sonuçlar vermesi gerekiyor. İlki daha geniş bir problem yelpazesini çözebilirken, ikincisi kullanıcıların "doğruluk" tanımını daha iyi anlıyor. Bu, dikey şirketler için giriş engelinin sadece özelleştirilmiş bir modele sahip olmak değil, aynı zamanda sektör ihtiyaçlarını sürekli olarak değerlendirme sistemlerine dönüştürme ve temel model güncellendikçe bunları tekrar tekrar taşıma yeteneği olduğu anlamına geliyor.

Üçüncüsü, kurumsal yapay zeka dağıtımındaki darboğaz, model tedarikinden değerlendirme yeteneklerine kaymaktadır. Geçmişte, kurumsal kavram kanıtı genellikle deneme deneyimlerine ve öznel yargılara dayanıyordu; şimdi, yapay zeka çağrı merkezleri, hukuki araştırma ve tıbbi yardım gibi üretim süreçlerine girdikçe, yalnızca "iyi görünüyor" demek, satın alma kararlarını desteklemek için artık yeterli değildir. İşletmeler, bir modelin hangi görevlerde etkili olduğunu, ne zaman başarısız olduğunu ve kapalı kaynaktan açık kaynağa geçişte maliyet ve kalitenin ne kadar değişeceğini bilmelidir. Bu nedenle değerlendirme artık yardımcı bir araç değil, satın alma, eğitim ve üretim dağıtımını birbirine bağlayan altyapıdır. Görevleri tanımlayabilen, test dağıtımlarını oluşturabilen ve standartları sürekli olarak güncelleyebilen kişi, model seçimini gerçekten kontrol eder.

Dördüncüsü, çıkarım platformlarının değeri "ucuz işlem gücü satmaktan" modelleri, donanımı ve iş akışlarını organize etmeye doğru kayıyor. Geçmişte, çıkarım optimizasyonu öncelikle tek bir token'ın maliyetini düşürmek olarak anlaşılıyordu; şimdi ise önbellekleme, görev bölme, model yönlendirme ve bağlam yönetimi, görev tamamlama oranlarını doğrudan değiştirebiliyor. Farklı modeller artık aynı pozisyon için rekabet etmek zorunda kalmıyor, sırasıyla yürütücü ve danışman olarak hareket edebiliyorlar. Fireworks'ün iş mantığı bu nedenle geçerliliğini koruyor: Kendi varlık ağırlıklı donanımını oluşturmak yerine, gelirini eğitim, özelleştirme ve sürekli çıkarım yoluyla müşteri modellerinin gerçek kullanımına bağlıyor. Bununla birlikte, bu yoldaki ana rakipler tek tek yeni bulut şirketleri değil, aynı anda işlem gücünü, yazılımı ve müşteri erişim noktalarını kontrol edebilen büyük bulut sağlayıcılarıdır.

Beşinci olarak, açık kaynaklı modellerin yükselişi altyapı talebini mutlaka zayıflatmaz; aksine, model katmanının primini düşürebilir ve değeri daha çok çıkarım ve hesaplama gücüne doğru itebilir. Teknoloji devlerinin sermaye harcamalarındaki sürekli artış, sadece kısa vadeli getirileri hesaplamakla ilgili değil, aynı zamanda yapay zeka döngüsünü kaçırmanın uzun vadeli risklerini de tartmakla ilgilidir. Bununla birlikte, dış finansmana dayanan yeni bulut şirketleri için borç maliyetleri, proje gecikmeleri ve geri ödeme süreleri daha doğrudan kısıtlamalar oluşturacaktır. Modellerin ucuzlaması, yapay zeka sistemlerinin inşasının ve çalıştırılmasının da buna paralel olarak daha kolay hale geleceği anlamına gelmez.

Bu konuşmayı tek bir yargıyla özetleyecek olursak, şöyle diyebiliriz: Açık kaynaklı modellerle arayı kapatmak sadece başlangıç; yapay zekanın ticarileştirilmesinin bir sonraki aşaması değerlendirme, özelleştirme, çıkarım verimliliği ve müşteri iş akışları etrafında şekillenecektir.

Aşağıda orijinal metin (daha kolay okunup anlaşılabilmesi için düzenlenmiştir) yer almaktadır:

Özetle

Açık kaynak modelleri, kapalı kaynak modellerine hızla yetişiyor, ancak token büyümesi gelir büyümesine eşit değil ve şirket bütçeleri hala en iyi performans gösteren modellere öncelik veriyor.

Damıtma işlemi, açık kaynaklı modellerin kısa vadede aradaki farkı kapatmasına yardımcı olabilir; uzun vadeli rekabet gücü hala bağımsız eğitime, değerlendirme verilerine, yeteneğe ve işlem gücüne bağlıdır.

• Genel modellerin güncellenmesi artık dikey modellerin ortadan kaldırılması anlamına gelmiyor. Hukuk ve sağlık hizmetleri gibi senaryolardaki engeller, model yeteneklerinden değerlendirme, veri ve iş akışına doğru kayıyor.

Kurumsal yapay zekayı Kavram Kanıtı (PoC) aşamasından üretime taşımanın anahtarı, model seçeneklerinin sayısını artırmakta değil, kaliteyi, maliyeti ve hata sınırlarını ölçebilen bir değerlendirme sistemi kurmakta yatmaktadır.

Çıkarım optimizasyonu, tek bir belirtecin maliyetini düşürmekten önbelleğe alma, görev bölme ve model yönlendirmeye kadar genişlemiştir. Sistem tasarımı, birden fazla model kombinasyonunun tek bir en gelişmiş modelden daha iyi performans göstermesine olanak tanır.

Özelleştirilmiş modeller, genellikle yeterince geniş veri dağıtımına ve sürekli değerlendirme yeteneklerine sahip olmayan tekil işletmeler için, çok sayıda benzer müşteriyi kapsayan dikey SaaS platformları için daha uygundur.

Fireworks'ün rekabet avantajı GPU'lara sahip olmasında değil, eğitim, özelleştirme ve sürekli çıkarımı birbirine bağlamasında yatıyor. Ancak gerçek uzun vadeli rakipleri, tüm teknoloji yığınını kapsayabilen bulut devleridir.

Açık kaynak kodlu modellerin yaygın olarak benimsenmesi, donanım talebini mutlaka azaltmayabilir; bunun yerine model katmanı primlerini düşürmesi ve endüstri değerini bilgi işlem gücüne, çıkarım altyapısına ve kurumsal iş akışlarına yeniden dağıtması daha olasıdır.

Röportajın kilit noktaları

Açık kaynak kodlu yazılımlar gelişmeye devam edecek, ancak damıtma uzun vadeli bir çözüm değil.

Fireworks ekibi büyük ölçüde Meta'nın PyTorch ekosisteminden geliyor. İşletim sistemleri, veritabanları ve diğer yazılımların geliştirilmesindeki geçmiş deneyimlerine dayanarak, ekip uzun zamandır değerli yazılımların sonunda rekabetçi açık kaynak çözümlerine sahip olacağına inanıyor. Daha büyük model de benzer bir yolda gelişebilir, ancak bu yakalama süreci Chen Yufei'nin başlangıçta tahmin ettiğinden daha hızlı gerçekleşiyor.

Bir yandan, OpenAI ve Anthropic gibi kapalı kaynak kodlu model şirketlerinin yıllık yinelenen gelirleri hızla artmaya devam ederken; diğer yandan, Çin ve ABD'deki açık kaynak kodlu modeller de yetenek açığını hızla kapatıyor ve çıkarım fiyatlarını çok düşük seviyelere çekiyor. Açık kaynak ve kapalı kaynak, bir tarafın büyümesinin kaçınılmaz olarak diğer tarafın düşüşüne yol açtığı sıfır toplamlı bir ilişki değildir.

Kapalı kaynak kodlu modellerin çıktısını kullanarak bazı açık kaynak kodlu modellerin damıtılması konusunda Chen Yufei, bu yaklaşımın modellerin kısa vadede yüksek bir seviyeye ulaşmasına yardımcı olabileceğini ancak uzun vadede güvenilir bir yol olma olasılığının düşük olduğunu düşünüyor. Kapalı kaynak kodlu yazılım sağlayıcıları, çıkarım süreçlerinin ve ilgili verilerin elde edilme olasılığını azaltmak için API'leri ve güvenlik mekanizmalarını kademeli olarak yamalayabilirler.

Ancak, açık kaynaklı modellerin ilerlemesi tamamen damıtma işlemine bağlı değildir. Değerlendirme sistemi gelişmeye devam ettiği, veri maliyetleri düşmeye devam ettiği ve yeterli yetenek, GPU ve mühendislik kapasitesi olduğu sürece, açık kaynaklı ekipler rekabetçi modelleri bağımsız olarak eğitebilirler. Meta gibi şirketlerin, sahip oldukları bilgi işlem gücü ve yetenek rezervleriyle, uzun vadede kapalı kaynaklı en son teknoloji modelleriyle aralarında büyük bir fark bırakmalarının hiçbir nedeni yoktur.

Bu, kapalı kaynak kodlu modellerin pazar payı kaybedeceği anlamına gelmez. Chen Yufei, ikisini Apple ve Android'e benzetiyor: açık ekosistemler daha geniş bir kullanım ölçeğine olanak sağlarken, sürekli lider konumdaki kapalı kaynak kodlu ürünler, istikrarlı deneyim, marka bilinirliği ve kurumsal güvene dayanarak düşük fiyat hassasiyetine sahip yüksek değerli müşterileri elde tutabilir.

Kurumsal satın almalar genellikle muhafazakâr bir yaklaşım sergiler. "IBM satın aldığı için kimse işten atılmaz" sözü bu karar alma zihniyetini çok iyi açıklıyor. Müşteriler, önde gelen kapalı kaynak kodlu modelleri satın almanın en güvenli seçenek olduğuna inanmaya devam ettikleri sürece, OpenAI ve Anthropic gibi şirketler belirli bir avantajı koruyabilirler. Kısa vadeli teknolojik açıklarla karşılaştırıldığında, kullanıcı algılarını ve pazara giriş yeteneklerini değiştirmek daha zor olabilir.

Chen Yufei, kapalı kaynak kodlu şirketlerin yıllık yinelenen gelirlerinin (ARR) artmaya devam edeceğini öngörüyor, ancak bu rakam nihai ekonomik faydalarını tam olarak yansıtmayabilir. Örneğin, bazı gelirlerin bulut sağlayıcılarıyla paylaşılması gerekebilir ve ARR'deki artış, muhasebe gelirinde ve kârda orantılı bir artışa mutlaka dönüşmeyebilir. Kapalı kaynak kodlu modellerin pazarlık gücünün azalıp azalmadığı, ancak ilgili şirketler daha eksiksiz finansal bilgileri açıkladıktan sonra belirlenebilir.

Uzun vadede, açık kaynak kodlu yazılımlar daha geniş bir kullanım alanına ulaşabilirken, kapalı kaynak kodlu yazılımlar daha yüksek karlar için talebi kontrol etmeye devam edecektir. İkisinin ticari sınırlarını belirleyen şey sadece model yetenekleri değil, aynı zamanda marka, kanallar, müşteri güveni ve gelir dağıtım yöntemleridir.

Tokenlar açık kaynak kodlu hale geliyor, ancak gelir hala performansa bağlı.

Chen Yufei'ye göre, Fireworks platformu şu anda günlük yaklaşık 40 ila 50 trilyon token işliyor. Bahsettiği kamuya açık bilgilere göre, bu rakam Gemini ve OpenAI tarafından açıklanan kurumsal API trafiğini aşıyor.

Platformun temel talepleri programlama, sağlık hizmetleri, iş birliğine dayalı çalışmalar ve derinlemesine araştırmalardan kaynaklanmaktadır. Bunlar arasında, başlangıçta programlama olarak değerlendirilmeyen giderek artan sayıda görev, "programlama problemleri" olarak yeniden tanımlanmaktadır.

PowerPoint ve Excel gibi ofis yazılımları tipik örneklerdir. Bir model bu yazılım programlarını kod veya yapılandırılmış araçlar aracılığıyla çalıştırabildiğinde, mevcut kod üretimi, araç çağırma ve pekiştirmeli öğrenme yöntemleri ofis senaryolarına aktarılabilir. Birçok dikey SaaS şirketi de endüstri araçlarını modellerin çağırabileceği ortamlara entegre ediyor ve ardından modelleri belirli iş akışlarıyla tanıştırmak için pekiştirmeli öğrenmeyi kullanıyor.

Chen Yufei, mevcut ihtiyaçları kabaca iki türe ayırıyor: programlama ve derinlemesine araştırma. Farklı sektörel uygulamalar, hukuk, sağlık ve ofis işleri gibi senaryolar için özel ajanlar oluşturmak üzere bu ikisini birleştirecektir.

Özellikle teknik olmayan kullanıcıları hedefleyen iş birliğine dayalı ofis ürünleri konusunda oldukça iyimser. Daha önce sektörün kaynaklarının çoğu matematik ve programlama gibi "STEM" ihtiyaçlarına yatırılmıştı, ancak slayt oluşturma, belge işleme ve video oluşturma gibi geniş bir yelpazedeki bilgi çalışanlarının ihtiyaçlarının daha da hızlı artması muhtemel.

Bilgisayarla çalışan ajanların geliştirilmesi, daha önce beklenenden daha yavaş ilerliyor. Bir yıldan biraz daha uzun bir süre önce, bu ürünlerin karmaşık API'leri atlayarak kullanıcıların insan gibi doğrudan bilgisayarlarla etkileşim kurmasına olanak sağlayacağı düşünülüyordu. Ancak pratikte, şirketler maliyetleri düşürme çabasıyla daha fazla iş akışını düz metne kaydırdı. Metin modelleri daha ucuz ve mevcut süreçlere entegre edilmesi daha kolay. Sanal makine maliyetleri düştükçe ve işletim ortamları iyileştikçe bilgisayarla çalışan ajanlar daha fazla ilgi görebilirken, belirli optimizasyon yolları hala araştırılıyor.

Ancak, token büyümesi doğrudan ticari değeri temsil etmez. Halka açık model yönlendirme sıralamaları genellikle ücretsiz kotalar ve promosyon faaliyetlerinden etkilenir ve aynı sayıda token tamamen farklı fiyatlara karşılık gelebilir. Düşük fiyatlı modeller tarafından oluşturulan trafik ile pahalı, son teknoloji modeller tarafından oluşturulan trafik, gelir açısından farklı anlamlar taşır.

Chen Yufei, gelirin, müşterinin gerçek tercihini gösteren daha iyi bir gösterge olduğuna inanıyor; token sayısı değil. İşletmeler fiyat konusunda hassas olmadığında, bütçeleri yine de en iyi performans gösteren modellere yönelecektir. Bu nedenle, Fireworks müşterilerinin modelleri özelleştirmesine yardımcı olurken, asıl amacı genellikle "iyi maliyet etkinliği" elde etmek değil, belirli görevlerde önde gelen kapalı kaynaklı modelleri karşılamak veya hatta aşmaktır.

Programlama pazarında da kullanım ve gelir arasında bir ayrışma gözlemlenmektedir. Token tüketiminin artmaya devam etmesi muhtemeldir, ancak yaygın olarak kullanılan modellerin fiyatları düşmeye devam ederse, düşük fiyatlar daha fazla çağrıya yol açacak, ancak piyasa gelirini eş zamanlı olarak artırmayacaktır. Tıpkı yaygın elektrik erişiminin tüm kârların elektrik üretim şirketlerine gitmesi anlamına gelmemesi gibi, yapay zeka kullanımındaki büyüme de sektörün nihai değerinin nerede yattığı sorusuna doğrudan cevap veremez.

Yakın gelecekte, açık kaynak modellerinin kullanımı artmaya devam edebilir, ancak ilgili harcamaların eş zamanlı olarak artıp artamayacağı, işletmelerin özelleştirmeye kaynak yatırmaya istekli olup olmamasına bağlıdır. Giderek daha fazla şirket, belirli görevlerde kapalı kaynak modellerine meydan okuyacak şekilde özelleştirilmiş açık kaynak modellerini etkinleştirebilirse, trafik ve gelir daha da açık kaynak modellerine kayacaktır; özelleştirme maliyetleri, başarısızlık oranları ve organizasyonel yetenekler engel teşkil etmeye devam ederse, kapalı kaynak modelleri yine de yüksek değerli ihtiyaçların çoğunu karşılayacaktır.

Genel amaçlı modeller yeteneklerin üst sınırını yükseltirken, dikey modeller görev engellerini biriktirir.

Yeni ve son teknoloji bir model piyasaya sürüldüğünde, piyasa yeni bir soru ortaya atıyor: Şirketlerin ince ayar yapmak için veri ve fon yatırdığı model hızla değerini kaybedecek mi?

Chen Yufei, 2025 yılında birçok özelleştirilmiş modelin yeni nesil temel modellerle değiştirildiğini, ancak bu durumun 2026'da önemli ölçüde azaldığını belirtti. Ona göre bu, dikey modellerin ticari değerinin kademeli olarak istikrara kavuştuğunun olumlu bir işaretidir.

Bunun nedeni, genel amaçlı modellerin ve dikey uygulamaların farklı yönlerde optimize ediliyor olmasıdır. İleri teknoloji laboratuvarları, modellerin daha zor matematiksel, bilimsel ve ilaç geliştirme problemlerini çözebileceğini kanıtlamak zorundadır; hukuk ve sağlık gibi alanlardaki dikey şirketler ise belirli kullanıcı ihtiyaçlarına, görev tamamlama oranlarına, atıf doğruluğuna ve iş akışlarının güvenilirliğine odaklanmaktadır.

"Belirli bir dikey pazar için iyi bir aracı geliştirmek ve Riemann Hipotezini çözmek tamamen farklı iki görevdir."

Örneğin, yasal yapay zeka şirketi Harvey'i ele alalım. Avantajı sadece kullandığı temel modelden değil, aynı zamanda yasal görevlerin, değerlendirme sisteminin, veri işlemenin ve ürün süreçlerinin ayrıntılı bir şekilde ele alınmasından da kaynaklanmaktadır. Aynı durum tıp alanı için de geçerlidir; farklı ürünlerin, doktorların çalışma yöntemlerine, veri kaynaklarına ve doğruluk gereksinimlerine göre özel standartlar oluşturması gerekir.

Bu değerlendirmeler ve veriler, yeni modellerin yayınlanmasıyla otomatik olarak geçersiz hale gelmez. Temel model yükseltildikten sonra, dikey şirketler tüm sektörü yeniden anlamak zorunda kalmadan mevcut eğitim ortamlarını yeni modele taşıyabilirler. Değerlendirmeler daha ayrıntılı hale geldikçe ve veri temizleme süreçleri daha olgunlaştıkça, dikey modeller belirli görevler etrafında sürekli olarak biriken bir yetenek oluşturur.

Teoride, en ileri modelleme şirketleri kaynaklarını hukuk veya tıp pazarlarına girmeye yoğunlaştırabilir ve tek bir alanda mevcut ürünlerden daha iyi performans gösterebilirler. Ancak bu yaklaşım, iş hedefleriyle örtüşmeyebilir. Genel amaçlı modelleme şirketlerinin geniş bir müşteri tabanına hizmet etmesi gerekir ve tek bir dikey alana yoğun yatırım yapmak, arzu ettikleri pazar büyüklüğünü ve değerlemesini desteklemek için yeterli olmayabilir.

Chen Yufei, genel modeli çok çeşitli zevklere hitap etmesi gereken zincir restoranlara benzetirken, dikey modeli ise birkaç yemeğe odaklanan bir restorana benzetti. İkincisinin tüm sorunları çözmesi gerekmiyor; hedef görevde genel çözüme göre önemli ölçüde daha iyi olduğu sürece, bağımsız bir ücretli alan kurma potansiyeline sahip.

Bu dengesiz ancak son derece uzmanlaşmış yeteneğe "Kenarlı Zeka" adını veriyor. Bir hukuk modeli Riemann Hipotezini çözemeyebilir, ancak belirli türdeki hukuk görevlerinde daha büyük, genel amaçlı modellerden daha iyi performans gösterebilir. Kurumsal müşteriler için, görevi güvenilir bir şekilde tamamlayabilme yeteneği, modelin daha geniş yeteneklerinden genellikle daha önemlidir.

Özelleştirilmiş modeller tüm işletmeler için uygun değildir. Chen Yufei, en uygun müşterilerin tek bir hastane, hukuk bürosu veya son kullanıcı şirketi yerine, çok sayıda benzer kuruma hizmet veren dikey SaaS şirketleri olduğuna inanmaktadır.

Dikey SaaS platformları, çok sayıda müşteriye ulaşabilir, farklı kuruluşların ortak ihtiyaçlarını anlayabilir ve daha fazla durumu kapsayan değerlendirme sistemleri kurabilir. Bireysel işletmeler genellikle yeterince geniş veri dağıtımına ve sürekli değerlendirme yeteneklerine sahip değildir. Modelleri bağımsız olarak eğitmek yerine, iç süreçleri becerilere, araçlara veya aracılara dönüştürmek ve ardından görevleri tamamlamak için harici temel modelleri çağırmak daha iyidir.

Özel takviyeli öğrenme projelerinde, GPU'lar birincil maliyet faktörüdür, ancak veri ve eğitim ortamı da aynı derecede kritiktir. Ekipler, değerlendirme güvenlik açıklarından yararlanarak görevi tamamlamadan yüksek puanlar elde etme gibi ödül hilelerini kontrol etmeli ve aynı zamanda eğitimi ölçeklendirebilen istikrarlı bir eğitim ortamı sağlamalıdır.

Başlangıç eğitim ortamının mutlaka yüz binlerce iz içermesi gerekmez. Chen Yufei, modelin eğitim sırasında tekrar tekrar keşif yapıp çok sayıda yörünge ürettiği için, bin eğitim ortamının takviyeli öğrenmeyi başlatmak için yeterli olduğunu belirtti. Her eğitim adımının bir ortamda 128 kez çalıştığını varsayarsak, bin başlangıç veri noktası yaklaşık 128.000 eğitim yörüngesi üretebilir.

Özelleştirilmiş modellerin dağıtım sonrasında hala "yeniden düzenlenmesi" gerekiyor. Yeni bir açık kaynaklı temel model yayınlandığında, platform orijinal eğitim ve değerlendirme sistemini yeni modele taşıyabilir. Değerlendirme kriterleri ve görev ortamı sabit olduğu sürece, taşıma işleminin kendisi zaman alıcı olmak zorunda değildir; asıl sürekli iş yükü, müşterilerin yeni senaryolar, iş akışları ve daha zorlu görevler eklemesiyle ortaya çıkar.

Dolayısıyla, dikey bir şirketin temel varlıkları belirli bir model neslinin ağırlıkları değil, temel model güncellendikçe tekrar tekrar taşınabilen veriler, değerlendirmeler ve iş akışlarıdır.

Kurumsal yapay zeka, model eksikliğinden değil, değerlendirme eksikliğinden dolayı Kavram Kanıtı (PoC) aşamasında takılıp kalmıştır.

Şirketler açık kaynaklı ve kapalı kaynaklı modeller arasında seçim yaparken, öncelikli olarak sadece performans ve fiyatı değil, aynı zamanda güveni de göz önünde bulundururlar.

Kurumsal sözleşmeler genellikle bir ila iki yıl sürdüğü için, alıcıların hizmet sağlayıcısının ve ekosisteminin uzun vadede işletme ihtiyaçlarını karşılayıp karşılayamayacağını değerlendirmeleri gerekir. Açık kaynak modelleri daha ucuz ve daha esnek olabilir, ancak kapalı kaynak sağlayıcılar marka iletişimi, başarı öyküleri ve pazar tanınırlığı açısından hala avantajlıdır.

Chen Yufei, açık kaynak modellerinin ve hizmet sağlayıcılarının en önemli zayıflığının teknoloji değil, pazara giriş yeteneği olduğuna inanıyor. Kapalı kaynak model şirketleri, yeni yetenek gösterimleri ve araştırma sonuçları aracılığıyla kullanıcı farkındalığını sürekli olarak artırabilirken, açık kaynak ekosisteminde birleşik bir pazarlama ve müşteri iletişim sistemi eksikliği bulunmaktadır.

Dağıtım yöntemleri de değişiyor. Başlangıçta işletmeler daha çok şirket içi dağıtımlara odaklanırken, şimdi giderek daha fazla iş yükü buluta taşınıyor. Hizmet sağlayıcılar güvenlik ve sanal özel bulutlar gibi alanlarda güven oluşturabildikleri sürece, çok kiracılı bulut hizmetleri, işletmeler için genellikle özel GPU'lardan daha uygun maliyetlidir.

Tek bir işletme, bir grup GPU için yüksek kullanım oranlarını sürdüremeyebilir, ancak bir platform farklı müşterilerin ihtiyaçlarını bir araya getirerek donanım kullanım verimliliğini artırabilir. Çıkarım maliyetleri işletme işletme giderlerinin bir yüzdesi olarak arttıkça, paylaşımlı altyapının maliyet avantajları daha belirgin hale gelir.

Şirketlerin kavram kanıtından üretime geçişinde karşılaştıkları en büyük engellerden biri, titiz bir değerlendirmenin eksikliğidir. Şirketler yapay zekayı çağrı merkezleri gibi önemli alanlarda zaten uygulamış olsalar bile, modellerinin etkinliğini tekrar tekrar çalıştırılabilecek test standartları oluşturmak yerine, deneme yanılma yoluyla değerlendiriyorlar.

Değerlendirme yapılmadan şirketler, açık kaynaklı ve kapalı kaynaklı modelleri güvenilir bir şekilde karşılaştıramazlar ve model güncellemelerinin işlerini gerçekten iyileştirip iyileştirmediğini belirleyemezler. Bu nedenle Chen Yufei, yapay zeka değerlendirme sistemleri tasarlayabilecek yetenekli kişilerin hala az olduğunu düşünüyor. Güvenilir bir değerlendirme sistemi, şirketlerin model değişimlerini tamamlamalarına ve ilk kurulum maliyetlerini çok aşan uzun vadeli harcamalardan tasarruf etmelerine yardımcı olabilir.

Bu, geleneksel yazılım şirketlerindeki birim testlerinden temelde farklı değil. Geçmişte, SaaS şirketlerinin yazılım teslimatından önce bir dizi test çalıştırması gerekiyordu; şimdi ise dikey yapay zeka şirketlerinin, ajanın üretime geçmeden önce ilgili standartları karşıladığını doğrulamak için bir dizi değerlendirme oluşturması gerekiyor. Sektördeki çalışmaların odağı kısmen "test yazmaktan" "değerlendirme yazmaya" doğru kayıyor, ancak özünde hala ürün kalitesini ölçülebilir ve birikimli kurumsal yeteneklere dönüştürmek yatıyor.

Üçüncü taraf veri şirketlerinin gelişimi, işletmelerde yapay zekanın uygulanmasını gözlemlemek için de bir gösterge olarak hizmet edebilir. Müşterilerinin birkaç ileri teknoloji laboratuvarında yoğunlaşmaya devam etmesi, sıradan işletmelerin bağımsız yapay zeka yetenekleri geliştirme alanının hala sınırlı olduğunu gösterir; gelir kaynakları kademeli olarak çeşitlenirse, daha fazla işletmenin veri satın almaya, değerlendirme sistemleri kurmaya ve kendi modellerini eğitmeye başladığı anlamına gelebilir.

İşletmelerin gerçekten eksikliği daha fazla model değil, doğru olanı tanımlayabilen, yanlış olanı belirleyebilen ve satın alma kararlarını destekleyebilen bir standartlar kümesidir.

Çıkarım optimizasyonu, belirteç maliyetlerini azaltmaktan sistem planlamasına doğru ilerler.

Fireworks'ün temel iş alanı çıkarım optimizasyonudur. Chen Yufei, bir modelin ilk piyasaya sürüldüğündeki performansının, uzun vadeli optimizasyon sonrasındaki performansından genellikle önemli ölçüde farklı olması nedeniyle, bu alanda hala önemli iyileştirme potansiyeli olduğuna inanıyor.

Platform, bu optimizasyon döngüsünü kısaltmayı ve yeni modellerin dağıtım sırasında mümkün olduğunca optimum duruma yakın olmasını sağlamayı amaçlamaktadır. Model çalışma zamanının yanı sıra önbellekleme, zamanlama ve destekleyici altyapı da nihai maliyeti etkiler. Birçok optimizasyon, büyük miktarda parçalı mühendislik çalışması gerektirir ve bu da çıkarım optimizasyonunu emek yoğun bir görev haline getirir.

Model geliştiricileri tarafından sağlanan birinci taraf API'lerle karşılaştırıldığında, Fireworks aynı anda çok sayıda temel model ve özel model sunarak daha çeşitli trafik modellerinin ve iş yüklerinin gözlemlenmesine olanak tanır. Model sağlayıcıları öncelikle modellerinin geniş bir kullanıcı yelpazesine istikrarlı bir şekilde sunulduğundan emin olmalıdır, üçüncü taraf platformlar ise belirli istemcilerin özel istek özelliklerine yönelik daha ayrıntılı optimizasyonlar gerçekleştirebilir.

Model yönlendirmesi sadece maliyet düşürmeyle ilgili değildir. Fireworks ve Harvey arasındaki ortak bir deneyde, sistem bir modeli görev yürütücüsü, diğerini ise danışman olarak kullanarak uzun bağlamlı görevleri birkaç daha kısa alt göreve böldü. Bağlam uzadıkça büyük modelin performansı düşebileceğinden, uygun iş bölümüyle, genel sistem performansı aslında en güçlü modeli tek başına kullanmanın performansını bile aşabilir.

Chen Yufei bu süreci CPU performans optimizasyonuna benzetti. Geliştiricilerin işlemcinin özelliklerini anlamaları ve ardından programı o işlemciye uygun iş yüklerine ayırmaları gerekir. Benzer şekilde, yapay zeka sistemlerinde temel model bir metin işlemcisi olarak düşünülebilir: ekip önce farklı modellerin yetenek sınırlarını anlamalı, ardından görev çerçevesini tasarlamalı ve son olarak uygun modeli uygun konuma yerleştirmelidir.

Donanım optimizasyonu, GPU, HBM, CPU ve ağ gibi bireysel ölçütlere bakılarak ele alınamaz. Modeller genellikle ilk eğitim sırasında mevcut donanımın işlem gücü-bellek oranı göz önünde bulundurularak tasarlanır. Bu nedenle, bir modeli NVIDIA GPU'dan benzer kapasitedeki bir AMD GPU'ya taşımak nispeten kolayken, farklı bir mimariye sahip bir ASIC'e taşımak önemli miktarda çalışma gerektirebilir.

Yeni bir donanım parçasının başarısı, yalnızca özelliklerinin Nvidia'nınkine benzer olup olmamasına değil, aynı zamanda arz ölçeğine, yazılım ekosistemine ve ekonomik teşviklerin geliştiricileri modellerini buna göre optimize etmeye motive edip edemeyeceğine de bağlıdır. Donanım yapılandırması Nvidia'nınkine benzer olsa bile, geliştiriciler onu kullanmaktan yeterli getiri elde edemezlerse bir ekosistem oluşturmak zor olacaktır.

Sonuç olarak, bir çıkarım platformunun optimizasyonu yalnızca modelin çalışma hızıyla ilgili değil, model, görev ve donanım arasındaki uyumla da ilgilidir.

Fireworks donanıma sahip değil, ancak eğitim ve çıkarım süreçlerini birbirine bağlıyor.

Yapay zeka bulut sağlayıcılarının yazılım katmanına doğru genişlemesine karşılık olarak, Fireworks'ün şu anda kendi donanımını üretme veya GPU'lara büyük yatırımlar yapma planı bulunmuyor. Chen Yufei, şirketin modelini "ev sahibi" modeline daha yakın olarak tanımlıyor: altyapı sağlayıcılarından bilgi işlem gücü edinmek ve bilgi işlem yazılımına, çıkarım hizmetlerine ve model özelleştirmesine odaklanmak.

Fireworks ile tipik yapay zeka bulut platformları arasındaki fark, platformdaki trafiğin çoğunun değiştirilmemiş temel modellerden değil, özel modellerden gelmesinde yatmaktadır. Chen Yufei, temel model çıkarımında rekabetin giderek daha da kızışacağına ve kârın, müşteriler için daha iyi sonuçlar sağlayabilen özel modellerden gelme olasılığının daha yüksek olduğuna inanıyor.

Fireworks, eğitim ve çıkarım süreçlerini tek bir işletmede birleştiriyor. Şirket, müşterilerinin modelleri eğitmesine yardımcı oluyor ve modeller yayına girdikten sonra çıkarım trafiğinde sürdürülebilir bir büyüme hedefliyor. Sadece eğitim veya danışmanlık ücreti alan hizmet sağlayıcılarla karşılaştırıldığında, bu gelir yapısı platform ve müşterileri için uzun vadeli faydaları daha etkili bir şekilde uyumlu hale getiriyor: müşteriler modelleri aracılığıyla daha fazla değer ürettikçe, Fireworks sürekli çıkarım yoluyla daha fazla gelir elde edebiliyor.

Bazı pekiştirmeli öğrenme hizmet sağlayıcıları yalnızca eğitim veya danışmanlık hizmeti sunar ve gelirleri, modelin devreye alındıktan sonraki etkinliğiyle doğrudan ilişkili olmayabilir. Fireworks'ün iş mantığı, eğitim yoluyla modelin performansını iyileştirmek ve ardından sonraki çıkarım trafiğinden elde edilen faydaları toplamaktır. Tek seferlik eğitim projeleri satmaz, bunun yerine müşterilerin modellerinin sürekli kullanım üretmesini sağlama yeteneği sunar.

Tüm zinciri kapsayabilecek gerçek rakipler, tek tek yeni bulut şirketleri değil, AWS, Microsoft Azure ve Google Cloud gibi büyük bulut hizmet sağlayıcılarıdır. Bunlar hem işlem gücüne hem de takviyeli öğrenme hizmetleri, çıkarım platformları ve geliştirme araçları oluşturma yeteneğine sahiptirler.

Fireworks, bulut sağlayıcılarıyla rekabet ederken aynı zamanda onların altyapılarına güveniyor ve onlarla iş birliği yapıyor. Şu anda şirket, Azure ile en yakın ortaklığa sahip ve müşterilerin Azure kredilerini kullanarak Fireworks hizmetlerini satın almalarına olanak tanıyor. Ayrıca AWS ve Google Cloud ile de iş birliği yapıyor.

Chen Yufei, Fireworks'ün mevcut çıkarım optimizasyon yeteneklerinin bulut sağlayıcılarının benzer hizmetlerinden hala üstün olduğuna inanıyor, ancak tek noktadan performans en sağlam engel değil. Daha da önemlisi, eğitimden, dağıtımdan, değerlendirmeden çıkarıma kadar tüm makine öğrenimi işlem döngüsünü tamamlayarak geliştiricilere sorunsuz bir deneyim sunuyor. Yeni bulut şirketleriyle karşılaştırıldığında, Fireworks daha uzun bir zinciri kapsıyor; bulut devleriyle karşılaştırıldığında ise uzmanlaşma ve yürütme hızı avantajlarını koruması gerekiyor.

Yapay zekâ gelecekte çekirdek geliştirme, çıkarım ve eğitim sonrası optimizasyonu otomatik hale getirebilse bile, müşteri ihtiyaçlarını anlamak muhtemelen tamamen yerine konması zor bir görev olarak kalacaktır. Bir sistem karmaşık matematiksel problemleri çözebilir, ancak bir şirketin süreçlerini, kısıtlamalarını ve değerlendirme kriterlerini birdenbire anlayamayabilir. Fireworks'ün uzun vadeli değeri, nihayetinde müşteri ihtiyaçlarını modellere, değerlendirmelere ve uygulanabilir ürünlere dönüştürme yeteneğine bağlıdır.

Açık kaynaklı sıkıştırma modellerinin üstünlüğü, nihai sınırlayıcı faktör olarak hala işlem gücüne bağlıdır.

Önümüzdeki bir ila iki yıl içinde, Fireworks'ün en büyük zorluğu işlem gücü olmaya devam edecek. Şirketin makul bir fiyata yeterli işlem kaynağı edinme yeteneği, gelir artışını doğrudan sınırlayacaktır. Chen Yufei, Fireworks'ün mevcut durumunu "işlem gücüyle sınırlı" olarak özetliyor ve pazarın genel olarak en az önümüzdeki yıl bu durumu koruyacağını öngörüyor.

Bu durum, teknoloji devlerinin yapay zekâya yönelik sermaye harcamalarına ilişkin görüşünü de etkiledi. Piyasa genellikle Google ve Meta gibi şirketlerin aşırı yatırım yapıp yapmadığını yatırım getirisine göre değerlendirir; ancak bu şirketler için daha büyük bir risk daha olabilir: Yapay zekâ nihayetinde son derece yüksek getiriler sağlarsa ve yatırımlarını azalttıkları için bu rekabet turunu kaçırırlarsa, masadaki yerlerini kalıcı olarak kaybedebilirler.

Bu nedenle, kısa vadeli aşırı yatırımda bile maliyet, yalnızca finansal tablolar üzerinde baskı ve önümüzdeki birkaç yıl içinde amortismanı karşılama ihtiyacı olabilir. Uzun vadeli nakit akışı ve finansman yeteneklerine sahip teknoloji devleri için bu genellikle bir hayatta kalma riski değildir; ancak, önemli teknoloji döngülerini kaçırmak risk oluşturabilir.

Yeni bulut şirketleri için durum farklı. Proje getirilerini, finansman maliyetlerini ve geri ödeme sürelerini daha titizlikle hesaplamaları gerekiyor. Chen Yufei, ilgili şirketlerin tahvil derecelendirmelerine, proje uzatmalarına ve yeniden finansman yeteneklerine dikkat edilmesini öneriyor. Herhangi bir katılımcı kredi sorunları nedeniyle borçlanmaya devam edemezse ve önümüzdeki 3 ila 6 ay içinde borçlarını yeniden yapılandırmak zorunda kalırsa, piyasanın hala devralmaya istekli fonlara sahip olup olmadığı, yapay zeka altyapısının finansman yeteneklerinin önemli bir göstergesi olacaktır.

Chen Yufei, "açık kaynak modellerinin kapalı kaynak modellerine yetişmesinin donanım talebini azaltacağı" yönündeki piyasa söylemine şüpheyle yaklaşıyor. Ona göre, açık kaynak modellerinin yeteneklerindeki iyileşme, öncelikle model katmanının yüksek fiyatlandırma gücünü zayıflatıyor. Genel yapay zeka harcamaları değişmeden kalırsa, değer aslında bilgi işlem gücü ve altyapı sağlayan şirketlere kayabilir.

Ancak, yapay zekâya yapılan sermaye harcamalarının nihayetinde yeterli getiri sağlayıp sağlamayacağı açık bir soru işareti olarak kalmaktadır. Hesaplama gücü projelerinin yatırımlarını geri kazanmaları genellikle birkaç yıl sürer ve bir yıl sonraki arz ve talep dinamiklerini tahmin etmek zordur. Şu anda nispeten net bir işaret, hem Fireworks'ün hem de birçok müşterisinin hala daha fazla hesaplama gücü arayışında olmasıdır.

Açık kaynaklı ve kapalı kaynaklı modeller arasındaki rekabet, yalnızca model sıralamalarıyla belirlenmeyecektir. Yetenek açığı daralmaya devam ettikçe, sektördeki değer daha çok görevleri tanımlayabilen, etkinliği doğrulayabilen ve modelleri sürdürülebilir bir maliyetle üretime geçirebilenlere bağlı olacaktır.