Eski OpenAI Araştırma Başkan Yardımcısı: İnsan araştırmacıların 2 yılı kaldı, yapay zeka araştırmaları hızla otomasyona geçiyor

İnsanların yapay zeka araştırma keşiflerinde önemli bir rol oynamaya devam etmesi için yalnızca son iki yıl kaldı. Bundan sonra, hipotez oluşturmadan doğrulamaya kadar tüm yapay zeka araştırma ve geliştirme (Ar-Ge) döngüsü tamamen otomatikleşecek. Büyük şirketlerin Transformer modellerini körü körüne kopyalamak "kaybedilmeye mahkum bir oyundur" ve mevcut yapay zeka teknolojisinin daha da ilerlemesinin önündeki darboğaz tam olarak mimarinin kendisidir. Gelecekte yalnızca yapay zeka laboratuvarları değil, tüm büyük işletmeler tam otomasyona geçecek.

Günümüz yapay zeka alanında araştırmacılar benzeri görülmemiş bir ikilemle karşı karşıya: Bir yanda teknolojinin baş döndürücü hızla ilerlemesi, diğer yanda sonsuz kod ve deneylerle tükenme noktasına gelmenin yorgunluğu.

"Artık yapay zeka alanındaki araştırmacıların şu cümleyi tekrarladığını sık sık duyuyorsunuz: 'İşimizin yalnızca son birkaç günü kaldı, şimdi yapabildiğimiz kadar yapalım, sonra hepimiz dinlenebiliriz.'" Eski OpenAI Araştırma Başkan Yardımcısı Jerry Tworek, yakın zamanda verdiği bir röportajda bu hafif kara mizah içeren görüşü dile getirdi.

Ona göre bu kesinlikle basit bir şaka değil. "Ajan-doğal (agent-native)" çağının gelişiyle birlikte yapay zekanın kendisi Ar-Ge çalışmalarını hızla devralıyor. "Kabaca tahmin ediyorum ki, insan araştırmacıların yapay zeka araştırma keşif sürecinde önemli bir rol oynamaya devam etmesi için en az iki yıl daha var."

Yedi yıl çalıştığı OpenAI'den ayrıldıktan sonra Jerry, Core Automation'ı kurdu. Hedefi yalnızca bir sonraki büyük dil modelini geliştirmek değil, aynı zamanda yapay zeka şirketlerinin çalışma paradigmasını yeniden yapılandırmak: yapay zekayı yapay zeka geliştirmek için kullanmak ve tamamen otomatikleştirilmiş "üçüncü nesil yapay zeka laboratuvarı" oluşturmak.

Röportajın önemli noktaları:

İnsan araştırmacıların "geri sayımı": İnsan araştırmacıların yapay zeka araştırma keşiflerinde önemli bir rol oynamaya devam etmesi için yalnızca son iki yıl kaldı. Bundan sonra, hipotez oluşturmadan doğrulamaya kadar tüm yapay zeka Ar-Ge döngüsü tamamen otomatikleşecek.

Üçüncü nesil yapay zeka laboratuvarlarının yükselişi: DeepMind/erken OpenAI (saf araştırma odaklı) ve GPT-3 sonrası laboratuvarlardan (hesaplama gücü ölçeklendirmeye odaklı) farklı olarak, üçüncü nesil laboratuvarlar "otomasyonu" ilk sıraya koyar. Düşük maliyetli yapay zeka ajanlarını (ajanlar) kullanarak insanların karmaşık deneyler ve kod yazma işlerini devralmak, Ar-Ge döngüsünü aylardan bir güne indirebilir.

Transformer hegemonyasına meydan okumak: Büyük şirketlerin Transformer modellerini körü körüne kopyalamak "kaybedilmeye mahkum bir oyundur" ve mevcut yapay zeka teknolojisinin daha da ilerlemesinin önündeki darboğaz tam olarak mimarinin kendisidir. Yeni nesil laboratuvarlar, programlama ajanlarını kullanarak, bir zamanlar "deneme maliyetinin çok yüksek olması" nedeniyle rafa kaldırılan yeni mimarileri sıfırdan keşfediyor ve hedefleri test zamanında öğrenen yeni modeller.

o1/o3 modellerinin iç yüzü: Büyük ölçekli pekiştirmeli öğrenme (RL), AGI'ye giden zorunlu yoldur. Ilya Sutskever, 2019 gibi erken bir tarihte yol haritasını isabetli bir şekilde öngörmüştü. o serisinin (muhakeme modelleri) atılımı, araştırma ekibinin yıllarca süren temel keşiflerinden ve kritik anlarda liderliğin (Jakub Pachocki gibi) hesaplama gücüne kararlı bir şekilde yönelmesinden kaynaklandı.

"Şirket düzeyinde yapay zeka" nihai ürün olacak: Gelecekte yalnızca yapay zeka laboratuvarları değil, tüm büyük işletmeler tam otomasyona geçecek. Tekrarlayan işlerin ortadan kalktığı "emek sonrası çağda", insanlar ruhsal ve bedensel büyüklüğü kovalamak için daha fazla zamana sahip olacak.

İki yıllık geri sayım: Üçüncü nesil yapay zeka laboratuvarları "manuel yürütmeye" veda ediyor

Jerry Tworek, yapay zeka laboratuvarlarının gelişimini üç aşamaya ayırıyor.

Birinci nesil, DeepMind ve erken OpenAI tarafından temsil edilir; bunlar "büyük ölçekli yapay zekanın uygulanabilirliği" kanıtlanmadan önce doğmuş, yalnızca AGI'ye ulaşmayı hedefleyen "araştırma odaklı" kuruluşlardır. İkinci nesil ise GPT-3'ün yayınlanmasından sonra, Ölçekleme Yasası'nın (Scaling Law) etkili olduğu kanıtlandığında ortaya çıktı; laboratuvarlar hesaplama gücü için çılgınca rekabet etmeye başladı ve ölçeklendirme yoluyla zeka üretmeye çalıştı (Anthropic vb. temsil eder).

Şimdi ise üçüncü nesil yapay zeka laboratuvarlarının ortaya çıkışına tanık oluyoruz; bunlar "otomasyonu" ilk sıraya koymaya çalışıyor.

Geleneksel yapay zeka Ar-Ge'sinde hipotez oluşturmak, kod yazmak, küçük ölçekli deneyleri çalıştırmak ve ardından onlarca kişiyi aylarca ölçeklendirmek için seferber etmek son derece pahalı ve sürtünmesi yüksek bir süreçtir.

"Birçok açıdan şu anki yaklaşımımız şu: İnsan araştırmacılar hâlâ içgörü (Insight) üretmekten ve yön belirlemekten sorumlu, ancak ajanların (ajanlar) rolü yürütme sürecini mümkün olduğunca basitleştirmek." Jerry, mevcut ajanların açık uçlu keşiflerde veya son derece hassas hipotezler önermede henüz iyi olmadığını, ancak talimatlar net olduğunda yürütme yeteneklerinin kusursuz olduğunu belirtiyor.

"Deney süresini bir aydan bir güne indirebilirsek, bu 30 kat hızlanma demektir." Jerry, iki yıl sonra yapay zeka araştırmasının tüm döngüsünün — fikir üretmeden veri doğrulamaya kadar — tamamen otomatikleşeceğini öngörüyor. İnsanlar, bugün satranç müsabakalarında olduğu gibi, artık belirleyici bir rol oynamayacak.

Hesaplama gücü rekabetinden kaçınmak, Transformer'ın "on yıllık hükümdarlığını" kırmak

Şu anda neredeyse tüm önde gelen büyük şirketler Transformer mimarisi üzerinde hesaplama gücü için "rekabet" ediyor. Ancak Jerry'ye göre, yeni ortaya çıkan laboratuvarlar (NeoLabs) için körü körüne takip etmek bir felakettir.

"Sadece bir grup araştırmacıyı işe alıp 'OpenAI ve Anthropic gibi Transformer modelleri eğiteceğiz ve onlarla rekabet etmeye çalışacağız' demek çok kötü bir stratejidir. Bu kaybedilmeye mahkum bir oyundur."

Ekonomik teşvikler ve yüksek deneme maliyetleri nedeniyle büyük şirketlerin en güvenli ölçeklendirme yolunu izleme eğiliminde olduğuna dikkat çekiyor. Ancak tarihsel deneyimler, her teknolojinin erken aşamalarında temel düzeyde köklü değişimler yaşandığını gösteriyor. "Şu anda yapay zeka teknolojisinin daha hızlı gelişmesinin ve ilerlemesinin önündeki darboğaz, tam olarak mimarinin kendisidir, yani yıllardır kullandığımız Transformer."

Son on yılda neden kimse Transformer'ı başarıyla değiştiremedi? Jerry'nin cevabı: deneme maliyeti çok yüksek.

Geçmişte bir araştırmacının yeni bir mimariyi test etmesi için kod yazmak son derece zordu. Küçük ölçekte çalışsa bile, ölçeklendirmek için çok yüksek hesaplama gücü onayı ve ekip kaynağı gerekiyordu. Birçok yenilikçi fikir, uzun bürokratik sürtüşmeler içinde boğuldu veya Transformer'ın mevcut ivmesi tarafından gölgede bırakıldı.

Ancak şimdi durum değişti. "Kod yazmak büyük ölçüde ucuzladı ve kolaylaştı; bu yeni bir kapı açabilir." Düşük maliyetli yapay zeka programlama ajanları sayesinde Core Automation, bir zamanlar terk edilmiş mimari yolları sıfırdan keşfetmeye çalışıyor. "Yol gösterici hedefleri" çok net: test zamanında öğrenebilen ve kullanıcı etkileşimlerinden öğrenebilen yeni mimari modeller oluşturmak.

o1/o3 atılımının iç yüzü ilk kez açıklanıyor: Pekiştirmeli öğrenme ve hesaplama gücünün mucizesi

OpenAI o serisinin (muhakeme modelleri) çekirdek geliştiricisi olarak Jerry, bu çığır açan atılımın arkasındaki hikayeyi de röportajda ilk kez anlattı.

2019'un başlarında Ilya Sutskever, tüm çalışanların katıldığı bir toplantıda AGI'ye giden yol haritasını isabetli bir şekilde çizmişti: "Elde edebileceğimiz tüm verilerle devasa bir üretken model eğitmemiz ve ardından pekiştirmeli öğrenme (RL) ile eğitmemiz gerekiyor."

Yön net olsa da uygulama yolu uzun ve engebeliydi. Jerry, GPT-3 eğitilmeye başladığında ilk tepkisinin onu pekiştirmeli öğrenme için nasıl kullanacağı olduğunu açıkladı. İlk nesil Codex, büyük dil modelinin pekiştirmeli öğrenmeyle birleştirildiği deneysel bir üründü. Ancak veri, algoritma ve deney düzeneği kısıtlamaları nedeniyle ekip uzun süre bunu etkili bir şekilde ölçeklendiremedi.

"Bunlar o zamanlar arka planda sessizce olgunlaşıyordu. Uzun bir süre boyunca denemeler büyük kazanımlar sağlamadı."

Dönüm noktası, bir "umut verici bir işaret" ve liderliğin kararlı kararıyla geldi. Model nihayet pekiştirmeli öğrenme altında işe yarayabileceğine dair zayıf bir kıvılcım gösterdiğinde, Baş Bilim İnsanı Jakub Pachocki fırsatı keskin bir şekilde yakaladı: "Jerry, artık bu GPU'lara sahibiz. Bakalım bunu ölçeklendirmeye başlayabilir miyiz, mevcut sonuçları büyütüp güçlendirebilir miyiz?"

Hesaplama gücü kıtlığı çeken yapay zeka laboratuvarlarında "yumurta mı tavuktan çıkar, tavuk mu yumurtadan" (önce sonuç mu yoksa önce hesaplama gücü mü) ebedi bir ikilemdir. Ancak üst yönetimin "devam et" diyerek hesaplama gücünü yönlendirmesi tüm ekibi ateşledi.

"Bu bizi son derece heyecanlandırdı. Hangi veri kümelerine, sistemlere ve deneylere ihtiyaç duyulduğunu düşünmek için üç kat çaba harcadık; sürdürülebilir şekilde ölçeklenebileceğini kanıtlamak için. Heyecan deneysel sonuçları getirdi, sonuçlar da ivme yarattı." Sonunda, pekiştirmeli öğrenmenin ölçeğini birkaç büyüklük mertebesi artırarak sektörü sarsan o1 ve o3 muhakeme modelleri ortaya çıktı.

Nihai vizyon: "Şirket düzeyinde yapay zeka" ve emek sonrası çağın hayali

Core Automation'ın gelecekteki ürünlerinden bahsederken Jerry'nin bakışı yalnızca yapay zeka modellerinin ötesine geçiyor.

"Kendi şirketimizi dünyanın en otomatik şirketi yapmak ve bunu bir plan olarak kullanmak istiyoruz. 'Kurumsal beyin' gibi bir şey inşa edeceğiz; tüm şirket bilgilerini merkezileştirecek, çalışanlar terminaller aracılığıyla bağlanacak ve bir şirket yapay zekasının kullanıcıları olacaklar."

Büyük ve küçük tüm şirketlerin sonunda tam otomasyona geçmesi durumunda insanlığın geleceğinin ne olacağı sorulduğunda Jerry, felsefi bir "emek sonrası (post-labor) çağ" vizyonu sundu.

Bürokrasinin en yoğun olduğu büyük şirketler ilk otomatikleşenler olacak; yapay zeka bilgi aktarımını ve süreç optimizasyonunu devralacak. Bu, insanların on binlerce yıldır hayatta kalmak için yapmak zorunda kaldığı "manuel yürütmenin" yavaş yavaş sona ereceği anlamına geliyor. Madenler kaynak sağlamak için otonom çalışabilir, yazılımlar hataları kendi kendine düzeltebilir ve yeni özellikler geliştirebilirse, insanların dünyanın işlemesi için kendilerini zorlayarak "çalışmasına" gerek kalmayacak.

Ancak bu, emeğin mutlak sonu anlamına gelmiyor. Jerry, gelecekte odak noktasının "insan güçlendirme (human augmentation)" ve aşırı büyüklüğü kovalamaya kayacağına inanıyor.

"Antik Yunan filozofları gibi yaşadığımız bir dünya hayal ediyorum: meydanlarda toplanıp bütün gün birbirimizle felsefe tartışıyoruz, bedenlerimizi çalıştırıyoruz, yapmak istediğimiz şeyleri yapıyoruz. İnsanlar, bugünkü profesyonel sporlar gibi, ekonomik bir nedeni olmasa da büyüklüğü kovalamak için bedensel ve ruhsal olarak büyük olmaya çalışmalı. Bizim için en önemli kısım bu."

İki yıllık geri sayımın saati işlerken, ister yapay zeka araştırmacıları ister bilgi ekonomisi çağındaki insanlar olsun, belki de artık "iş" tanımını yeniden düşünmenin zamanı gelmiştir.