Noam Shazeer Kimdir? Transformer’ın Mimarlarından ve Character.AI Kurucusu

Noam Shazeer, 1972’de Philadelphia’da doğan Amerikalı bilgisayar bilimcisi ve girişimcidir. 2017’de yayımlanan ve transformer mimarisini tanımlayan Attention Is All You Need makalesinin sekiz yazarından biridir; bu mimari, bugünün büyük dil modellerinin temelini oluşturur. 2021’de kurduğu Character.AI şirketinin kurucusudur.

Shazeer, 2000’de katıldığı Google’da yaklaşık yirmi yıl çalıştı; arama yazım düzeltmesinden BERT’in aramaya entegrasyonuna uzanan çalışmalara imza attı. 2021’de ayrılarak kişiselleştirilmiş yapay zeka karakterleri platformu Character.AI’ı kurdu. Ağustos 2024’te Google’ın şirketin teknolojisini lisansladığı ve Shazeer’ın Google’a döndüğü açıklandı; anlaşmanın değerinin yaklaşık 2,7 milyar dolar olduğu bildirildi.

Bu makalede Shazeer’ın kariyeri, transformer makalesi, Character.AI’ın kuruluşu ve Google’a dönüşü ele alınmaktadır.

Eğitim ve Google’a Girişim

Shazeer, Duke Üniversitesi’nde bilgisayar bilimi okudu ve 1994’te mezun oldu. 2000’de Google’a katıldı; şirketin ilk yüzlerce çalışanı arasında sayılmaktadır. İlk yıllarında arama kalitesi üzerine çalıştı ve Google’ın yazım düzeltme sistemini geliştiren ekipte yer aldı; kullanıcıların hatalı yazdığı sorguların otomatik düzeltilmesi, arama deneyiminin standart bileşenlerinden biri haline geldi.

Yirmi yıl boyunca Shazeer, Google içinde dil modelleri ve sinir ağları üzerine çalışmayı sürdürdü. 2019’da BERT’in Google Arama’ya entegrasyonunu yürüten ekibe liderlik etti; bu adım, arama sonuçlarının anlam odaklı yorumlanmasında dönüm noktası olarak kabul edilir. Aynı dönemde Google’ın dahili sohbet modeli çalışmalarıyla da yakından ilgilendi; ekibin geliştirdiği sohbet teknolojisinin ürüne dönüştürülme hızı konusundaki beklentileri, ileride kuruluş kararında etkili olacaktı.

Shazeer’ın Google içindeki konumu sıra dışıydı: uzun yıllar boyunca araştırmacı kimliğini koruyarak hem temel mimari çalışmalara hem de ürüne yakın uygulamalara katkı verdi. Bu ikili konum, onun sonraki girişimcilik deneyiminin teknik temelini oluşturdu.

Shazeer, Duke yıllarında sinir ağlarına ilgi duydu; alanın henüz ana akım olmadığı bir dönemde, sinir ağı uygulamaları üzerine okul projeleri geliştirdi. Google’daki ilk yıllarında yazım düzeltmesinin ötesinde, makine öğrenmesi sonuçlarını çok yüksek hacimli sistemlere taşımanın maliyetlerini hesaplamayı öğrendi; bu deneyim, sonraki mimari tercihlerinde verimliliği merkeze almasında belirleyici oldu. Kendisi, Google kültürünün mühendislik ile araştırma arasındaki sınırı erittiğini ve onun için ideal bir ortam oluşturduğunu söylemektedir.

Shazeer’ın Google döneminde öne çıkan bir diğer çalışma, müzik arama sistemidir; kullanıcıların yazdığı şarkı sözü parçalarını bulmasını sağlayan bu proje, arama teknolojisinin metin dışı kaynaklarla çalışma biçimini denemek için bir laboratuvar görevi gördü. Shazeer bu projelerde, kullanıcı davranışının tahmin edilmesiyle model tasarımının birlikte ilerlemesi gerektiği görüşünü geliştirdi; bu görüş, sonraki yıllarda hem arama hem sohbet ürünlerine yaklaşımını şekillendirdi.

Transformer ve Attention Is All You Need

Haziran 2017’de Shazeer, Ashish Vaswani öncülüğündeki yedi araştırmacıyla birlikte Attention Is All You Need makalesini yayımladı. Makale, tekrarlayan katmanlara gereksinim duymadan dikkat mekanizmasına dayanan transformer mimarisini tanımlıyordu. Mimari, paralel hesaplamaya uygunluğu sayesinde önceki modellerden çok daha verimli biçimde eğitilebiliyordu; sekiz yazar, makaleye eşit katkıda bulunduklarını belirtmişti.

Transformer, kısa sürede doğal dil işleminin temel yapı taşı haline geldi: BERT ve GPT gibi modeller bu mimarinin türevleridir; görüntü, ses ve protein yapısı alanlarındaki modeller de aynı temele dayanmaktadır. Shazeer ayrıca katman normalizasyonu (2016) ve uzman karışımı ağları (2017) üzerine yazdığı makalelerle derin öğrenme literatüründe kalıcı izler bıraktı. Uzman karışımı yaklaşımı, sonraki yıllarda büyük modellerin hesap maliyetini düşürmek için yaygın biçimde benimsendi.

Makalenin yazarları arasında bugün büyük yapay zeka şirketlerinin kurucuları ve yöneticileri bulunan sekizli, sektörde dikkat çekici bir örnek olarak anılır. Shazeer bu grubun, akademik kariyer yerine endüstride sistem ölçeklendirmeye ve ürünleşmeye odaklanan üyesi olarak öne çıkar.

Transformer’ın yükselişi hızlı oldu: makale yayımlandıktan sonraki iki yıl içinde, doğal dil işleminin ana konferanslarında sunulan çalışmaların büyük bölümü bu mimariyi temel aldı. Shazeer, mimarinin ölçekleme davranışının teorik yönlerini de inceledi; makalelerinden biri, dikkat mekanizmasının hesaplama maliyetini uzman karışımı katmanlarıyla dengelemeyi önerdi. Bu çalışma, sonraki yıllarda en büyük modellerin parametre sayısını artırırken hesap maliyetini sınırlı tutma stratejisinin akademik temeli olarak kabul edilir.

Character.AI’ın Kuruluşu

Shazeer, 2021’de Google’dan ayrıldı; ayrılış gerekçesi olarak, geliştirdiği sohbet teknolojisinin geniş kitlelere sunulmasına yönelik kararların hızından duyduğu umutsuzluğu gösterdi. Kasım 2021’de, daha önce Google’da Meena sohbet modeli üzerinde çalışan Daniel De Freitas ile birlikte Character.AI’ı kurdu. Platform, kullanıcıların tarihi kişilerden kurgusal karakterlere uzanan geniş bir yelpazede sohbet edebilecekleri kişiselleştirilmiş yapay zeka karakterleri sunuyordu.

Uygulama kısa sürede büyüdü; 2023’te aylık kullanıcı sayısının milyonları aştığı ve kullanıcının oturum başına harcadığı sürenin sektör ortalamalarının üzerinde olduğu bildirildi. Mart 2023’te Andreessen Horowitz öncülüğünde 250 milyon dolarlık yatırım turu, şirketin değerlemesini 1 milyar dolar düzeyine taşıdı. Şirket, kendi dil modellerini geliştiren az sayıdaki bağımsız laboratuvardan biriydi; platformun temelini, karakter odaklı sohbet için eğitilmiş büyük dil modelleri oluşturuyordu.

Şirket, hızlı büyümesiyle birlikte toplumsal tartışmaları da gündeme taşıdı: özellikle genç kullanıcıların duygusal bağ kurduğu karakterler, ebeveyn denetimi ve kullanım güvenliği sorularını beraberinde getirdi. Şirket bu dönemde güvenlik filtreleri ve kullanıcı yönetimlerini güçlendirdiğini açıkladı.

Shazeer, Character.AI’ı kurarken ekip büyüklüğünü küçük tutmayı seçti; ona göre az sayıda yetenekli kişinin hızlı karar alması, büyük laboratuvarların katmanlı onay süreçlerinden daha etkilidir. Şirketin ilk modeli, karakter sohbetine özel biçimde eğitildi ve platformdaki konuşma uzunluğu, rakip asistanlardan belirgin biçimde uzundu; bu metrik, şirketin kullanıcı bağlılığını gösteren temel göstergesi olarak izleniyordu. Shazeer, platformun kullanıcılarının karakterlerle kurduğu bağın, teknolojinin toplumsal etkisini ölçmek için yeni yöntemler gerektirdiğini savundu.

Google’a Dönüş

Ağustos 2024’te Google ve Character.AI, şirketin model teknolojisinin Google’a özel olmayan bir lisansla devredilmesini ve Shazeer ile De Freitas’ın Google’a dönmesini kapsayan bir anlaşma duyurdu. Wall Street Journal’ın haberine göre anlaşmanın değeri yaklaşık 2,7 milyar dolardı; iki taraf da bu tutarı resmen açıklamadı. Shazeer, dönüşünde Gemini büyük dil modeli programının teknik liderlerinden biri olarak göreve başladı.

Anlaşma, yapay zeka sektöründe lisans devri olarak adlandırılan yeni bir iş birliği biçiminin öncü örneği kabul edilir: klasik satın alma olmadan ekip ve teknoloji kazanımı. Character.AI, yeni yönetimiyle bağımsız bir şirket olarak çalışmayı sürdürdü. Sektör yorumcuları, Shazeer’ın dönüşünü Google’ın Gemini yarışındaki konumunu güçlendiren bir hamle olarak değerlendirdi; anlaşma, büyük dil modeli rekabetinin insan kaynağı boyutunu da gündeme taşıdı.

Anlaşmanın yapısı, sektörde hukuki yorumlara yol açtı: model teknolojisinin lisanslanması, kullanıcı verisinin devri anlamına gelmiyordu ve Character.AI bağımsızlığını korudu. Yatırımcılar, anlaşmanın şirketin geri kalan hissedarlarına likidite sağladığını belirtti. Shazeer’ın Gemini’deki rolü, araştırma liderliği ile mühendislik kararlarının birleşimini içerir; onun dönüşü, Google’ın içinde uzun yıllar çalışmış bir mimarın kurumsal bilgiyle geri dönmesi olarak değerlendirildi. Sektörde benzer yapılar, sonraki aylarda diğer büyük şirketlerin girişim anlaşmalarında da görüldü.

Mirası

Shazeer’ın transformer makalesine katkısı, modern yapay zekanın temel yapı taşlarından biriyle ilişkilendirilir. Makale, bugün milyarlarca kullanıcının günlük hayatta kullandığı asistanların ve arama sistemlerinin altyapısını oluşturur; bu ölçekte bir etki, onu büyük dil modeli çağının kurucu figürlerinden biri yapmıştır. Katman normalizasyonu ve uzman karışımı gibi katkıları da, modern modellerin eğitiminde standart bileşenler arasında yer alır.

Google’a dönüşüyle Shazeer, temel araştırma ile ürün arasındaki döngüyü bir kez daha tamamladı. Onun kariyeri, temel mimari buluşlarının (transformer, uzman karışımı) pratik ürünleşmesine (arama, sohbet, asistanlar) uzanan bir çizgide, hem araştırma hem girişimcilik kimliğini birleştiren bir bilgisayar bilimcisi örneği olarak anılmaktadır.

Shazeer, araştırmacılar arasında yalın ve doğrudan bir üslupla tanınır; makalelerinde karmaşık sonuçları basit deneylerle göstermeyi tercih ettiği belirtilir. Transformer makalesinin etkisi, yıllar içinde resmi onurlandırmalarla da kabul gördü; makalenin yazarları, alanın en prestijli konuşmalarında ve ödül törenlerinde topluca anıldı. Shazeer’ın hikayesi, temel araştırmanın endüstride ürünleşmesinin ve girişimciliğin aynı kişide birleşebileceğini gösteren örneklerden biri olarak anılır; onun transformer, uzman karışımı ve sohbet ürünlerine uzanan çizgisi, büyük dil modeli çağının teknik tarihinin özeti olarak okunmaktadır.