GPT Tam Olarak Nasıl Eğitiliyor? Trilyonlarca Tokendan RLHF ve Muhakeme Ajanlarına 4 Aşama

Üretken Ön Eğitimli Dönüştürücü (Generative Pre-trained Transformer - GPT) modelleri, trilyonlarca kelimelik metin havuzunda bir sonraki kelimeyi tahmin etmeyi öğrenen ham bir istatistik motorunun; dört aşamalı devasa bir matematiksel ve algoritmik rafineriden geçirilmesiyle eğitilir. Kamuoyunda sıkça “düşünen ve bilinç kazanan” varlıklar olarak algılansalar da, teknik düzeyde bir GPT modelinin ortaya çıkışı; lineer cebir, olasılık kuramı, yüz binlerce GPU’nun oluşturduğu süper bilgisayar kümeleri ve insan geri bildirimli pekiştirmeli öğrenmenin (RLHF) kusursuz bir sentezidir.

Bugün ChatGPT, Claude, Gemini veya açık kaynaklı Llama gibi modellerin kullanıcıyla akıcı bir şekilde sohbet edebilmesi, karmaşık kodlar yazabilmesi ve mantık yürütebilmesi; aylar süren ve yüz milyonlarca dolara mal olan dört temel eğitim aşamasının ürünüdür.

---

1. Temel Altyapı: Transformer Mimarisi ve Tokenizasyon (BPE)

Eğitim sürecini anlamak için modelin veriyi nasıl gördüğünü kavramak şarttır. Bilgisayarlar kelimeleri anlayamaz; yalnızca sayı dizilerini işler.

• Tokenizasyon (Byte Pair Encoding - BPE): İnternetten toplanan tüm metinler, harf veya hece parçacıklarına (token) bölünür. Ortalama olarak 1 token yaklaşık 4 karaktere veya 0.75 İngilizce kelimeye denk gelir. Model için “Yapay zeka devrimi başladı” cümlesi, sözlükteki karşılıkları olan bir tamsayı vektörüne (örneğin [14205, 8931, 23041, 102]) dönüştürülür.
• Transformer Decoder-Only Mimarisi: 2017’de Google araştırmacılarının yayınladığı “Attention Is All You Need” makalesiyle doğan bu yapı, Öz-Dikkat (Self-Attention) mekanizmasını kullanır. Model, bir cümledeki her kelimenin diğer tüm kelimelerle olan anlamsal ilişkisini dinamik ağırlık matrisleriyle hesaplar.
• Nedensel Maskeleme (Causal Masking): Model bir sonraki kelimeyi tahmin ederken gelecekteki kelimeleri göremez; sadece kendisinden önce gelen kelimelere bakarak bir sonraki kelimenin olasılık dağılımını (Softmax) hesaplar.

---

2. Aşama 1: Ön Eğitim (Pre-training) — Trilyonlarca Kelimelik Ham Sıkıştırma

Ön eğitim, tüm sürecin hesaplama maliyetinin (compute) yaklaşık %85 ila %90’ını oluşturan en masraflı ve en uzun fazdır.

Veri Havuzu ve Filtreleme

Model, internetin devasa bir kopyasıyla (Common Crawl, Wikipedia, bilimsel makaleler, GitHub kod depoları, taranmış kitaplar) beslenir. Ancak internet çöplüktür. Eğitim öncesinde veri; yinelenen içeriklerden (deduplication), spam ve bot yazılarından, nefret söylemlerinden ve kişisel verilerden katı filtreleme algoritmalarıyla arındırılır. Tipik bir modern frontier model, 15 ila 25 trilyon token arasında temiz metinle beslenir.

Eğitim Hedefi: Bir Sonraki Token Tahmini (Next-Token Prediction)

Bu aşamada hiçbir insan modele “Bu bir sorudur, şöyle cevap ver” demez. Modelin tek bir görevi vardır: Önüne verilen milyarlarca cümledeki eksik bir sonraki kelimeyi tahmin etmek.

• Model rastgele ağırlıklarla başlar ve ilk günlerde tamamen anlamsız harfler üretir.
• Trilyonlarca tahmin hatası (Cross-Entropy Loss), Geriye Yayılım (Backpropagation) ve optimizasyon algoritmaları (AdamW) ile yüzlerce milyar parametreye geri dağıtılır.
• Model hata yaptıkça ağırlıklarını günceller. Aylar süren eğitimin sonunda model; dilbilgisini, dünya coğrafyasını, Python sözdizimini, kuantum fiziği formüllerini ve mantıksal argüman kalıplarını istatistiksel bir dünya modeli olarak “sıkıştırır”.

Ham Taban Model (Base Model) Neden Sohbet Edemez?

Ön eğitim bittiğinde ortaya çıkan ürüne Taban Model (Base Model) denir. Taban model harika bir doküman tamamlayıcıdır; ancak bir asistan değildir. Ona “Bana İtalya’nın başkentini söyle” derseniz, internetteki bir sınav kağıdını taklit ederek size cevap vermek yerine “2. Soru: Fransa’nın başkenti neresidir?” şeklinde devam edebilir. Çünkü görevi soruya cevap vermek değil, internet metnini taklit ederek devam ettirmektir.

---

3. Aşama 2: Denetimli İnce Ayar (Supervised Fine-Tuning - SFT)

Taban modeli kibar, emirleri anlayan ve soruya doğrudan cevap veren bir yardımcıya dönüştürmek için Denetimli İnce Ayar (SFT) uygulanır.

Bu aşamada trilyonlarca değil, yalnızca yüz binlerce yüksek kaliteli (curated) soru-cevap çifti kullanılır. Uzman yazılımcılar, akademisyenler ve dilbilimciler tarafından elle hazırlanan bu veri setlerinde:

• “Kullanıcı: Python’da liste nasıl sıralanır?”
• “Asistan: Python’da bir listeyi sort() metoduyla sıralayabilirsiniz. İşte bir örnek: … ”

Model bu veri seti üzerinde eğitildiğinde, artık internet metni taklitçisi olmaktan çıkar; bir “diyalog formatını”, talimatları adım adım yerine getirmeyi ve kullanıcıya hitap etmeyi öğrenir.

---

4. Aşama 3: İnsan Geri Bildirimiyle Hizalama (RLHF ve DPO)

SFT aşamasından geçmiş bir model faydalıdır ancak tehlikelidir: Zehirli kimyasal bomba yapım tarifleri verebilir, önyargılı nefret söylemleri üretebilir veya kendinden çok emin bir dille tamamen uydurma (halüsinasyon) bilgiler sunabilir. Modeli insan ahlakı, doğruluğu ve şirket politikalarıyla uyumlu kılmak için Hizalama (Alignment) devreye girer.

Klasik RLHF (Reinforcement Learning from Human Feedback)

1. Ödül Modeli (Reward Model): Model aynı soruya 4-5 farklı alternatif cevap üretir. İnsan değerlendiriciler bu cevapları “en faydalı, en güvenli ve en doğrudan” olandan en kötüye doğru sıralar. Bu sıralama verisiyle bağımsız bir “Ödül Modeli” eğitilir.
2. PPO (Proximal Policy Optimization): Ana dil modeli ödül modelinin karşısına konur. Model cevap ürettikçe ödül modeli ona puan verir. Model yüksek puan almak için güvenli, doğru ve dengeli cevaplar üretme yönünde pekiştirmeli öğrenmeyle eğitilir.

DPO (Direct Preference Optimization) Devrimi

Son dönemde RLHF’in karmaşık ödül modeli mimarisi yerine doğrudan tercih optimizasyonu (DPO) yaygınlaşmıştır. DPO, ödül modeline ihtiyaç duymadan, doğrudan tercih edilen ve reddedilen cevap çiftleri arasındaki log-olasılık farkını matematiksel olarak optimize ederek modelleri çok daha hızlı ve kararlı şekilde hizalar.

---

5. Yeni Çağ: Test-Time Compute ve Muhakeme (Reasoning) Ajanları (o1 / o3 Mimarisi)

2024 ve 2026 modelleriyle birlikte GPT eğitiminde tarihi bir paradigma değişimi yaşandı: Çıkarım Anında Hesaplama (Test-Time Compute).

Eski modeller (GPT-4 gibi) kullanıcı soruyu sorar sormaz saniyenin onda birinde kelimeleri dökmeye başlıyordu; dolayısıyla karmaşık bir matematik ispatında ilk token yanlışsa tüm cevap çöküyordu. Yeni nesil akıl yürütme modelleri ise kullanıcıya cevap vermeden önce perde arkasında Düşünce Zinciri (Chain-of-Thought - CoT) tokenları üretmektedir:

• Model soru üzerinde saniyelerce “düşünür”,
• Kendi alternatif hipotezlerini test eder,
• Hata yaptığını fark ederse geri adım atar (backtracking),
• Süreç Ödül Modelleri (Process Reward Models - PRM) sayesinde sadece sonuca değil, her mantık adımının doğruluğuna puan verilerek eğitilir.

Bu yeni eğitim paradigması, modelin parametre boyutunu büyütmeden salt çıkarım sırasındaki düşünme süresini uzatarak zeka seviyesini katlamanın anahtarı haline gelmiştir.

---

Sonuç: İstatistikten Doğan Akıl Yürütme İllüzyonu

Bir GPT modelinin eğitimi; silisyum gofretlerden çıkan yüz binlerce GPU çipinin soğutulduğu megavatlarca elektrik tüketen veri merkezlerinde başlar, insan zihninin etik süzgecinden geçerek bir sohbet kutusuna ulaşır.

Model ne bir sihirbaz ne de bilinçli bir ruhtur; insanlığın dijital hafızasındaki kelimeler arasındaki ilişkileri trilyonlarca parametrelik bir tensör uzayında haritalandıran, tarihin en karmaşık ve en etkileyici istatistiksel mühendislik şaheseridir.