Yapay Zekâ Devrimini Başlatan 11 Sayfalık Sır: ‘Attention Is All You Need’ (Transformer) Makalesi Tam Olarak Neyi Anlatıyor?

Modern bilim tarihinde yalnızca 11 sayfalık bir PDF dosyasının küresel ekonomiyi trilyonlarca dolar büyüttüğü, çip savaşlarını tetiklediği ve insanlığın bilgiyle kurduğu ilişkiyi kökten değiştirdiği çok az an vardır. Haziran 2017’de Google Brain ve Google Research bünyesindeki sekiz araştırmacı (Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser ve Illia Polosukhin) tarafından arXiv’e yüklenen “Attention Is All You Need” (İhtiyacınız Olan Tek Şey Dikkat) başlıklı makale, tam olarak bu tarihsel kırılmayı gerçekleştirdi.

Bugün kullandığımız ChatGPT (GPT, OpenAI), Claude, Gemini, DeepSeek ve hatta video üreten Sora modellerinin tamamı, adı “Transformer” (Dönüştürücü) olan bu mimarinin doğrudan çocuklarıdır. Peki bu efsanevi makale 2017 öncesindeki hangi büyük krizi çözdü ve Adım 1’den Adım 6’ya kadar tam olarak nasıl çalışıyor? İşte karmaşık denklemleri herkesin anlayabileceği berraklıkla çözen adım adım makale analizi.

---

1. 2017 Öncesi Karanlık Çağ: RNN ve LSTM’ler Neden Duvara Tosladı?

Transformer makalesi yazılmadan önce dil çevirisi ve metin analizi için Tekrarlayan Sinir Ağları (RNN) ve LSTM (Uzun-Kısa Süreli Bellek) modelleri kullanılıyordu. Ancak bu modellerin iki ölümcül kusuru vardı:

1. Kelime Kelime Sıralı İşleme Darboğazı (Sequential Bottleneck): Bir RNN modeli cümleyi tıpkı heceleyerek okuyan biri gibi soldan sağa tek tek işliyordu. Cümlenin 10. kelimesini hesaplamak için 1’den 9’a kadar olan kelimelerin işleminin bitmesini beklemek zorundaydı. Bu yüzden binlerce çekirdekli GPU’larda paralel eğitim yapılamıyor, devasa veri setlerini eğitmek imkânsız hale geliyordu.
2. Uzun Cümlelerde ‘Unutkanlık’ (Vanishing Gradient): 100 kelimelik bir paragrafın sonuna gelindiğinde, model paragrafın başındaki özneyi unutuyordu; çünkü bilgi her kelimeden diğerine aktarılırken darboğazda ezilip kayboluyordu.

Vaswani ve ekibi makalede çok radikal bir karar aldı: “Tekrarlayan (Recurrent) ve Evrişimli (Convolutional) katmanların tamamını çöpe atıyoruz; kelimeleri sırayla değil, hepsini aynı anda tek seferde içeri alacağız ve sadece ‘Dikkat’ (Attention) mekanizmasını kullanacağız!“

---

2. Adım 1: Kelimeleri Sayılara Çevirmek ve ‘Konum Kodlaması’ (Positional Encoding)

Bütün kelimeleri modele aynı anda paralel olarak verdiğinizde ortaya tuhaf bir sorun çıkar: Model kelimelerin sırasını bilmez! Yani “Köpek adamı ısırdı” ile “Adam köpeği ısırdı” cümleleri model için aynı kelime torbasıdır.

Makale bunu iki aşamalı bir giriş hazırlığıyla çözer:

• Gömme Vektörleri (Input Embeddings): Her kelime (token), anlamını temsil eden 512 boyutlu ($d_{\text{model}} = 512$) bir sayı dizisine (vektöre) dönüştürülür.
• Sinüzoidal Konum Kodlaması (Positional Encoding): Kelimenin cümlede kaçıncı sırada olduğunu modele öğretmek için, her kelimenin vektörüne farklı frekanslardaki Sinüs ve Kosinüs dalgalarından üretilen benzersiz bir konum imzası eklenir: $$PE_{(pos, 2i)} = \sin\left(\frac{pos}{10000^{2i/d_{\text{model}}}}\right), \quad PE_{(pos, 2i+1)} = \cos\left(\frac{pos}{10000^{2i/d_{\text{model}}}}\right)$$ Böylece model hem kelimenin anlamını hem de cümledeki tam koordinatını aynı vektör içinde taşır.

---

3. Adım 2: Makalenin Kalbi — Öz-Dikkat (Scaled Dot-Product Self-Attention)

Peki bir cümledeki kelimeler birbirini nasıl anlar? Örneğin: “Hayvan caddeyi geçmedi çünkü o çok yorgundu” cümlesindeki “o” zamirinin “caddeyi” değil “hayvanı” nitelendirdiğini makine nasıl çözer?

İşte burada Öz-Dikkat (Self-Attention) devreye girer. Cümledeki her bir kelime için öğrenilebilir ağırlık matrisleriyle üç ayrı rol vektörü üretilir:

• Sorgu ($Q$ - Query): Kelimenin diğer kelimelerde ne aradığı (“Ben ‘o’ zamiriyim, cümlede hangi özneyi temsil ediyorum?”).
• Anahtar ($K$ - Key): Her kelimenin yakasında taşıdığı kimlik kartı (“Ben tekil canlı bir isimim”).
• Değer ($V$ - Value): Eşleşme sağlandığında kelimenin aktaracağı gerçek anlamsal içerik.

Makalenin en ünlü denklemi bu üç vektörü şöyle birleştirir:

$$\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V$$

1. $QK^T$ Çarpımı: Her kelimenin Sorgusu ($Q$), cümledeki diğer tüm kelimelerin Anahtarlarıyla ($K$) nokta çarpımına (dot-product) sokulur. İki kelime birbiriyle ne kadar ilişkiliyse çıkan puan o kadar yüksek olur.
2. $\sqrt{d_k}$ ile Ölçekleme (Scaling): Çarpım sonuçları çok büyüyüp gradyanları sıfırlamasın diye anahtar boyutunun kareköküne ($\sqrt{64} = 8$) bölünür.
3. Softmax ve $V$ Çarpımı: Puanlar toplamı 1 olan yüzdelik olasılıklara çevrilir ve Değer ($V$) matrisiyle çarpılır. Sonuçta “o” kelimesinin vektörü, “hayvan” kelimesinin anlamıyla zenginleşmiş olarak bir üst katmana çıkar!

---

4. Adım 3: Çok Başlı Dikkat (Multi-Head Attention) — Aynı Cümleye 8 Farklı Gözle Bakmak

Makale yazarları tek bir dikkat hesaplamasıyla yetinmedi; 512 boyutlu vektörü 8 paralel parçaya ($h=8$, her biri 64 boyutlu) bölerek Çok Başlı Dikkat (Multi-Head Attention) mekanizmasını kurdu.

Neden 8 ayrı başlık? Çünkü bir cümlede birden fazla dilbilgisel ilişki vardır:

• 1. Başlık özne ile yüklem arasındaki ilişkiye odaklanırken,
• 2. Başlık zamirin hangi isme işaret ettiğini çözer,
• 3. Başlık cümlenin zaman eklerini ve duygusal tonunu yakalar. Sonunda bu 8 uzman başlığın bulguları uç uca eklenerek (Concatenate) tek bir süper-bağlam vektörüne dönüştürülür.

---

5. Adım 4 ve 5: Kodlayıcı (Encoder) ve Kod Çözücü (Decoder) Kuleleri

Makaledeki orijinal Transformer diyagramı yan yana duran iki kuleden oluşur:

Mimari Kule	Katman Yapısı ($N=6$)	Temel Görevi	Günümüzde Hangi Modellere İlham Verdi?
Sol Kule: Kodlayıcı (Encoder)	Çok Başlı Öz-Dikkat + Artık Bağlantı (Add & Norm) + İleri Beslemeli Ağ (FFN)	Giriş metnini (ör. İngilizce cümleyi) çift yönlü olarak okur ve derin anlamsal haritasını çıkarır.	BERT, RoBERTa, Gömme (Embedding) ve Arama Modelleri
Sağ Kule: Kod Çözücü (Decoder)	Maskeli (Masked) Öz-Dikkat + Çapraz Dikkat (Cross-Attention) + FFN	Gelecekteki kelimeleri görmesi maskelenerek (kopya çekmemesi için) hedef metni kelime kelime (otoregresif) üretir.	GPT Serisi (ChatGPT), Claude, Gemini, Llama, DeepSeek

Modern büyük dil modellerinin (GPT-4, GPT-6, Claude) neredeyse tamamı, bu tablodaki Sağ Kulenin (Decoder-Only) milyarlarca parametreye ölçeklendirilmiş halidir.

---

6. Makalenin Mirası: Neden “İhtiyacınız Olan Tek Şey Dikkat” Çağı Başladı?

2017’de sadece İngilizce-Almanca çeviri testinde (WMT 2014) rekor kırmak için tasarlanan ve 8 adet Nvidia P100 GPU üzerinde sadece 3,5 günde eğitilen orijinal Transformer modeli, derin öğrenmenin önündeki “GPU paralelleştirme” kilidini kırdı.

Artık modeller kelimeleri sırayla beklemek zorunda olmadığı için; OpenAI, Google ve Anthropic binlerce GPU’yu birbirine bağlayarak tüm insanlığın yazılı kültürünü aynı anda bu dikkat matrislerinden geçirebildi. Üstelik makaleyi yazan 8 araştırmacının tamamı daha sonra Google’dan ayrılarak Character.AI, Cohere, Essential AI, Sakana AI ve OpenAI gibi milyar dolarlık yapay zekâ devlerinin kurucuları ve baş mimarları oldu.

---

Sonuç: Bir Nokta Çarpımının Değiştirdiği Dünya

“Attention Is All You Need” makalesi bize şunu kanıtladı: Zekâ dediğimiz şey, karmaşık ve hantal döngülerde değil; hangi bilginin hangi bilgiyle ilişkili olduğuna doğru anda “dikkat kesilebilme” matematiğinde gizlidir. İki matrisin basit bir nokta çarpımı ($QK^T$), insanlık tarihinin en güçlü teknolojisini doğurmaya yetmiştir.