AI Sözlük
Transformer Nedir?
Transformer, 2017’de önerilen ve attention mekanizmasıyla dizilerdeki ilişkileri paralel modelleyen mimaridir; GPT ve Claude gibi LLM’lerin temelidir.
Tanım
Transformer, “Attention Is All You Need” makalesiyle popülerleşen bir derin öğrenme mimarisidir. Klasik RNN’ler metni adım adım işlerken Transformer, self-attention sayesinde dizideki her konumun diğer konumlara doğrudan bakmasına izin verir. Bu, uzun menzilli bağımlılıkları modellemeyi ve GPU’larda paralel eğitimi kolaylaştırır. Mimari genelde attention katmanları, ileri beslemeli ağlar (FFN), normalizasyon ve residual bağlantılardan oluşur. Bugünün büyük dil modelleri, çoğunlukla decoder-only Transformer yığınlarıdır. Position bilgisi (RoPE vb.) sırayı ekler; çünkü saf attention tek başına sıraya duyarsız olabilir.
Encoder-decoder Transformer’lar çeviri gibi görevlerde kullanılır. Decoder-only modeller ise soldan sağa dil modelleme için yaygındır.
Maliyet tarafında attention O(n²) ölçeklenebilir; uzun bağlamda sparse attention, sliding window ve KV cache gibi mühendislikler devreye girer.
Sık sorulanlar
Tüm LLM’ler Transformer mı?
Bugün fiilen evet, büyük çoğunluk Transformer türevidir. Araştırma alternatifleri vardır ama üretimde Transformer baskındır.
Attention ne yapar?
Her token’ın diğer token’lara verdiği ağırlıklı ilgiyi hesaplar ve temsilleri karıştırır.