AI Sözlük
Attention (Dikkat) Nedir?
Attention, sorgu-anahtar benzerliğiyle ilgi skorları üretip değer vektörlerini ağırlıklı toplayan öğrenilmiş bir karışım işlemidir; bilinçli bakış değildir.
Tanım
Attention mekanizması, dizideki bir öğenin diğer öğelerle ilişkisini dinamik olarak modellemeye yarar. Pratikte her token için sorgu (Q), anahtar (K) ve değer (V) vektörleri üretilir. Q ile K’nin benzerliği skor verir; skorlar softmax ile ağırlığa dönüşür ve V’ler bu ağırlıklarla toplanır. Böylece “bank” kelimesinin finans mı nehir kenarı mı olduğu, etrafındaki token’lara göre karışır. Multi-head attention, bu işlemi birden fazla altuzayda paralel yapar. Causal maske, dil modelinde geleceğe bakmayı engeller. Attention haritaları bazen yorum için ipucu verir ama tek başına “model buraya baktı” kanıtı değildir.
Self-attention aynı dizi içinde çalışır. Cross-attention bir dizinin sorgusunu başka bir dizinin anahtar/değerine bağlar (ör. encoder-decoder).
Hesap ve bellek maliyeti dizi uzunluğunun karesiyle büyüyebilir; bu yüzden uzun bağlamda mühendislik varyantları doğmuştur.
Sık sorulanlar
Self-attention nedir?
Dizinin kendi içinde her token’ın diğer token’lara dikkat ettiği attention türüdür.
Attention = anlama mı?
Hayır. Öğrenilmiş ağırlıklı toplamadır. Anlam insan yorumudur; mekanizma sayısaldır.