Katmanlar Arası Dikkat Karışımı

Neden her katman tam dikkat olmak zorunda değil

Tam dikkat, her token’ın dizideki tüm tokenlarla ilişki kurmasıdır. Doğal dilde bu ilişkilerin büyük kısmı yakındır: bir cümlenin öznesi çoğunlukla birkaç kelime önce gelir, bir talimatın nesnesi hemen altındadır.

Yani maliyet ile fayda aynı oranda artmaz. Dizinin tamamına bakmak için ödenen bellek ve hesap bedeli, çoğu katmanda elde edilen yararın çok üstündedir. Hibrit mimarinin başlangıç noktası bu gözlemdir.

Kayan pencere bu yüzden mantıklıdır: her token yalnızca kendinden önceki sabit bir aralığı görür. Hesap doğrusal büyür, bellek sabit kalır ve uzun diziler pratik hale gelir.

Karışım nasıl kuruluyor

Model katmanları sırayla dizilir ve bazılarına “tam”, diğerlerine “yerel” dikkat verilir. Tipik olarak her tam katmana birkaç yerel katman eşlik eder; oran, modelin boyutuna göre ayarlanır.

Yerel katmanlar yakındaki sözdizimini ve anlamı kurar; tam katmanlar bu yerel temsiller arasında uzak bağlar kurar. Uzak ilişkiler seyrek ama pahalıdır, bu yüzden az sayıda katmana bırakılır.

Bir diğer seçenek, tam dikkatin yerini alacak doğrusal alternatiflerdir: durum uzayı katmanları, sabit boyutlu özet bellekler, gruplandırılmış sorgu dikkat varyantları. Hepsi aynı sorunun farklı cevaplarıdır ve hiçbiri tek başına tam dikkatin davranışını tam olarak vermez.

Kazanç: bellek bandı ve ilk token gecikmesi

Çıkarım sırasında maliyetin önemli kısmı hesap değil veri taşımaktır. Anahtar-değer dizisi her turda okunur; dizi uzadıkça hızlandırıcının bellek bandı yetmez hale gelir ve model “düşünmeye” değil “beklemeye” başlar.

Yerel katmanlar bu diziyi sabit boyutta tutar. Bir modelde katmanların çoğu yerelse, okunan veri katlanarak büyümekten kurtulur; uzun bağlamda gecikme ve enerji tüketimi öngörülebilir hale gelir.

Bu, cihaz üstü çalışım için de belirleyicidir. Telefon ve taşınabilir bilgisayarda bant genişliği değil bellek kapasitesi sınır koyar; hibrit katmanlar, büyük pencereyi küçük donanıma taşımanın şu anki tek gerçekçi yoludur.

Risk: uzak bağın koptuğu yer

Karışımın başarısı, hangi katmanın tam olduğuna değil, tam katmanların ne sıklıkta geldiğine bağlıdır. Oran çok yerel tarafına kaçarsa, belgenin başındaki bir tanımla sonundaki bir sonuç arasındaki bağ kaybolur.

Belirti tanıdık ve tehlikelidir: model akıcı ama yüzeysel cevap verir, uzun bağlamda “hatırlıyormuş gibi” yapar. Kalite ölçümleri düşer, fakat tek başına bir hata sinyali üretmez; çürüme sessizdir.

Bu yüzden hibrit mimariler, uzun bağlam testleriyle değil, uzun bağlam testlerinin dağılımıyla doğrulanır. İpin ortasında kalan bilgi, ucunda kalan bilgiden farklı davranır ve ikisi birden ölçülmeden karar verilmez.

Sonraki soru: dikkat kazanır mı, bölüşür mü

Açık kalan nokta, aynı modelde hem yerel hem uzak dikkatin öğrenilmiş mi yoksa sabit mi olması gerektiğidir. Sabit oranlar eğitimi öngörülebilir kılar; din oranlar, görevin uzaklığa ne kadar ihtiyaç duyduğuna göre kaynak dağıtabilir.

Pratikte sektör, eğitimi basit tutan sabit oranlarda ilerliyor. Sonuç yeterince iyi: uzun bağlam, kaliteyi kısmen ödeyerek satın alınabilir hale geliyor. Asıl soru, bu ödünleşimin ne kadarının gereksiz olduğunu henüz bilmiyoruz.

Sık sorulan sorular

Kaynakça

1. Dikkat mimarilerinde verimlilik çalışmalarıarXiv
2. Açık kaynak modellerde hibrit dikkat notlarıHugging Face
3. Çıkarım bellek bant genişliği analiziMIT Technology Review