Bağlam Penceresi Büyürken Kalite Neden Düşüyor

Pencere büyür, ilgi seyrelir

Dikkat mekanizması, bir token’ın diğerleriyle kurduğu ağırlıklı bağlantıdır. Dizi uzadıkça bu ağırlıklar daha çok aday arasında paylaştırılır; tek bir ipucunun taşıdığı sinyal, gürültü içinde incelmeye başlar.

Bu, “model unutmuyor, göremiyor” demektir. Bilgi hâlâ girdededir ve model gerektiğinde ondan bahsedebilir. Ancak tam olarak hangi cümleyi hangi bağlamda eşleştirmesi gerektiğini ayırt etmesi zorlaşır.

Uçlar avantajlıdır: dizinin başı sistemin konusuyla, sonu ise en güncel talimatla doludur. Ortada kalan uzun bir bölüm, iki uç arasında istatistiksel olarak daha az önem taşır. Ölçümlerin en çok vurguladığı bulgu budur.

Sadece dikkat değil: kafa karışıklığı

Uzun bağlam çelişki biriktirir. Aynı konu hakkında üç farklı tarih, iki farklı sayı, birbirini geçersiz kılan iki talimat. Modelin eğitimi tutarlı metinler üzerinedir; çelişkili girdide en olası birleşime kayar ve bu birleşim çoğu zaman yanlıştır.

İkinci etmen araç çağrıları ve sistem talimatlarıdır. Uzun bir oturumda düzinelerce araç sonucu birikir; her biri kendi tarih ve sayılarıyla gelir. Model bunların hangisinin geçerli olduğunu değil, hangisinin daha çok tekrarlandığını tahmin eder.

Bu yüzden “daha çok bağlam verelim” refleksi çoğu zaman geri teper. Bağlamın kalitesi, miktarından daha belirleyicidir.

Çürümenin maliyeti: para ve gecikme

Uzun bağlam yalnızca daha az doğru değil, daha pahalı ve daha yavaştır. Önbellekte tutulan anahtar-değer dizileri bellek sınırlarına yürür, her yeni turda okunan veri artar, ilk token gecikmesi uzar.

Kullanıcı bunu hissetmez: arayüzde tek bir “düşünüyor” göstergesi yanar. Arkada ise aynı soru, daha fazla bellek bandı ve daha uzun bir kuyruk demektir. Ölçekli sistemlerde çürümenin tedavisi, çoğu zaman bir önbellek ve budama problemidir.

Çürümeyi yavaşlatan uygulamalar

En etkili yöntem temizliktir: konuşmanın eski turlarını özetleyip ham halini çıkarmak, araç çıktılarını alıntılanmış tek bir satıra indirmek, talimatları sistem alanında sabit tutup bağlamı yalnızca veriden ibaret kılmak.

İkinci yöntem sıralamadır: ipuçlarını dizinin başına ve sonuna yerleştirmek, ortadaki uzun blokları geri çağrılabilir dosyalara taşımak. Arama ile besleme (retrieval) bu işin endüstriyel karşılığıdır; modelin okuduğu alanı küçültür.

Üçüncüsü ölçümdür: bağlam uzadıkça doğruluğun düştüğü kendi sisteminizde ölçülmedikçe, “pencere büyütüyoruz” kararı yalnızca bir pazarlama cümlesidir.

Satıcının söylediği ile olan biten

Pencere rekorları pazarlama dili için idealdir: tek bir sayı, net bir üstünlük iddiası. Oysa “görebilme” ile “kullanabilme” farklı şeylerdir ve ilkini ölçen testler, ikincisini ölçen testlerden daha hızlı ilerler.

Sağlıklı bir bakış, iddiayı tersine çevirmektir: model kaç token’ı kabul ediyor değil, kaç token’ı kabul edip hâlâ doğru cevap verebiliyor. Cevap çoğu sistemde, vaat edilenin çok gerisindedir.

Sık sorulan sorular

Kaynakça

1. Uzun bağlamlı modellerin dejenerasyonuChroma Research
2. Bağlam penceresi ölçümleriarXiv
3. Dikkat ve uzun dizi verimliliğiNVIDIA Developer Blog