AI Sözlük
Context Window Nedir?
Context window, bir istekte modele verilebilen toplam token bütçesidir; soru, geçmiş sohbet, belgeler ve üretilecek cevap bu bütçeyi paylaşır.
Tanım
Context window, dil modelinin “aynı anda aklında tutabildiği” metin miktarının token cinsinden sınırıdır. 8K, 128K veya 1M gibi rakamlar bu pencerenin büyüklüğünü anlatır. Pencere yalnızca kullanıcı sorusunu değil; sistem talimatını, sohbet geçmişini, RAG ile eklenen belgeleri ve modelin üreteceği cevabı da kapsar. Pencere dolunca sistem genelde en eski mesajları keser veya özetler; kullanıcı bunu “model unuttu” diye yorumlar. Unutma çoğu zaman ağırlık kaybı değil, girdinin kesilmesidir. Daha büyük pencere her zaman daha iyi kullanım demek değildir; model ortadaki bilgiyi zayıf kullanabilir (lost in the middle) ve maliyet artar.
Ürün tasarımında context politikası bilinçli seçilmelidir: neyi pin’lersiniz, neyi özetlersiniz, neyi RAG’e devredersiniz? Sistem prompt’unu şişirip kullanıcı içeriğine yer bırakmamak yaygın hatadır.
Uzun bağlam iddialarını gerçek görevlerle test edin. “1M destekliyor” manşeti, her belgede iğne-samanlık başarısı garantisi değildir.
Sık sorulanlar
Context window dolunca ne olur?
Genelde eski token’lar düşer veya özetlenir. Model o anki forward pass’te pencere dışı metni görmez.
Daha büyük pencere her zaman iyi mi?
Hayır. Maliyet, gecikme ve “ortayı kaybetme” riski artabilir. Görev için yeterli ve iyi yönetilen bağlam daha değerlidir.