AI Sözlük
KV Cache Nedir?
KV cache, attention katmanlarında geçmiş K ve V vektörlerini yeniden hesaplamadan tutar; her yeni token için geçmişi baştan kurmayı önler.
Tanım
KV cache, büyük dil modellerinin metin üretirken kullandığı kritik bir hız optimizasyonudur. Autoregressive üretimde her yeni token, önceki tüm bağlamın attention hesabına ihtiyaç duyar. Cache yoksa model her adımda geçmişi yeniden projekte eder; maliyet kuadratik şişer. KV cache, geçmiş anahtar (K) ve değer (V) tensörlerini saklar; yeni adımda yalnızca yeni satır eklenir. Sonuç: decode hızlanır. Bedeli bellektir; uzun bağlam ve çok kullanıcıda GPU RAM’i KV ile dolabilir. PagedAttention, GQA ve quantize KV bu bellek baskısını yönetmek için kullanılır.
Prefill aşamasında uzun prompt bir kerede işlenir ve cache dolar. Decode aşamasında cache okunur ve büyür.
Ürün ekipleri için: gereksiz uzun history her seferinde bellek ve para yer. Cache dostu sohbet tasarımı maliyet düşürür.
Sık sorulanlar
KV cache olmadan ne olur?
Her token için geçmiş yeniden hesaplanır; üretim pratikte çok yavaş ve pahalı hale gelir.
Neden bellek yer?
Her katman ve head için past token K/V tutulur; bağlam ve batch ile lineer büyür.