Yerel LLM İçin VRAM Hesabı: Hangi Model Kaç GB VRAM İster? (2026 Tablosu)

“Bu model benim kartta çalışır mı?” sorusunun cevabı bir benchmark değil, dört işlemlik bir hesaptır. Yerel LLM kullanıcılarının en sık yaptığı hata, model boyutunu yalnızca parametre sayısıyla eşleştirmektir. Oysa gerçek VRAM ihtiyacı üç bileşenin toplamıdır: kuantizasyonla sıkıştırılmış model ağırlıkları, bağlam penceresi için büyüyen KV önbelleği ve çıkarım motorunun çalışma buffer’ları. Bu rehberde o üç bileşeni tek tek ölçüp, kendi kurulumunuzun ihtiyacını hesaplayabileceğiniz bir formül ve 2026’nın yaygın model–VRAM eşleşme tablosunu sunuyoruz.

Bileşen 1: Model ağırlıkları — kuantizasyon matematiği

Bir parametre, kuantizasyon bitine göre şunları yer kaplar:

Kuantizasyon	Parametre başına byte	7B model	14B model	32B model	70B model
FP16 (sıkıştırmasız)	2,0	~14 GB	~28 GB	~64 GB	~140 GB
Q8_0	~1,06	~7,5 GB	~15 GB	~34 GB	~75 GB
Q5_K_M	~0,68	~5 GB	~10 GB	~22 GB	~48 GB
Q4_K_M	~0,58	~4,5 GB	~8,5 GB	~19 GB	~41 GB
Q3_K_M	~0,46	~3,5 GB	~6,5 GB	~15 GB	~32 GB

Pratikte GGUF dosya boyutuna bakmak en hızlı yöntemdir: dosya boyutu, model ağırlıklarının VRAM ihtiyacına yaklaşık eşittir. Q4_K_M, kalite/kapasite dengesinin topluluk standardıdır; Q5_K_M kalite kaybını çoğu kullanıcının fark etmeyeceği seviyeye indirir.

Bileşen 2: KV önbelleği — gözden kaçan canavar

Model ağırlıkları sabittir; büyüyen şey bağlam penceresidir. Her token, her katman için anahtar/değer (KV) çifti üretir. Kaba formül: KV önbelleği ≈ katman sayısı × bağlam token sayısı × model genişliği × 2 (K+V) × byte/öğe. FP16 KV için pratik yaklaşımlar:

• 7B–8B sınıfı, 8K bağlam: ~1–1,5 GB
• 32B sınıfı, 16K bağlam: ~3–5 GB
• 70B sınıfı, 32K bağlam: ~10–16 GB

GQA (grouped-query attention) kullanan modern modeller bu tabloyu 2–8 kat daraltır; Qwen ve Llama 3+ nesli modellerin KV ayak izi eski nesillere göre belirgin küçüktür. KV quantizasyonu (Q8 KV cache) aktifken bu değer yarılabilir.

Bileşen 3: Çalışma buffer’ları

Çıkarım motoru (llama.cpp, vLLM vb.) aktivasyonlar ve CUDA çekirdek bağlamları için 0,5–1,5 GB ekstra yer ister. Masaüstünüzün de GPU’dan pay aldığını unutmayın: görüntülenen masaüstü ~0,3–1 GB yer kaplar. Sunucu modunda (headless) bu payı geri kazanırsınız.

Toplam formül ve hızlı hesap

Gerekli VRAM ≈ GGUF dosya boyutu + KV önbelleği (bağlama göre) + 1–2 GB pay.

Örnek: 32B model Q4_K_M (19 GB) + 16K bağlam (4 GB) + pay (1,5 GB) ≈ 24,5 GB → tek RTX 3090 sınırda, bağlamı 8K’ya çekmek gerekir; 5090’da rahat.

2026 hazır eşleşme tablosu (Q4 kuantizasyon + makul bağlam)

Model sınıfı	Pratik VRAM ihtiyacı	Minimum kart sınıfı
3B–4B	~3–4 GB	8 GB kart / laptop GPU
7B–9B	~6–9 GB	12 GB rahat, 8 GB dar
13B–14B	~10–13 GB	12 GB sınırda, 16 GB rahat
22B–27B	~16–20 GB	16 GB dar, 24 GB rahat
30B–34B	~20–26 GB	24 GB sınırda, 32 GB rahat
70B	~40–50 GB	2×24 GB veya 48 GB üstü
100B+ (MoE)	RAM hibrit veya veri merkezi	Çok GPU / sunucu

Bellek yetmezse: üç seçenek, üç bedel

1. Daha agresif kuantizasyon (Q4→Q3): Model küçülür ama kalite kaybı belirginleşir; 70B Q3, 32B Q4’ten genellikle kötü sonuç verir.
2. Katman taşırma (offload): Modelin bir kısmı CPU/RAM’de çalışır. Hız, karttaki payın oranıyla neredeyse doğrusal düşer — %40 taşırma, 100 tok/sn’den 15 tok/sn’e indirebilir.
3. MoE modelleri: Toplam parametre büyük, aktif parametre küçük olan uzman modelleri, düşük bant genişliğinde bile makul hız verir; VRAM sınırındaki kullanıcılar için 2026’nın en akıllı kurtarıcı yolu.

Sonuç

VRAM hesabı, satın almadan önce iki dakika alınacak bir karar aracıdır: hedeflediğiniz modelin GGUF boyutunu bulun, kullanacağınız bağlam penceresini belirleyin, 1,5 GB pay ekleyin ve çıkan rakam kartınızın belleğinin altında mı bakın. Altındaysa tam hız; üstündaysa hız sızdırıyor demektir. Tablolar yıl geçtikçe “model başına gerekli GB”yı düşürse de (KV iyileştirmeleri, NVFP4, MoE), temel aritmetik değişmiyor: yerel AI’da bant genişliği hızınızı, VRAM ise özgürlük alanınızı belirler.