AI Sözlük
Quantization Nedir?
Quantization, float ağırlıkları daha az bit ile temsil ederek modeli küçültür ve genelde çıkarımı ucuzlatır; kalite kaybı görevle ölçülür.
Tanım
Quantization, sinir ağı parametrelerini (ve bazen aktivasyonları) daha düşük hassasiyetle saklama tekniğidir. Örneğin 16-bit float yerine 8-bit veya 4-bit tamsayıya map edilir. Amaç bellek kullanımını, yükleme süresini ve bazı donanımlarda hızı iyileştirmektir. Edge cihazlar ve tüketici GPU’ları bu sayede daha büyük modelleri çalıştırabilir. Bedeli vardır: zor muhakeme, nadir bilgi ve sayısal hassasiyet isteyen işlerde bozulma görülebilir. GPTQ, AWQ, GGUF gibi yöntemler kaybı azaltmaya çalışır ama “sıfır kayıp” vaadi genelde yanlıştır. Üretimde FP16 ile quantized model A/B edilmelidir.
Ağırlık quant’ı ile aktivasyon quant’ı farklı zorluktadır. Aktivasyonlarda outlier’lar aralığı şişirebilir.
KV cache quant’ı serving’de ayrıca bellek kazandırır; uzun sohbet ürünlerinde kritik olabilir.
Sık sorulanlar
4-bit model aynı model midir?
Aynı mimari ve çoğu davranış korunur ama sayısal olarak yaklaşık bir kopyadır. Kalite farkı görevle ölçülür.
Ne zaman quantize etmeli?
Bellek/hız baskısı varken ve eval kaybı kabul edilebilirken. Kritik doğrulukta temkinli olun.