AI Sözlük
LoRA Nedir?
LoRA, büyük ağırlık matrislerine düşük rütbeli güncelleme ekleyerek az parametreyle fine-tune yapar; taban model çoğu zaman dondurulur.
Tanım
LoRA, dev dil modellerini her seferinde baştan eğitmeden uyarlamanın popüler yoludur. Fikir şudur: göreve özel değişiklikler, tam boyutlu matris yerine düşük rütbeli iki küçük matrisin çarpımıyla yaklaşık ifade edilebilir. Eğitimde ana ağırlıklar sabit kalabilir; yalnızca bu küçük adapter’lar öğrenilir. Sonuçta VRAM, süre ve checkpoint boyutu düşer. Birden fazla LoRA, aynı taban üzerinde farklı “fişler” gibi yönetilebilir. LoRA her sorunu çözmez: tamamen yeni yetenek veya dev domain kayması için full fine-tune veya continued pretraining gerekebilir. r (rank) ve hangi katmanlara uygulandığı hiperparametredir.
QLoRA, quantize edilmiş taban model üzerinde LoRA eğiterek tüketici GPU’larında ince ayarı mümkün kılar.
Üretimde LoRA’yı merge edip tek checkpoint yapmak serving’i basitleştirir; ayrı tutmak ise çok müşterili senaryolarda esneklik sağlar.
Sık sorulanlar
LoRA full fine-tune kadar iyi mi?
Birçok uyarlama görevinde yeterlidir. Zor ve büyük dağılım kaymalarında full FT avantajlı olabilir.
r değeri ne olmalı?
Göreve göre dener. Çok küçük r kapasiteyi kısıtlar; çok büyük r ucuzluk avantajını yer.