AI Sözlük
RLHF Nedir?
RLHF (Reinforcement Learning from Human Feedback), insanların tercih ettiği cevapları ödül sinyeline çevirip modeli bu ödüle göre güncelleyen hizalama ailesidir.
Tanım
RLHF, sohbet modellerinin “kibar, yararlı ve daha güvenli” hissetmesinin arkasındaki temel tekniklerden biridir. Tipik akış: önce pretrain, sonra iyi cevap örnekleriyle SFT, ardından rater’ların “A, B’den iyi” dediği tercih verisi. Bu tercihler bir ödül modeline öğretilir; politika modeli de ödülü yükseltecek şekilde (ör. PPO) güncellenir. DPO gibi yöntemler ayrı RL döngüsünü sadeleştirebilir. RLHF ahlak motoru değildir; rater paneli ve ölçüm tasarımı kaliteyi belirler. Yan etkiler: yalakalık (sycophancy), aşırı uzun cevap, ödül hackleme.
İnsan geri bildirimi doğrudan gradyan değildir; önce veri, sonra proxy hedef olur. Proxy bozulursa model de bozulur.
Kurumsal asistanlarda tam PPO her zaman şart değildir; SFT + güvenlik filtresi + eval bazen yeterlidir.
Sık sorulanlar
RLHF olmadan chatbot olur mu?
Olur ama talimat izleme ve üslup genelde daha zayıf kalır. Hizalama katmanı ürün kalitesini belirgin etkiler.
DPO nedir?
Tercih çiftlerinden doğrudan politika öğrenen, RL döngüsünü sadeleştiren bir hizalama yöntemidir.