AI Sözlük
DPO Nedir?
Direct Preference Optimization, “iyi vs kötü cevap” çiftleriyle modeli RL’siz hizalamaya çalışan bir tercihe dayalı fine-tune yöntemidir.
Tanım
DPO, RLHF’nin karmaşık PPO döngüsüne alternatif olarak popülerleşti. İnsan veya öğretmen model tercihleri (chosen/rejected) üzerinden loss tanımlanır; politika doğrudan güncellenir. Uygulaması daha basittir ama veri kalitesine bağımlıdır. DPO da ödül hackleme ve üslup kayması üretebilir. Eval olmadan “DPO yaptık” yetmez.
IPO, KTO gibi akrabalar farklı tercih loss’ları önerir.
Tercih verisi dar ise model dar bir “kibarlık” tanımına kilitlenir.
Sık sorulanlar
RLHF’nin yerini alır mı?
Birçok senaryoda pratik alternatifdir; her laboratuvar aynı stack’i kullanmaz.
Tercih verisi nasıl toplanır?
Aynı prompt’a iki cevap, rater seçimi; veya otomatik yargıç modeller (dikkatli).