AI Sözlük
Pekiştirmeli Öğrenme (RL) Nedir?
RL’de ajan deneme-yanılma ile ödülü maksimize edecek eylem politikasını öğrenir; etiketli doğru cevap yerine ödül vardır.
Tanım
Pekiştirmeli öğrenme (RL), bir ajanın durumları gözleyip eylem seçtiği ve ödül aldığı senaryolarda çalışır. Oyun, robotik ve kontrol klasik alanlardır. LLM hizalamasında RLHF, insan tercihini ödül proxy’sine çevirerek bu çerçeveyi kullanır. RL kararsız ve örnek verimsiz olabilir; ödül tasarımı kritiktir. Kötü ödül, istenmeyen ama yüksek skorlu davranış üretir (reward hacking).
Offline RL, sabit log verisinden öğrenir; online RL etkileşim ister.
Güvenlik açısından keşif (exploration) sınırlanmalıdır.
Sık sorulanlar
Politika nedir?
Duruma göre eylem seçme stratejisidir.
RLHF neden RL?
Ödül modeline göre politika güncellenir; klasik denetimli etiket yerine tercih/ödül vardır.