AI Sözlük
Loss (Kayıp) Nedir?
Loss fonksiyonu, modelin hatasını sayıya çevirir; gradient descent bu değeri azaltacak şekilde ağırlıkları günceller.
Tanım
Loss (kayıp), eğitimin pusulasıdır. Dil modellerinde sıkça next-token negatif log-likelihood kullanılır: model doğru sonraki token’a ne kadar düşük olasılık veriyorsa kayıp o kadar yüksektir. Optimizasyon kaybı düşürmeye çalışır. Ancak düşük loss, her zaman iyi ürün deneyimi demek değildir. Yanlış kayıp veya kötü veri, “matematiksel olarak iyi, pratikte kötü” model üretir. Validation loss, overfitting’i izlemek için train loss ile birlikte okunur. RLHF’de kayıp tercih veya ödül proxy’sine dönüşebilir; yine proxy kalitesi kritiktir.
Farklı görevler farklı loss ister: sınıflandırmada çapraz entropi, regresyonda MSE vb.
Yalnızca loss’a bakıp deploy etmek risklidir. İnsan eval ve iş KPI’sı şarttır.
Sık sorulanlar
Loss sıfır olmalı mı?
Pratikte sıfır genelleme garantisi değildir ve ezber riski taşır. Hedef genelleyen performanstır.
Perplexity nedir?
Dil modellerinde kayıpla ilişkili bir belirsizlik ölçüsüdür; daha düşük genelde daha iyi dil modellemesi sinyali verir.