AI Sözlük
Calibration Nedir?
İyi kalibre modelde öngörülen olasılıklar, empirik doğruluk frekanslarıyla uyumludur.
Tanım
Modern ağlar aşırı özgüvenli olabilir. Calibration, olasılık çıktılarının güvenilirliğini ölçer ve düzeltir (Platt scaling, temperature scaling). LLM’lerde sözel özgüven ile gerçek doğruluk sıkça uyumsuzdur. Kritik kararlarda kalibrasyon ve “bilmiyorum” davranışı güvenlik özelliğidir. ECE gibi metrikler kalibrasyon hatasını özetler.
Temperature scaling basit ve etkili bir post-hoc yöntemdir.
İyi accuracy kötü kalibrasyonu gizleyebilir.
Sık sorulanlar
Overconfidence nedir?
Modelin olasılığı haklılık oranından yüksek vermesidir.
Neden önemli?
Risk yönetimi ve insan güveni için olasılıklar güvenilir olmalıdır.