AI Sözlük
Softmax Nedir?
Softmax, bir vektörü pozitif ve toplamı 1 olan olasılıklara dönüştürür; en büyük değer en yüksek olasılığı alır.
Tanım
Softmax, logit adı verilen ham skorları olasılığa map eder. Üstel alıp normalize eder; büyük skor baskın hale gelir. Dil modelinde sıradaki token dağılımı, sınıflandırmada sınıf olasılıkları böyle üretilir. Attention’da da skorlar softmax ile ağırlığa döner. Temperature, softmax girdisini ölçekleyerek dağılımı sivrileştirir veya yumuşatır. Sayısal taşma riskine karşı kararlı implementasyonlar (max çıkarma) kullanılır.
Argmax tek en yüksek sınıfı seçer; softmax ise tüm dağılımı verir.
Çok sınıflı problemlerde cross-entropy loss softmax ile birlikte gelir.
Sık sorulanlar
Logit nedir?
Softmax öncesi ham skordur.
Temperature softmax’ı nasıl etkiler?
Logit’leri bölerek dağılım entropisini değiştirir.