AI Sözlük
Aktivasyon Fonksiyonu Nedir?
Aktivasyon, katman çıktısını doğrusal olmaktan çıkaran f(·) fonksiyonudur; ReLU ve GELU yaygın örneklerdir.
Tanım
Yalnızca doğrusal katmanlar üst üste konursa sonuç yine doğrusaldır; karmaşık sınırlar öğrenilemez. Aktivasyon fonksiyonu bu darboğazı kırar. ReLU negatifleri sıfırlar ve hızlıdır; GELU Transformer’larda sık görülür; sigmoid/tanh doygunluk sorunu yüzünden derin ağlarda daha az tercih edilir. Aktivasyon seçimi gradyan akışını ve eğitim kararlılığını etkiler. “En iyi aktivasyon” evrensel değildir; mimari ailesine göre standartlaşmıştır.
Dying ReLU sorunu, nöronların sürekli kapalı kalmasıdır; varyantlar bunu azaltmaya çalışır.
LLM’lerde GELU/SiLU gibi pürüzsüz aktivasyonlar yaygındır.
Sık sorulanlar
Neden doğrusal olmasın?
Doğrusal yığın tek doğrusal dönüşüme çöker; ifade gücü yetmez.
Softmax aktivasyon mu?
Çok sınıflı olasılık dağılımı üretir; attention ve sınıflandırma çıkışında kullanılır.