AI Sözlük
Regularization Nedir?
Regularization, modele sadeleşme baskısı uygulayarak overfitting’i azaltmayı hedefler; weight decay ve dropout örnekleridir.
Tanım
Regularization (düzenlileştirme), “eğitim setini mükemmel uydur” hırsını frenler. L2 weight decay, büyük ağırlıkları cezalandırır; dropout eğitimde rastgele birimleri kapatır; data augmentation veriyi çeşitlendirir; early stopping aşırı eğitimi keser. Amaç daha iyi genellemedir. Aşırı regularizasyon underfitting yapar. LLM pretrain’de weight decay ve veri çeşitliliği öne çıkar; dropout oranları modern reçetelerde düşmüş olabilir.
Label smoothing ve stochastic depth de regularizasyon ailesine yakındır.
En iyi regularizasyon çoğu zaman daha fazla ve temiz veridir.
Sık sorulanlar
Weight decay nedir?
Ağırlık büyüklüğünü cezalandıran regularizasyondur; genelde L2 ile ilişkilidir.
Dropout ne işe yarar?
Eğitimde rastgele birimleri sıfırlayarak eş-adaptasyonu kırar.