AI Sözlük
Dropout Nedir?
Dropout, her adımda rastgele birimleri devre dışı bırakarak ağın tek yola bağımlı olmasını engeller ve genellemeyi destekler.
Tanım
Dropout, eğitim sırasında belirli olasılıkla aktivasyonları sıfırlar. Ağ her mini-batch’te biraz farklı bir alt yapı gibi çalışır; bu, örtük ensemble etkisi yaratır. Çıkarımda dropout genelde kapatılır veya ölçeklenir. Modern dev LLM pretrain’de dropout kullanımı azalmış olabilir; yine de ince ayar ve klasik ağlarda yaygındır. Aşırı dropout öğrenmeyi boğar; oran görevle ayarlanmalıdır.
Attention dropout ve residual dropout gibi varyantlar vardır.
Inference’da unutulan train modu rastgele kalite üretir; bug kaynağıdır.
Sık sorulanlar
p=0.5 ne demek?
Her birimin %50 olasılıkla kapatılması anlamına gelen klasik bir ayardır; her zaman optimal değildir.
Çıkarımda neden kapatılır?
Rastgeleliği kaldırmak ve beklenen aktivasyonu kullanmak için.