AI Sözlük
LayerNorm Nedir?
Layer normalization, her örnek/token için özellik vektörünü ortalama-varyans ile ölçekler; dizi modellerinde kararlılığı artırır.
Tanım
BatchNorm batch istatistiğine dayanır; değişken uzunluklu dizilerde sorunludur. LayerNorm token bazında çalışır ve LLM’lerde standarttır. Pre-LN / Post-LN yerleşimi gradyan akışını etkiler. RMSNorm sade bir varyanttır. Normalize etmeden derin yığın eğitmek pratikte zordur.
Mixed precision eğitimde norm katmanları sayısal hassasiyet ister.
Norm parametreleri (gamma/beta) öğrenilebilir.
Sık sorulanlar
BatchNorm neden değil?
Batch istatistiği dizi ve serving’de kararsız/anlamsız olabilir.
RMSNorm farkı?
Ortalama merkezleme olmadan ölçekleyen daha sade bir normdur.