AI Sözlük
Learning Rate Nedir?
Learning rate, gradyan inişinde parametre adımının büyüklüğüdür; çok yüksek patlatır, çok düşük eğitimi sürünür hale getirir.
Tanım
Learning rate (öğrenme oranı), optimizasyonun gaz pedalına benzer. Gradyanın işaret ettiği yönde ne kadar gideceğinizi ayarlar. Büyük modellerde sabit yüksek LR, loss spike ve NaN üretebilir; bu yüzden warmup ve cosine decay gibi programlar yaygındır. AdamW gibi adaptif yöntemler parametre bazında ölçeklese de base LR hâlâ kritiktir. LR araması, model kalitesini mimari kadar etkileyebilir.
Linear scaling rule: batch büyüyünce LR’yi orantılı artırmak bazen işe yarar; warmup ile birlikte düşünülür.
Fine-tune’da pretrain’e göre daha küçük LR sık tercih edilir.
Sık sorulanlar
Warmup nedir?
LR’yi sıfırdan hedefe yavaşça çıkarmaktır; erken kararsızlığı azaltır.
LR schedule nedir?
Eğitim boyunca LR’nin nasıl değişeceğinin planıdır.