AI Sözlük
Hiperparametre Nedir?
Hiperparametreler modelin öğrendiği ağırlıklar değil; eğitim ve yapı için seçtiğiniz düğmelerdir.
Tanım
Öğrenilen parametreler gradyanla güncellenir. Hiperparametreler ise sizin seçiminizdir: learning rate, epoch, dropout, beam width, temperature… Yanlış hiperparametre iyi mimariyi bozar. Arama yöntemleri: grid, random, Bayesian optimization. LLM’de hem eğitim hem inference hiperparametreleri vardır. Dokümantasyon ve tekrarlanabilirlik için tüm hiperparametreler kaydedilmelidir.
Seed de pratikte hiperparametre gibi yönetilir.
Üretimde temperature gibi çıkarım ayarları A/B ile seçilir.
Sık sorulanlar
Parametre ile farkı?
Parametre öğrenilir; hiperparametre seçilir.
Nasıl seçilir?
Validation metriğiyle arama ve deney takibiyle.