AI Sözlük
Parametre (Model Parametresi) Nedir?
Model parametreleri, eğitimle ayarlanan sayısal ağırlıklardır; “70 milyar parametre” modelin kapasite ölçeğine dair kaba bir ölçüdür.
Tanım
Bir sinir ağında parametre, öğrenilen ağırlık ve bias’ların toplamıdır. “7B model” kabaca yedi milyar parametre demektir. Daha çok parametre genelde daha yüksek kapasite sinyali verir ama tek başına zekâ garantisi değildir; veri, eğitim tarifi ve mimari (ör. MoE’de aktif parametre) en az o kadar önemlidir. Çıkarımda parametre sayısı bellek ihtiyacını etkiler; quantization bu baskıyı azaltır. Manşet parametrelerini okurken toplam ile aktif parametreyi ayırın.
Küçük ama iyi eğitilmiş modeller, büyük ama kötü hizalanmış modelleri bazı görevlerde yenebilir.
Ürün kararında parametre yerine görev metriği, maliyet ve gecikme konuşun.
Sık sorulanlar
Daha çok parametre her zaman iyi mi?
Hayır. Maliyet artar; getiri her görevde doğrusal değildir.
MoE’de parametre nasıl okunur?
Toplam büyük, aktif daha küçük olabilir. İkisini karıştırmayın.