AI Sözlük
Knowledge Distillation Nedir?
Distillation, öğretmen modelin yumuşak olasılık dağılımlarını veya çıktılarını öğrenciye öğreterek küçük modelin büyüğe yaklaşmasını sağlar.
Tanım
Knowledge distillation, “büyük modelin özünü küçüğe kopyalama” vaadidir. Öğretmen model bir girdi için yalnızca doğru sınıfı değil, sınıflar arası benzerlikleri de içeren yumuşak bir dağılım üretebilir. Öğrenci bu zengin sinyalle eğitilir; ham etiketlere göre daha fazla bilgi taşır. LLM dünyasında öğretmen cevapları, gerekçeler veya tercih sinyalleriyle sentetik veri üretmek de distillation ailesine yakındır. Sınır: öğrenci genelde öğretmen tavanını aşmaz ve öğretmenin hatalarını miras alabilir.
Edge ve ucuz serving için distillation + quantization sık birlikte kullanılır.
Öğretmen seçimi kritiktir; zayıf öğretmen iyi öğrenci üretmez.
Sık sorulanlar
Distillation quantization mı?
Hayır. Distillation öğretmenden öğrenir; quantization sayısal sıkıştırmadır. İkisi kombine edilebilir.
Ne zaman kullanılır?
Küçük/ hızlı model isterken öğretmen kalitesinden faydalanmak istediğinizde.