AI Sözlük
Mixture of Experts (MoE) Nedir?
Mixture of Experts, router’ın her token için az sayıda uzman FFN seçtiği seyrek yapıdır; toplam parametre büyük, aktif maliyet daha kontrollü olabilir.
Tanım
Mixture of Experts (MoE), “her token her parametreyi çalıştırmasın” fikridir. Transformer bloğundaki pahalı feed-forward katmanı birden fazla uzman kopyasına ayrılır. Bir kapı ağı (router) token’a göre en uygun uzmanları seçer. Böylece toplam parametre çok büyüyebilirken aktif flops daha düşük tutulmaya çalışılır. Manşetlerdeki trilyon parametre iddiaları çoğu zaman MoE’dir. Zorluklar: uzman dengesizliği, iletişim maliyeti ve eğitim kararsızlığı. MoE’yi okurken her zaman sorun: toplam mı, aktif parametre mi?
Load balancing loss ve capacity factor, uzmanların çökmesini engellemeye yardım eder.
Serving’de uzman paralelliği dense modele göre daha karmaşık ops ister.
Sık sorulanlar
MoE daha mı ucuz?
Aktif hesap açısından öyle tasarlanır ama iletişim ve mühendislik maliyeti dense’den yüksek olabilir.
Dense model nedir?
Her tokenın (neredeyse) tüm parametreleri kullandığı klasik tam yoğun mimaridir.