AI Sözlük
FFN (Feed-Forward Network) Nedir?
Feed-forward ağı, attention sonrası her token’a ayrı uygulanan MLP’dir; model kapasitesinin büyük kısmını taşır.
Tanım
Transformer bloğu genelde attention + FFN’dir. FFN, genişlet-daralt MLP’sidir ve parametrelerin çoğunu tutar. MoE, tam da bu FFN’yi uzmanlara böler. SwiGLU gibi kapılı varyantlar modern LLM’lerde yaygındır. FFN token’lar arası iletişim yapmaz; iletişim attention’dadır.
FFN boyutu (intermediate size) bellek ve hızı etkiler.
Quantization’da FFN ağırlıkları sık hedef olur.
Sık sorulanlar
MLP ile farkı?
FFN pratikte bir MLP bloğudur; Transformer jargonunda böyle anılır.
MoE neyi değiştirir?
Tek FFN yerine birçok uzman FFN + router koyar.