AI Sözlük
Multimodal Nedir?
Multimodal model, birden fazla duyusal/veri kanalını (ör. metin+görüntü) ortak veya bağlı temsillerle işler; yalnızca metin LLM’sinden farklıdır.
Tanım
Multimodal yapay zekâ, tek bir girdi türüne mahkûm olmayan sistemleri anlatır. Metinle görüntüyü birlikte anlayan, sesi yazıya döküp özetleyen veya videodan soru cevaplayan modeller bu sınıfa girer. Teknik olarak farklı encoder’lar ortak bir uzaya projekte edilebilir (ör. CLIP tarzı) veya birleşik transformer yığınları kullanılır. Multimodal “her şeyi kusursuz görür” demek değildir; ince sayım, uzamsal ilişki ve nadir görsellerde hâlâ hata yaygındır. Ürün tasarımında hangi modalitenin gerçekten gerekli olduğu ve gizlilik (yüz, belge fotoğrafı) baştan planlanmalıdır.
Maliyet ve gecikme multimodal girdilerde artabilir; görüntü token’ları metinden pahalı olabilir.
Değerlendirme de multimodal olmalıdır. Yalnızca metin bench’i görsel yeteneği ölçmez.
Sık sorulanlar
GPT-4o multimodal mı?
Metin ve görüntü (ve sese yakın yetenekler) sunan modeller multimodal sınıfa girer; ürün sürümüne göre değişir.
CLIP nedir?
Metin ve görüntüyü ortak embedding uzayında hizalayan kontrastif bir multimodal yaklaşımdır.