Nvidia’dan Sesli Yapay Zekâ Devrimi: 40 Dili Aynı Anda Çözümleyen Açık Kaynak ‘Nemotron 3.5 Transcribe’ Yayında!

Onlarca yıldır ses kayıtlarını metne dökmek (ASR), konuşmacıları birbirinden ayırmak (diarization), özel terimleri düzeltmek ve başka bir dile çevirmek için birbirine yamalanmış dört ayrı model kullanmak zorundaydık; peki ya tek bir açık kaynaklı model, doğal dil komutlarıyla 40 dilde1 saatlik kesintisiz ses kaydını saniyeler içinde işleyebilirse? Yarı iletken devi Nvidia, açık ağırlıklı yapay zekâ ekosistemindeki en iddialı ses-dil modeli hamlesini yaparak Nemotron 3.5 Transcribe modelini ve dev Granary v2 eğitim veri hattını resmen kullanıma sundu.

OpenAI’ın yaşlanan Whisper mimarisine ve kapalı kaynaklı ticari ses API’lerine doğrudan meydan okuyan Nemotron 3.5 Transcribe, yalnızca “duyduğunu yazan” klasik bir transkripsiyon aracı değil; prompt ile yönlendirilebilen (promptable) bir Konuşma-Destekli Dil Modeli (SALM – Speech-Augmented Language Model) olarak tasarlandı.

---

1. Mimari Anatomi: 34B Toplam, 4.3B Aktif Parametreli Hibrit Mamba-2 MoE

Nvidia mühendisleri, uzun ses kayıtlarında standart Transformer modellerinin yaşadığı karesel bellek darboğazını (KV cache patlamasını) aşmak için Nemotron 3.5 Transcribe’ı üç katmanlı özgün bir mimari üzerine inşa etti:

1. Hibrit Mamba-2 – Transformer MoE Omurgası: Modelin dil ve muhakeme çekirdeği Nemotron 3.5 Lightning mimarisine dayanıyor. Toplamda 34 milyar parametreye sahip olan bu Uzmanlar Karması (Mixture-of-Experts) yapısı, her bir token için yalnızca ~4,3 milyar parametreyi aktif hale getiriyor. Bu sayede 34B sınıfı bir modelin dilbilimsel zekâsını, 4B sınıfı küçük bir modelin çıkarım (inference) hızıyla sunuyor.
2. Çift Kanallı Akustik Ön Uç (Audio Frontend): Ses sinyalleri modele girerken biri Transformer tabanlı konuşma kodlayıcısı (speech encoder), diğeri ise Konuşmacı Ayrıştırma Kodlayıcısı (Diarization Encoder) olmak üzere iki paralel akustik katmandan geçiyor ve doğrudan LLM omurgasının gizli uzayına (latent space) bağlanıyor.
3. 65.536 Token Bağlam ve 1 Saatlik Tek Geçiş Kapasitesi: Mamba-2 durum uzayı (state-space) katmanlarının doğrusal bellek ölçeklenmesi sayesinde model, ses dosyalarını küçük parçalara (chunk) bölüp bağlamı kaybetmek yerine 60 dakikaya kadar olan uzun toplantı, ders veya mahkeme kayıtlarını tek bir geçişte (single-pass) işleyebiliyor.

---

2. Prompt ile Yönetilen 5 Temel Yetenek ve 40 Dil Desteği

Geleneksel ASR modellerinde çıktı formatını değiştirmek için ince ayar (fine-tuning) veya karmaşık son-işleme (post-processing) betikleri gerekirken, Nemotron 3.5 Transcribe tamamen doğal dil talimatlarıyla (prompt) kontrol ediliyor:

Yetenek Alanı	Teknik Kapasite	Kurumsal ve Geliştirici Avantajı
Çok Dilli Konuşma Tanıma (ASR)	40 Dilde (Türkçe, İngilizce, Almanca, Arapça, Japonca, İspanyolca vb.)	Hugging Face Open ASR liderlik tablosunda açık ağırlıklı modeller arasında en düşük Kelime Hata Oranı (WER).
Çift Yönlü Konuşma Çevirisi (AST)	31 Dilden İngilizceye ve İngilizceden 31 dile doğrudan ses çevirisi	Araya ayrı bir metin çeviri LLM’i sokmadan ses-metin çevirisinde gecikmeyi yarıya indirir.
Çoklu Konuşmacı Ayrıştırma	Aynı anda konuşan 8 farklı konuşmacıya kadar yerel etiketleme	Üst üste binen (overlapping) hararetli toplantı konuşmalarında bile kimin ne söylediğini ayırır.
Biçimlendirme Kontrolü	Verbatim (birebir/dolgu kelimeli) veya Clean (temiz/resmi) mod	Prompt ile “kekelemeleri ve ‘ııı’ seslerini temizle, resmi tutanak formatında yaz” talimatı verilebilir.
Bağlamsal Jargon Düzeltme	Özel terim, ilaç adı, şirket veya kod kütüphanesi listesi besleme	Tıp, hukuk ve yazılım toplantılarında özel isimlerin yanlış yazılma oranını %70’e kadar düşürür.

Ayrıca modelin çıkış katmanına entegre edilen hafif CTC (Connectionist Temporal Classification) hizalama adaptörü, her bir kelimenin ve konuşmacının başlangıç-bitiş zamanını milisaniye hassasiyetinde (Word-Level Timestamps) dışa aktarıyor.

---

3. Granary v2 Veri Seti ve Yerel Donanım (vLLM / FP8 / NVFP4) Dağıtımı

Nvidia yalnızca model ağırlıklarını yayınlamakla kalmadı; aynı zamanda açık kaynak topluluğunun kendi bölgesel lehçeleri veya sektörel ses modelleri üzerinde eğitim yapabilmesi için Granary v2 veri kürasyon hattını ve yüz binlerce saatlik çok dilli ses manifestosunu NVIDIA NeMo çatısı altında kullanıma açtı.

Modelin donanım ve dağıtım seçenekleri ise her ölçekteki mühendislik ekibine hitap ediyor:

• Format Seçenekleri: Hugging Face üzerinde tam hassasiyetli BF16 ağırlıklarının yanı sıra, kalite kaybı olmadan bellek tüketimini yarıya indiren FP8 ve Blackwell mimarisine özel NVFP4 kuantize sürümleri yayınlandı.
• Çıkarım Motoru Desteği: Model; vLLM, NVIDIA TensorRT-LLM ve NVIDIA Riva mikroservisleriyle kutudan çıktığı anda uyumlu çalışıyor. Tek bir 80 GB VRAM’li H100/A100 GPU üzerinde tam BF16 modunda yüzlerce eşzamanlı ses akışını işleyebildiği gibi, NVFP4/FP8 kuantizasyonuyla çok daha düşük VRAM kapasiteli kurumsal ve yerel iş istasyonlarında da koşturulabiliyor.

---

Sonuç: Sesli Ajanların (Voice Agents) Yeni Açık Standardı

2026 yılı itibarıyla yapay zekâ arayüzleri klavyeden sese doğru hızla evrilirken, kurumsal şirketlerin en büyük çekincesi müşteri çağrı merkezi kayıtlarını veya gizli yönetim kurulu toplantılarını bulut API’lerine göndermekti. Nvidia’nın Nemotron 3.5 Transcribe hamlesi; bankalardan hastanelere, savunma sanayiinden medya kuruluşlarına kadar her kurumun kendi sunucularında (on-premise), 40 dilde ve sıfır veri sızıntısıyla dünya standartlarında sesli yapay zekâ altyapısı kurmasının önünü açıyor.