Yapay Zekâ Şirketlerinin API Sistemleri Tam Olarak Nasıl Kuruluyor? vLLM, KV Cache ve Dağıtık Altyapı

OpenAI, Anthropic veya DeepSeek gibi devlerin /v1/chat/completions uç noktasına bir JSON isteği gönderdiğinizde ve ekranda tokenların su gibi akmaya başladığını gördüğünüzde, arka planda sıradan bir web sunucusu çalışmaz.

Geleneksel web mimarilerinde (REST/CRUD) bir istek sunucuya gelir, veritabanından veri çekilir ve birkaç milisaniye içinde JSON yanıtı döndürülür. Oysa milyarlarca parametreli bir dil modeline istek attığınızda, yüzlerce gigabaytlık VRAM bellekleri, terafloplarca matris hesaplaması ve karmaşık bir ağ orkestrasyonu devreye girer.

İşte modern yapay zekâ şirketlerinin milyarlarca dolarlık altyapılarını ayakta tutan mühendislik mimarisinin iç yüzü.

---

1. Çıkarım Motorları (Inference Engines): vLLM ve TensorRT-LLM

Yapay zekâ modellerini geliştirmek için PyTorch mükemmel bir araçtır; ancak prodüksiyonda saniyede binlerce isteğe cevap vermek için PyTorch fazlasıyla hantaldır. Bu yüzden endüstri özel çıkarım motorları (inference engines) kullanır:

• vLLM ve PagedAttention: UC Berkeley araştırmacıları tarafından geliştirilen ve bugün endüstri standardı olan vLLM, işletim sistemlerinin sanal bellek sayfalamasını GPU’ya taşıdı. Geleneksel sistemlerde bir kullanıcının kaç token üreteceği önceden bilinmediği için devasa bellek blokları rezerve edilir ve belleğin yüzde 70’i heba olurdu. PagedAttention, KV Cache’i küçük sayfalara bölerek bellek israfını yüzde 4’ün altına indirdi.
• NVIDIA TensorRT-LLM: NVIDIA’nın kendi GPU mimarileri (H100, B200) için geliştirdiği özel derleme motorudur. Çekirdek füzyonu (kernel fusion), FP8 kuantizasyonu ve optimize edilmiş tensör paralelliği ile maksimum donanım performansı sunar.

---

2. Prefill-Decode (PD) Ayrışımı: Donanımı İkiye Bölen Devrim

LLM çıkarımı temelde iki tamamen farklı matematiksel aşamadan oluşur:

1. Prefill (Girdi İşleme): Kullanıcının gönderdiği 5.000 kelimelik prompt sisteme girer. Model tüm metni tek seferde paralelleştirerek okur. Bu aşama hesaplama odaklıdır (compute-bound); GPU’nun tüm tensör çekirdekleri yüzde 100 yük altına girer.
2. Decode (Token Üretimi): Model sonraki her bir kelimeyi tek tek üretir. Her yeni kelime için model ağırlıklarının tamamı VRAM’den çekilmek zorundadır. Bu aşama bellek bant genişliği odaklıdır (memory-bandwidth bound); GPU çekirdekleri verinin gelmesini bekler.

2026’da önde gelen AI sağlayıcıları bu iki aşamayı aynı sunucuda çalıştırmayı bıraktı. Prefill sunucu havuzları yalnızca gelen promptları okur, oluşturdukları KV Cache’i ultra hızlı optik ağlar (RDMA) üzerinden Decode sunucu havuzlarına aktarır. Böylece pahalı yapay zekâ çipleri asla boşta beklemez.

---

3. Akıllı Ağ Geçitleri ve KV-Cache Duyarlı Yönlendirme

Geleneksel yük dengeleyiciler (load balancers) istekleri rastgele veya en az yüklü sunucuya (round-robin) yönlendirir. Yapay zekâda bu yöntem korkunç bir maliyet yaratır:

• RadixAttention ve Prefix Hashing: Bir kullanıcı uzun bir sistem promptu veya şirket rehberi gönderdiğinde, ağ geçidi bu metnin özetini (hash) çıkarır.
• Cache-Aware Routing: Eğer bu sistem komutu daha önce 3 numaralı GPU sunucusunda işlenmişse, ağ geçidi yeni isteği doğrudan o sunucuya gönderir. Böylece model girdi metnini sıfırdan hesaplamak zorunda kalmaz (Cache Hit); ilk token süresi (TTFT) 2 saniyeden 50 milisaniyeye düşer.

---

4. Hız Sınırlama (Rate Limiting) ve Kesintisiz Akış (SSE)

Yapay zekâ API’lerinde hız sınırlaması yapmak geleneksel web servislerine benzemez. Çünkü 1 istek 5 kelime üretebileceği gibi, başka bir istek 4.000 kelimelik karmaşık bir kod yazdırabilir.

• Dağıtık Token Sayacı (TPM): Redis tabanlı Token Bucket algoritmaları, istek sayısından ziyade üretilen ve tüketilen Dakika Başına Token (Tokens Per Minute - TPM) miktarını gerçek zamanlı izler.
• Server-Sent Events (SSE): Üretilen yanıtlar tek bir büyük HTTP paketi olarak beklenmez. Model her yeni tokenı ürettiğinde data: {"choices": [{"delta": {"content": "..."}}]} formatında bir SSE akış paketi olarak istemciye iletilir.
• Erken İptal (Abort Signals): Kullanıcı tarayıcı sekmesini kapattığında istemci bağlantısı kopar. Akıllı ağ geçidi çıkarım motoruna anında abort sinyali göndererek GPU’nun boşuna token üretmesini ve müşterinin kotasının yanmasını engeller.

---

Sonuç: Yapay Zekâ API Sistemlerinde Geleceğin Altyapı Standartları

Bir yapay zekâ modelini eğitmek ne kadar büyük bir bilimsel başarıysa, o modeli milyonlarca kullanıcıya milisaniyeler içinde kesintisiz ve karlı bir şekilde sunabilmek de o kadar büyük bir dağıtık sistem mühendisliği zaferidir. vLLM, PagedAttention ve Prefill-Decode ayrışımı gibi mimariler, yapay zekâyı laboratuvar prototipinden küresel ölçekte çalışan endüstriyel bir kamu hizmetine dönüştüren görünmez omurgadır.