AI Sözlük
Latency (Gecikme) Nedir?
Latency, bir AI isteğinin üretilmesi için geçen zamandır; sohbette ilk token süresi ve toplam cevap süresi ayrı metriklerdir.
Tanım
Latency (gecikme), kullanıcının “cevap ne zaman gelecek?” sorusunun mühendislik karşılığıdır. Dil modellerinde genelde TTFT (time to first token) ve TPOT/TPS (token üretim hızı) ayrılır. Uzun prompt prefill’i şişirir; uzun cevap decode’u uzatır. Ağ gecikmesi, kuyruk bekleme, batching ve model boyutu toplam latency’ye eklenir. Düşük latency için küçük model, quantization, cache, streaming ve iyi prompt bütçesi kullanılır. “Daha zeki model” bazen daha yavaş model demektir; ürün kararı trade-off ister.
Streaming, ilk token’ı erken göstererek algılanan gecikmeyi düşürür; toplam süreyi sihirle kısaltmaz.
SLA tasarlarken p50 değil p95/p99 latency’ye bakın; kuyruk kuyruğu yer.
Sık sorulanlar
Throughput ile latency farkı?
Throughput sistemin saniyede işlediği iş miktarıdır. Latency tek isteğin süresidir. İkisi ters trade-off yapabilir.
Nasıl düşürülür?
Daha küçük/quantize model, kısa prompt, prefix cache, streaming, coğrafi yakınlık ve iyi serving.