AI Sözlük
Inference (Çıkarım) Nedir?
Inference, modelin öğrenme bittikten sonra üretimde çalıştırılmasıdır: prompt girer, token token (veya tek seferde) cevap çıkar.
Tanım
Inference (çıkarım), eğitilmiş bir yapay zekâ modelinin gerçek girdi üzerinde tahmin üretmesidir. Eğitimde ağırlıklar güncellenir; inference’da ağırlıklar sabittir ve yalnızca ileri geçiş (forward pass) yapılır. Sohbet asistanında her cevabınız bir inference oturumudur. Dil modellerinde inference genelde prefill (uzun prompt’u işleme) ve decode (yeni token üretme) diye ikiye ayrılır. Hız, maliyet ve bellek bu iki aşamanın mühendisliğine bağlıdır. Batching, quantization, KV cache ve özel kernel’ler inference optimizasyonunun parçasıdır. “Model eğitmek” ile “modeli API’de çalıştırmak” bütçede tamamen farklı satırlar olabilir.
Eğitim bir kez veya seyrek yapılır; inference sürekli çalışır. Bu yüzden birçok üründe asıl fatura inference’dır.
Edge inference cihaz üzerinde, bulut inference sunucuda çalışır. Gecikme, gizlilik ve model boyutu bu seçimi belirler.
Sık sorulanlar
Training ile inference farkı?
Training ağırlık günceller ve geri yayılım yapar. Inference ağırlığı sabit tutup yalnızca tahmin üretir.
TTFT nedir?
Time to first token: ilk çıktı token’ının gelme süresi. Prefill ile ilişkilidir.