AI Sözlük
Streaming Nedir?
Streaming, AI cevabını parça parça (genelde token token) göndererek kullanıcıya anında akış gösteren iletim biçimidir.
Tanım
Streaming, sohbet ürünlerinde cevabın bir anda patlamak yerine yazı yazar gibi akmasıdır. Teknik olarak sunucu Server-Sent Events veya benzeri protokolle token parçaları yollar; istemci ekrana basar. Toplam üretim süresi aynı kalsa bile ilk görünen token sayesinde deneyim daha hızlı hissedilir. Streaming hata yönetimini biraz zorlaştırır: yarıda kesilen cevap, kısmi JSON, iptal (abort) senaryoları tasarlanmalıdır. API maliyetini düşürmez; UX kazanımıdır.
JSON zorunlu çıktılarda streaming + şema doğrulama dikkat ister; parça parça gelen yapı bozulabilir.
Kullanıcı “durdur” dediğinde hem UI hem sunucu tarafı iptal edilmelidir; yoksa token yanmaya devam eder.
Sık sorulanlar
Streaming daha ucuz mu?
Hayır. Aynı token’ı üretir. Yalnızca teslimat biçimi farklıdır.
Ne zaman kapatılır?
Tamamlanmış JSON/batch işlerinde bazen non-stream daha basittir.