AI Sözlük
Autoregressive Nedir?
Autoregressive dil modeli, her yeni token’ı kendinden önceki token’lara bakarak sırayla tahmin eder.
Tanım
AR (autoregressive) üretim, P(token_t | token_1..t-1) çarpanlarına ayrılır. Bu, sohbet ve kod tamamlamayı doğal kılar ama yavaş olabilir çünkü adımlar sıraylıdır. Masked modeller (BERT) çift yönlü bağlam görür ama klasik metin üretimi için AR kadar doğrudan değildir. Diffusion dil modelleri alternatif arayışlardır. KV cache AR decode’u hızlandırmak için vardır.
Teacher forcing eğitimde gerçek önceki token’ları verir.
Hata birikimi uzun AR üretimde bozulmaya yol açabilir.
Sık sorulanlar
Neden yavaş?
Her token bir ileri geçiş ister; tam paralellik yoktur.
Speculative decoding nedir?
Küçük model aday üretir, büyük model doğrular; AR’ı hızlandırma tekniğidir.