AI Sözlük
Encoder–Decoder Nedir?
Encoder girdiyi temsile çevirir, decoder bu temsilden hedef diziyi üretir; seq2seq görevlerin temelidir.
Tanım
Encoder-decoder Transformer’lar kaynak cümleyi encoder’da işler, decoder cross-attention ile buna bakarak çeviri üretir. T5 gibi modeller metinden metine görevleri bu kalıpla çözer. Decoder-only LLM’ler ise tek yığınla hem bağlamı hem üretimi taşır. Seçim göreve, veriye ve ekosisteme bağlıdır.
ASR ve özetlemede encoder-decoder hâlâ güçlüdür.
Cross-attention, decoder’ın encoder belleğine bakmasını sağlar.
Sık sorulanlar
Seq2seq nedir?
Bir diziyi başka bir diziye çeviren görev ailesidir.
GPT neden decoder-only?
Dil modelleme ve ölçekte pratik başarı; tek yığın sade ve etkilidir.