AI Sözlük
RoPE Nedir?
Rotary Positional Embedding, göreli konumu iç çarpıma işleyen konum kodlama tekniğidir.
Tanım
RoPE, mutlak position embedding eklemek yerine Q/K vektörlerini konuma bağlı açıyla döndürür. Böylece göreli mesafe attention skoruna doğal yansır. LLaMA kuşağıyla standartlaştı. Uzun bağlama uzatmada interpolation ve NTK-aware scale gibi teknikler RoPE üzerinde çalışır. Yanlış RoPE ölçeği uzun prompt kalitesini bozar.
ALiBi gibi alternatifler mesafe bias’ı kullanır.
Config’te rope_theta değiştirmek masum değildir; eval şarttır.
Sık sorulanlar
Positional encoding neden lazım?
Saf attention sıraya duyarsızdır; dil ve kod sıra ister.
RoPE zorunlu mu?
Zorunlu değil ama modern decoder LLM’lerde fiili standarttır.