AI Sözlük
Residual Connection Nedir?
Skip/residual connection, x + F(x) formunda yolu kısaltır; çok katmanlı ağların eğitilebilirliğini artırır.
Tanım
Derin ağlarda sinyal ve gradyan kaybolabilir. Residual bağlantı, katmanın dönüşümünü girdiye toplayarak “kimlik yolu” bırakır. ResNet bunu bilgisayarlı görüde popülerleştirdi; Transformer da residual kullanır. Olmadan çok katmanlı LLM pratik olmazdı. Pre-LN düzeni residual etrafındaki norm yerleşimini optimize eder.
Residual scaling ve LayerScale gibi teknikler çok derin yığınlarda görülür.
Boyut uyumu şarttır; projeksiyon gerekebilir.
Sık sorulanlar
Skip connection aynı mı?
Evet, aynı fikir ailesinin adıdır.
Ne kazandırır?
Daha kolay optimizasyon ve daha derin mimari.