AI Sözlük
Transfer Learning Nedir?
Transfer öğrenme, kaynak görevden gelen bilgiyi hedef göreve taşıyarak az veriyle daha iyi performans arar.
Tanım
Sıfırdan eğitim pahalıdır. Transfer learning, ImageNet veya büyük dil pretrain’i gibi kaynaklardan gelen ağırlıkları başlangıç noktası yapar. Fine-tuning en yaygın transfer biçimidir. Domain çok farklıysa negative transfer olabilir. LLM çağında herkes fiilen transfer learning yapar: kimse her ürün için trilyon token pretrain etmez.
Feature extraction: gövdeyi dondurup sadece başı eğitmek de transferdir.
Cross-lingual transfer çok dilli modellerde görülür.
Sık sorulanlar
Fine-tune transfer midir?
Evet, en yaygın transfer learning uygulamasıdır.
Ne zaman sıfırdan eğitilir?
Veri ve hesap bol, domain çok özgünse; nadirdir.