AI Sözlük
Pretraining Nedir?
Pretraining, modelin trilyonlarca token ölçeğinde genel next-token (veya benzeri) hedefiyle eğitilmesidir; görev spesifik ince ayardan önce gelir.
Tanım
Pretraining, büyük dil modelinin hayatındaki en pahalı ve en genel aşamadır. Model devasa ve çeşitli metin (bazen kod, matematik, çok dilli veri) üzerinde dil istatistiklerini öğrenir. Amaç belirli bir sohbet üslubu değil, geniş temsil gücüdür. Bu aşama binlerce hızlandırıcı, devasa enerji ve uzun süre ister; çoğu şirket sıfırdan pretrain yapmaz, açık veya API model kullanır. Pretrain bittikten sonra SFT, LoRA, RLHF gibi katmanlar ürün davranışını şekillendirir. “Kendi GPT’mizi eğitelim” cümlesi çoğu zaman pretrain değil fine-tune veya private inference demektir; karışıklık bütçeyi yakar.
Continued pretraining, genel modeli alan verisiyle next-token’a devam ettirmektir; SFT’den farklıdır.
Veri kalitesi ve karışımı pretrain sonucunu belirler. Çöp veri, ölçeği boşa harcar.
Sık sorulanlar
Pretrain ile fine-tune farkı?
Pretrain geniş temel öğrenir. Fine-tune dar görev/alan/üsluba çeker. Maliyet ve veri ölçeği çok farklıdır.
Herkes pretrain yapmalı mı?
Hayır. Çoğu ekip için açık model + fine-tune/RAG veya API daha rasyoneldir.