AI Sözlük
Batch (Mini-batch) Nedir?
Mini-batch, gradyanı tüm veri yerine bir örnek grubuyla tahmin ederek eğitimi ölçeklenebilir yapan birimdir.
Tanım
Tam veri setiyle her adımda gradyan hesaplamak pahalıdır. Mini-batch öğrenme, küçük gruplar halinde ilerler. Batch size büyüdükçe gradyan daha az gürültülü olur ama genelleme ve kararlılık dinamiği değişir; learning rate ile birlikte ayarlanmalıdır. Bellek sınırı batch size’ı kısıtlar. Gradient accumulation, fiziksel batch küçükken etkili batch’i büyütmeye yarar. LLM eğitiminde global batch, micro-batch ve accumulation üçlüsü karıştırılmamalıdır.
Inference’da batch, birden fazla isteği bir arada işleyerek throughput artırır.
Çok büyük batch her zaman daha iyi değildir; research “critical batch size” tartışır.
Sık sorulanlar
Batch size nedir?
Bir adımda işlenen örnek adedidir.
Accumulation nedir?
Birkaç micro-batch gradyanını biriktirip sonra güncellemektir.