Unsloth Nedir? 16GB Ekran Kartında Model Fine-Tuning Nasıl Yapılır?

Açık kaynaklı bir yapay zekâ modelini (Llama 3, Mistral, Qwen) alıp kendi şirketinizin verileriyle veya özel bir uzmanlık alanıyla eğitmek (Fine-Tuning), eskiden binlerce dolarlık A100 GPU kiralamayı gerektiren zorlu bir süreçti. Hugging Face’in standart PEFT kütüphaneleriyle çalışırken sürekli karşınıza çıkan “CUDA Out of Memory” hatası geliştiricilerin kabusuydu. İşte bu düğümü kökünden çözen kütüphane: Unsloth.

Daniel ve Michael Han kardeşler tarafından geliştirilen Unsloth, yapay zekâ eğitim dünyasında adeta bir hız ve bellek devrimi yarattı.

---

Unsloth’un Arkasındaki Mühendislik Sırrı: Triton Çekirdekleri

Unsloth nasıl oluyor da aynı donanımda standart PyTorch koduna göre 5 kat daha hızlı çalışıp bellek kullanımını yüzde 80 azaltabiliyor?

1. Manuel Geri Yayılım (Backpropagation): PyTorch’un otomatik gradyan hesaplayıcısı (Autograd) işlem sırasında devasa ara tensörleri bellekte tutar. Unsloth ekibi tüm dikkat katmanlarının türev formüllerini elle matematiksel olarak basitleştirmiştir.
2. OpenAI Triton ile Özel GPU Çekirdekleri: GPU’nun donanım mimarisine doğrudan hitap eden özel kernel’lar yazılarak bellekten veri okuma-yazma (VRAM memory bandwidth) darboğazı ortadan kaldırılmıştır.
3. Kayıpsız Doğruluk: Bu hızlanma sırasında modelin zekâsında hiçbir kayıp yaşanmaz; matematiksel sonuçlar orijinal eğitimle birebir aynıdır.

---

Standart Hugging Face PEFT vs. Unsloth Karşılaştırması

Kriter (Llama 3.1 8B Eğitimi)	Standart Hugging Face / TRL	Unsloth Optimizasyonu	Fark
Gerekli Minimum VRAM	32 GB - 40 GB	14 GB - 16 GB	%80 Bellek Tasarrufu
10.000 Satır Veri Eğitimi	~6.5 Saat	~1.3 Saat	5 Kat Hızlı
Maksimum Bağlam Uzunluğu	2.048 Token	8.192 Token	4 Kat Geniş Bağlam
Donanım Uyumluluğu	Çoklu A100/H100 Şart	Tek Bir RTX 3060/4060Ti	Ev donanımına indi

---

16 GB Ekran Kartında Adım Adım Fine-Tuning Kılavuzu

Kendi modelinizi eğitmek için izlemeniz gereken temel adımlar:

1. Adım: Unsloth’u Yükleyin

Google Colab, Kaggle veya yerel Linux makinenizde tek komutla kurun:

pip install "unsloth[colab-new] @ git+https://github.com/unslothai/unsloth.git"

2. Adım: 4-bit Optimize Modeli Yükleyin

from unsloth import FastLanguageModel

max_seq_length = 4096
model, tokenizer = FastLanguageModel.from_pretrained(
    model_name = "unsloth/Meta-Llama-3.1-8B-Instruct-bnb-4bit",
    max_seq_length = max_seq_length,
    load_in_4bit = True,
)

3. Adım: LoRA Adaptörlerini Ekleyin

model = FastLanguageModel.get_peft_model(
    model,
    r = 16, # LoRA rank
    target_modules = ["q_proj", "k_proj", "v_proj", "o_proj", "gate_proj", "up_proj", "down_proj"],
    lora_alpha = 16,
    lora_dropout = 0, # Unsloth 0 dropout ile optimize çalışır
    bias = "none",
)

4. Adım: Eğitimi Başlatın

Hugging Face’in standart SFTTrainer sınıfını kullanarak kendi JSONL soru-cevap veri setinizle eğitimi başlatın. 16 GB bir kartta 1000 satırlık verinin eğitimi yalnızca 15-20 dakika sürecektir!

5. Adım: Tek Satırla GGUF / Ollama Formatına Aktarın

Eğitim bittiğinde modeli Ollama’ya aktarmak tek satırdır:

model.save_pretrained_gguf("benim-ozel-modelim", tokenizer, quantization_method = "q4_k_m")

---

Sonuç

Unsloth, yapay zekâ model eğitimini milyar dolarlık şirketlerin tekelinden alıp evindeki tek bir ekran kartıyla çalışan bağımsız geliştiricilerin eline teslim etti. Eğer kendi alanınıza özel bir yapay zekâ modeli inşa etmek istiyorsanız, 2026’da başvuracağınız ilk adres kesinlikle Unsloth’tur.