Kendi Yapay Zeka Modelinizi Evde Nasıl Eğitirsiniz? Adım Adım Rehber

Kendi verilerinizle çalışan, tamamen size özel ve internet bağlantısına ihtiyaç duymayan bir yapay zeka modeli eğitmek hayal değil. 2026 yılı açık kaynak ekosistemindeki gelişmeler ve Unsloth, QLoRA, Ollama ve LM Studio gibi harika araçlar sayesinde, evinizdeki standart bir Nvidia ekran kartıyla saatler içinde kendi özel modelinizi eğitebilirsiniz.

Bu rehberde adım adım ev ortamında sıfır bulut maliyetiyle lokal LLM eğitme ve çalıştırma sürecini inceliyoruz.

---

Özet ve Önemli Çıkarımlar (Executive Summary)

• Minimum Donanım Gereksinimi: Minimum 12 GB VRAM’e sahip Nvidia GPU (RTX 3060 12GB, RTX 4070/4080/4090).
• Kritik Kütüphane (Unsloth): Standart Hugging Face eğitimine kıyasla 5 kat daha hızlı ve %80 daha az VRAM harcar.
• LoRA (Low-Rank Adaptation): 8 milyar parametreli modelin tamamını eğitmek yerine sadece 20 MB’lık küçük adaptör katmanı eğitilir.
• Gizlilik: Tüm eğitim ve çıkarım süreçleri bilgisayarınızda gerçekleştiğinden verileriniz dışarı çıkmaz.

---

Donanım VRAM Kapasitelerine Göre Eğitilebilecek Modeller

GPU Ekran Kartı	VRAM Miktarı	Eğitilebilecek Maksimum Model	Kullanılacak Yöntem
Nvidia RTX 3060 / 4060 Ti	12 GB VRAM	3B - 7B Parametre	4-bit QLoRA + Unsloth
Nvidia RTX 4070 / 4080	16 GB VRAM	8B - 14B Parametre	4-bit / 8-bit QLoRA
Nvidia RTX 4090 / 5090	24 GB - 32 GB VRAM	14B - 32B Parametre	8-bit LoRA / Full Precision
Apple Mac Studio (M2/M3/M4)	64 GB+ Birleşik Bellek	70B Parametreye Kadar	MLX Framework / Ollama

---

Adım Adım Evde LLM Eğitme Rehberi

Adım 1: Gerekli Ortam Kurulumu (Python & CUDA)

Bilgisayarınızda Python 3.11+ ve güncel Nvidia CUDA Drivers kurulu olduğundan emin olun. Ardından terminalde Unsloth paketini kurun:

pip install "unsloth[cu121-ampere-torch240] @ git+https://github.com/unslothai/unsloth.git"

Adım 2: Veri Setinizi (JSONL) Hazırlayın

Eğitmek istediğiniz veri setini instruction, input ve output formatında hazırlayın:

[
  {
    "instruction": "Şirket içi izin politikamız nedir?",
    "output": "Yıllık izin hakkı 1. yılın sonunda 14 iş günüdür."
  }
]

Adım 3: Eğitim Kodunu Çalıştırın

Unsloth rehber betiğini başlatarak modeli eğitmeye başlayın:

from unsloth import FastLanguageModel

model, tokenizer = FastLanguageModel.from_pretrained(
    model_name = "unsloth/mistral-7b-v0.3-bnb-4bit",
    max_seq_length = 2048,
    load_in_4bit = True,
)

Adım 4: GGUF Formatına Dönüştürün ve Ollama ile Çalıştırın

Eğitim tamamlandığında modelinizi .gguf olarak dışa aktarın ve Ollama yerel model klasörünüze ekleyip internetsiz kullanın!

---

Donanım Optimizasyonu ve Performans İpuçları

Evde model eğitirken donanımın ısınma ve bellek darboğazlarına karşı uygulanması gereken temel optimizasyonlar şunlardır:

• Gradient Accumulation: Eğer VRAM yetersiz geliyorsa batch size değerini 1 yapıp gradient_accumulation_steps = 8 olarak ayarlayarak sanki 8’li batch çalışıyormuş gibi stabil gradient güncellemeleri elde edebilirsiniz.
• Flash Attention 2: GPU mimariniz Ampere (RTX 30xx) veya Ada Lovelace (RTX 40xx) ise Flash Attention 2 bayrağını açarak bellek bant genişliği darboğazını aşın.
• Model Quantization (GGUF Q4_K_M): Eğitilen LoRA katmanını orijinal ağırlıklarla birleştirdikten sonra llama.cpp kullanarak 4-bit quantize etmek, çıkarım hızını uçururken RAM gereksinimini dörtte bire düşürür.

Evde Model Eğitimi İçin Donanım ve Yazılım Reçetesi

Tüketici sınıfı ekran kartlarıyla (RTX 4090 / 5090) evde kendi LLM modelinizi eğitmek ve ince ayar (fine-tuning) yapmak için gerekli optimizasyon adımları:

1. QLoRA ve 4-bit Quantization: BitsAndBytes kütüphanesi kullanarak 8B veya 14B parametreli modelleri 12-16 GB VRAM içine sığdırabilme.
2. Unsloth Hızlandırması: Triton GPU çekirdeklerini optimize eden Unsloth ile eğitim süresini 5 kat kısaltıp bellek kullanımını %80 düşürme.
3. Veri Seti Hazırlığı: JSONL formatında temizlenmiş soru-cevap ve talimat (instruction) veri setlerinin oluşturulması.
4. GGUF Formatında Dağıtım: Eğitilen model adaptörünü (LoRA) ana modelle birleştirip Ollama veya LM Studio üzerinde yerel olarak çalıştırma.