Yapay Zekâ Modellerini Kendi Bilgisayarınızda Çalıştırma Rehberi
Modelleri kendi bilgisayarınızda çalıştırma rehberi: donanım gereksinimleri, Ollama kurulumu, model seçimi, quantization ve pratik kullanım senaryoları.
Bu rehberi ücretsiz indir
PDF; kapak ve içindekiler sayfası dahil 6 bölümden ve sık sorulan sorulardan oluşur. Türkçe, A4 formatında, yazdırılabilir.
İndirmek için ücretsiz WebTuring hesabı gerekir. Girişli değilseniz giriş sayfasına yönlendirilirsiniz.
Kısa cevap
Yerel model çalıştırma için: 8-16GB RAM'li makine 7-14B quantized modelleri çalıştırır; Ollama gibi araçlarla kurulum dakikalar sürer; gizlilik ve bağımsızlık kazandırır, frontier yetenek isteyen işlerde yetersiz kalır.
Donanım gerçekleri
Kaba tablo (quantized modeller için): 4-8GB RAM → 1-4B modeller (basit işler, eski dizüstü bile çalışır). 8-16GB RAM → 7-9B modeller (iyi genel asistan, günlük kullanım). 16-32GB RAM → 14-32B (güçlü asistan). 32GB+ veya güçlü GPU (12GB+ VRAM) → 30-70B (akıl yürütme).
GPU hız kralıdır: NVIDIA VRAM ne kadar fazlaysa o kadar büyük model hızlı çalışır. AMD ve Apple Silicon da desteklenir; Apple M serisi makinalar birleşik bellek sayesinde boyut avantajı sağlar. CPU-only çalışır ama yavaştır — kısa metinler için toleranslıdır, uzun üretimde can sıkıcı.
Ollama ile kurulum (10 dakika)
Adımlar: (1) Ollama'yı indirip kurun (Windows/Mac/Linux). (2) Terminalde `ollama run llama3.1` veya istediğiniz model adını yazın; model otomatik iner ve sohbet açılır. (3) `ollama list` ile modellerinizi, `ollama pull <ad>` ile yeni model ekleyin. (4) API olarak kullanmak için: Ollama arka planda localhost'ta OpenAI-uyumlu API sunar — mevcut kodunuz düşük değişiklikle yerel modele bağlanır.
Alternatifler: LM Studio (grafik arayüz, deneyimli olmayan kullanıcıya uygun), GPT4All, llama.cpp (ileri kullanıcı). Hepsi aynı temel fikir: ağırlıkları indir, makinede çalıştır.
Model seçimi
Görev bazlı öneri: Genel sohbet ve özet → 7-9B genel modeller. Kod yardımı → kod odaklı 7-14B modeller. Türkçe kalite → çok dilli aileler (Qwen, Gemma sınıfı) deneyin; Türkçe yetenek model model farklıdır, kendi örneklerinizle test edin. Uzun belge → büyük bağlam penceresi sunan sürümler.
Test yöntemi: Kendi işinizden 10 soru hazırlayın, 2-3 modelde deneyin, farkı gözünüzle görün. Model kartlarındaki benchmark skorları yön gösterir; yerel kullanım deneyimi sizin donanımınıza ve dilinize bağlıdır.
Quantization mantığı
Model ağırlıkları varsayılan olarak 16-bit sayılarda saklanır; quantization bunları 8-bit, 5-bit, 4-bit'e sıkıştırır. Sonuç: Bellek ihtiyacı 2-4 kat düşer, hız genelde artar, kalite küçük kayıp verir (göreve göre). Pratikte 4-bit quantization günlük kullanım için tatlı noktadır.
Kural: İndirdiğiniz modelin adındaki boyut işaretlerine bakın (Q4, Q5, Q8 gibi). Q4 başlayın; kalite hissedilir düşüyorsa Q5/Q8'e çıkın. Quantization, "büyük model küçük makinede" formülünün anahtarıdır.
Yerel modelin en iyi 6 kullanımı
- Hassas belge işleme: sözleşme, kişisel veri — hiçbir yerde saklanmaz.
- Çevrimdışı çalışma: yolculuk, internet kısıtı.
- Sınırsız deneme: fine-tuning ve istem denemelerinde API faturası yok.
- Geliştirici entegrasyonu: localhost API ile uygulama prototipleri.
- Günlük rutin işler: özet, taslak, sınıflandırma — API masrafını azaltır.
- Öğrenme: model davranışını sınırsız deneyerek anlamak.
Sınırlar ve hibrit strateji
Yerel modelin sınırı net: frontier yetenek (en zor akıl yürütme, en uzun bağlam, en geniş bilgi) yerel donanımda yoktur. Ayrıca model güncellemesi ve güvenlik filtreleri kendi sorumluluğunuzdur.
En iyi strateji hibrittir: Günlük rutin ve hassas işler yerel modelde, zor işler bulut API'de. Bu ikili, hem maliyeti hem riski düşürür: API kullanımınız yarıya iner, hassas veri hiç dışarı çıkmaz.
Sık sorulan sorular
Oyun oynayan bilgisayarım yeterli mi?
Muhtemelen evet: 8GB+ VRAM'li NVIDIA GPU, 7-14B quantized modelleri rahat çalıştırır. VRAM miktarı, çalıştırabileceğiniz model boyutunun ana belirleyicisidir.
Yerel model verimi eğitimde kullanır mı?
Hayır — model makinenizde çalışır, veriniz dışarı çıkmaz. Yerel çalıştırmanın ana cazibesi tam olarak budur; gizlilik açısından en güvenli seçenektir.
Model indirmek ne kadar yer kaplar?
Quantization'a bağlı: 7B modelin 4-bit sürümü ~4-5GB, 14B ~8-9GB. Disk planınızı buna göre yapın; kullanmadığınız modelleri `ollama rm` ile silmek yer açar.
