Qwen ve DeepSeek Modellerini Yerelde Çalıştırma

Yerel yapay zekâ deneyiminin kalitesi, büyük ölçüde model seçimiyle belirlenir. Qwen, Alibaba’nın geliştirdiği geniş model ailesi; DeepSeek ise akıl yürütme odaklı modelleriyle öne çıkan Çin merkezli bir laboratuvarın ailesidir. İkisi de açık ağırlıklıdır, GGUF kuantalamaları yaygındır ve Ollama ile llama.cpp gibi araçlara tam uyumludur. Bu rehber, iki ailenin boyut yelpazesini donanım seviyeleriyle eşleştirir ve pratik kurulum komutlarını verir.

Model Ailelerinin Genel Görünümü

Qwen3 ailesi, 0.6B, 1.7B, 4B, 8B, 14B ve 32B boyutlarında yoğun (dense) modellerle, uzman karışımlı (MoE) 30B-A3B ve 235B-A22B varyantlarından oluşur. Küçük boyutlar bile görece yetkindir; 4B modeli araç çağırma desteğiyle küçük yerel uygulamalar için dikkat çekici bir seçenektir. DeepSeek ailesi, V serisi genel amaçlı modellerle R1 serisi akıl yürütme modellerinden oluşur; R1’in tam modeli çok büyük olup yerel kullanıcılar için Qwen ve Llama tabanlı distill sürümler (1.5B, 7B/8B, 14B, 32B) hazırlanmıştır. Distill modeller, tam modelin akıl yürütme davranışını daha küçük gövdelere aktaran eğitimlerdir.

İki ailenin karakteri farklıdır: Qwen, genel amaçlı görevlerde dengeli ve çok dillidir; DeepSeek-R1 distilleri, matematiği, kodu ve adımlı mantığı öne çıkaran düşünme zincirleri üretir. Bu yüzden seçim yalnızca donanıma değil göreve göre de yapılmalıdır.

Donanıma Göre Model Eşleştirme

Eşleştirme kuralı basittir: modelin kuantalı dosya boyutu artı bağlam önbelleği, mevcut RAM veya VRAM’ı aşmamalıdır. Pratik tablo şöyledir. 8 GB RAM/VRAM seviyesinde Qwen3 0.6B, 1.7B ve 4B ile DeepSeek 1.5B distill rahat çalışır; 8B sınıfı ancak CPU’ya uygun biçimde sınırda kalır. 12-16 GB seviyede Qwen3 8B, Q4 kuantayla tam GPU belleğine sığar ve akıcı hız verir; 14B model Q4 ile 16 GB civarı ister. 24 GB seviyede (RTX 3090/4090 sınıfı) Qwen3 14B yüksek kuantayla veya Qwen3 32B ile DeepSeek 32B distill Q4 kuantayla çalışır; 32B modeller bu donanımın üst sınırıdır ve yüksek bağlamda zorlanabilir. 48 GB ve üzeri profesyonel düzenlerde 70B sınıfı modeller devreye girer.

Kural olarak, donanımın kaldırdığından bir boyut küçük modeli yüksek kuantayla çalıştırmak, tam sınırda büyük model çalıştırmaktan genellikle daha tutarlı sonuç verir. Bağlam penceresi uzatılıyororsa bellek payı için ek alan bırakılmalıdır; uzun bağlamlar KV cache ile belleği hızla büyütür.

Kurulum ve Pratik Komutlar

Ollama ile Hızlı Başlangıç

Ollama kurulu bir sistemde model, tek komutla çekilir ve çalıştırılır:

ollama run qwen3:8b
ollama run deepseek-r1:14b

İndirme tamamlandıktan sonra etkileşimli sohbet açılır. Yüklü modeller ollama list ile görülür, boş alan için ollama rm ile silinir. Ollama kütüphanesinde Qwen ve DeepSeek ailelerinin farklı boyutları etiketlerle sunulur; etiket belirtilmezse dengeli bir kuantalama seçilir.

llama.cpp ile Çalıştırma

Daha ince kontrol isteyenler için model GGUF olarak Hugging Face’ten (bartowski ve Unsloth gibi topluluk derleyicilerinin kuantaları popülerdir) indirilir ve llama.cpp ile çalıştırılır:

./llama-server -m Qwen3-8B-Q4_K_M.gguf -ngl 99 -c 8192

-ngl parametresi tüm katmanları GPU’ya aktarır; -c bağlam uzunluğunu belirler. Donanım modelin tamamını kaldıramıyorsa düşük kuantalama veya katmanların bir kısmını CPU’da bırakmak gibi seçenekler değerlendirilir.

Kuantalama Seçimi

Q4_K_M, kalite ve boyut dengesi nedeniyle varsayılan tercihtir ve parametre başına yaklaşık 0,6-0,7 GB hesaplanır; 14B model bu kuantayla yaklaşık 9 GB dosya üretir. Q6_K ve Q8_0, neredeyse kayıpsız kabul edilir ve kod ile matematik gibi hassas görevlerde tercih edilir; bedeli yüzde 30-70 daha büyük dosyadır. Q3 ve Q2 seviyeleri yalnızca bellek çok kısıtlıysa kullanılmalıdır; bu seviyelerde özellikle akıl yürütme modellerinin tutarlılığı hızla bozulur. Akıl yürütme modellerinde kuantalamanın etkisi, sıradan sohbet modellerinden daha belirgindir; düşünme zincirindeki küçük hatalar yanıtı tümüyle saptırabilir, bu yüzden donanım izin veriyorsa daha yüksek kuantalama seçilir.

Unsloth gibi topluluk derleyicilerinin dinamik kuantalamaları, kritik katmanlara ekstra hassasiyet ayırarak aynı boyutta daha iyi kalite hedefler; popüler modeller için bu derleyicilerin kuantaları denemeye değer seçeneklerdir.

Akıl Yürütme Modelleriyle Çalışma

DeepSeek-R1 distilleri ve Qwen’in düşünme kipli sürümleri, yanıtı üretmeden önce görünür düşünme bölümleri yazar. Bu davranış iki pratik sonucu doğurur: yanıtlar daha uzun sürer ve bağlam, düşünme tokenleriyle hızla dolar. Basit sorular için sıradan modeller daha ekonomikken, matematiği, kod hata ayıklamayı ve çok adımlı planlamayı içeren görevlerde akıl yürütme modelleri belirgin biçimde üstündür. Ollama’da bu modellerin davranışı şablona gömülüdür; llama.cpp tarafında düşünme bölümünün ayrıştırılması şablon desteğine bağlıdır ve güncel sürümler kullanılmalıdır.

Göreve Göre Seçim Kılavuzu

Boyut eşleşmesinin ötesinde, görev profili model seçiminin ikinci eksenidir. Genel sohbet, yazı yardımı ve özetleme için Qwen3’ün orta boyutları (8B, 14B) dengeli bir tercih olup Türkçe akıcılığı da daha iyi düzeydedir. Kod yazma ve hata ayıklama görevlerinde hem aileler güçlüdür; 14B ve üzeri kod odaklı varyantlar ile DeepSeek-R1 distilleri, çok adımlı hata analizi gerektiren işlerde öne çıkar. Matematik ve mantık problemlerinde akıl yürütme modellerinin üstünlüğü nettir; düşünme zinciri, yanıttan önce hatayı yakalama fırsatı verir.

Ajan ve araç çağırma senaryoları ayrı bir değerlendirme ister: modelin fonksiyon çağırma biçimlerini izleyebilmesi beklenir ve bu yetenek küçük modellerde çabuk bozulur. Qwen3’ün 4B boyutu bile araç çağırmayı destekler, ancak çok aşamalı ajan akışlarında 8B ve üzeri modeller güvenilirdir. Uzun belge işleme ise bağlam penceresiyle ilgilidir; bağlam sınırı donanımla dengelenmeli, uzun belgelerde parça bazlı işleme (haritalama-azaltma deseni) düşünülmelidir. Pratik yaklaşım, birincil görev için bir ana model seçip ikincil hafif görevler (sınıflandırma, kısa özet) için küçük bir yardımcı model tutmaktır; bu ikili düzen, hem hız hem maliyet açısından tek güçlü modelin her işe koşulmasından verimlidir.

Bağlam Yönetimi ve Bellek Dengesi

Model seçildiğinde ayarlama işi başlar ve ilk konu bağlam uzunluğudur. Bağlam penceresi, hem modelin görebildiği metin sınırı hem de bellek tüketiminin en değişken bileşenidir; KV cache, bağlam uzunluğuyla büyür ve model dosyasının kendisinden büyük bellek talebi yaratabilir. 32B modellerde uzun bağlam açmak, 24 GB kartın üst sınırını hızla zorlar. Pratik kural, gerçek kullanım senaryosunun gerektirdiği en uzun konuşmayı ölçüp bağlamı ona göre tanımlamaktır; gereksiz geniş bağlam, hız ve kararlılık kaybıdır.

Bellek dengesinin ikinci parçası, modelin hangi ortamda yüklendiğidir. Tamamen GPU’da yüklü model en yüksek hızı verir; katmanların bir kısmı CPU’ya düştüğünde hız düşer ancak model çalışmaya devam eder. Ollama’da bu durum ollama ps çıktısında görülür; llama.cpp tarafında günlüklerde katman dağılımı raporlanır. Kuantalama ve bağlam ayarı birlikte ele alınmalıdır: daha agresif kuantalama, uzun bağlam için yer açar; tersine, kaliteye öncelik veriliyorsa bağlam kırpılır. Üçüncü parça eşzamanlılıktır; tek kullanıcıda çalışan ayar, çok oturumlu kullanımda yetersiz kalır ve paralel istek sayısı arttıkça bellek planlaması yeniden yapılmalıdır.

Güncellik ve Topluluk Kaynakları

Qwen ve DeepSeek aileleri, yerel yapay zekâ ekosisteminin en hızlı güncellenen bileşenleridir; yeni sürümler çıktıkça eski boyutların yerini güçlenmiş varyantlar alır. Güncel kalmak için üç kaynağı izlemek yeterlidir: Ollama kütüphanesi, yeni sürümleri standart etiketlerle sunar ve ollama pull ile güncelleme tek komuttur; Hugging Face’te resmî model sayfaları ile Unsloth, bartowski gibi topluluk derleyicilerinin kuantaları yayınlanır; Qwen ve DeepSeek’in resmî GitHub depolarında sürüm notları ve çalıştırma kılavuzları paylaşılan birincil kaynaklardır.

Topluluk değerlendirmeleri de seçim sürecine veri sağlar; yerel model forumlarında aynı donanımda yapılan hız ölçümleri ve kalite karşılaştırmaları bolca paylaşılır. Ancak bu ölçümler donanım ve ayarlara duyarlıdır; başkalarının sonuçları, kendi ortamda doğrulanmalıdır. Yeni sürüm geldiğinde sağlam yöntem, önce küçük boyutunu deneyip davranışını ve Türkçe kalitesini gözlemlemek, sonra donanıma uygun büyük boyutuna geçmektir. Eski sürümlerin diskte birikmesi de pratik bir sorundur; sürüm geçişlerinden sonra kullanılmayan etiketlerin silinmesi, disk düzenini korur. Süreç kurulduğunda model güncellemesi, mevcut iş akışını bozmayan rutin bir bakım adımı hâline gelir.

Yaygın Hatalar ve İpuçları

En yaygın hata, donanım sınırını zorlayan model seçimidir; sistem belleği dolduğunda işletim sistemi takas alanına yazmaya başlar ve hız dramatik biçimde düşer. İkinci hata, aşırı agresif kuantalamadır; Q2 dosyaları küçük görünse de görev kalitesini düşürür. Üçüncüsü, embedding ve sohbet modelini karıştırmaktır; RAG uygulamalarında embedding için nomic-embed-text gibi özel modeller kullanılmalıdır.

İpuçları olarak, modelin GPU belleğine tam sığıp sığmadığının ollama ps çıktısı veya llama.cpp günlükleriyle doğrulanması, Türkçe kalitenin düşük bulunması durumunda bir üst boyutun denenmesi ve görev profilinin belirlenmesi (genel sohbet mi, kod mu, akıl yürütme mi) sonrasında modelin sabitlenmesi sayılabilir. Aileler hızla yenilendiği için yeni sürümler çıktığında aynı donanımda karşılaştırma yapmak, her zaman en iyi güncel seçeneği yakalamayı sağlar. Son olarak her modelin kendi lisans metni vardır; ticari dağıtımlarda lisans koşullarının doğrulanması gereklidir.