DeepSeek V3 veya Llama 3'ü Evdeki Bilgisayarda Çalıştırmak İçin Minimum Sistem Gereksinimleri

Açık kaynak yapay zekâ dünyasında yaşanan inanılmaz sıçrama sayesinde Llama 3.1, Qwen 2.5 ve DeepSeek V3 gibi modeller kapalı laboratuvar modelleriyle kafa kafaya yarışır hale geldi. Bu modelleri kendi evindeki bilgisayarda çalıştırmak isteyen kullanıcıların aklındaki ilk soru ise hep aynı: “Benim bilgisayarım bu modeli kaldırır mı?”

İnternetteki spekülasyonları bir kenara bırakıp; 8B hafif sıkletten 671B devasa MoE mimarilerine kadar ev donanımında LLM çalıştırmanın gerçekçi donanım gereksinimlerini ortaya koyuyoruz.

---

3 Farklı Ağırlık Kategorisi: Hangi Model Nereye Sığar?

Yapay zekâ modellerini parametre boyutlarına göre 3 sınıfa ayırmak gerekir:

1. Kategori: Hafif Sıklet (7B - 9B Parametre)

• Temsilciler: Llama 3.1 8B, DeepSeek R1 8B, Mistral 7B, Gemma 2 9B.
• Minimum Gereksinim: 16 GB Sistem RAM’i, 4 çekirdekli modern işlemci.
• Önerilen Ekran Kartı: Nvidia RTX 3060 (12GB), RTX 4060 (8GB) veya Apple Silicon (16GB+).
• Kullanıcı Deneyimi: Saniyede 25 - 60 token. Neredeyse anında cevap verir; kodlama ve günlük metin işleri için mükemmeldir.

2. Kategori: Orta/Ağır Sıklet (14B - 32B Parametre)

• Temsilciler: Qwen 2.5 14B/32B, DeepSeek 14B, Yi 34B.
• Minimum Gereksinim: 32 GB Sistem RAM’i + 12 GB VRAM.
• Önerilen Ekran Kartı: RTX 4060 Ti 16GB, RTX 3090 24GB veya Apple Silicon 36GB+.
• Kullanıcı Deneyimi: Çok daha derin muhakeme ve karmaşık mantık kurma becerisi; saniyede 15 - 35 token hızı.

3. Kategori: Ağır Sıklet (70B Parametre)

• Temsilciler: Llama 3.1 70B, Qwen 2.5 72B.
• Minimum Gereksinim: 64 GB Sistem RAM’i (DDR5 tercih edilir).
• Önerilen GPU: 2x RTX 3090 (Toplam 48GB VRAM) veya 64GB / 128GB Apple Silicon Mac.
• Kullanıcı Deneyimi: GPT-4 kalitesinde cevaplar; tam donanımla saniyede 15-20 token, sadece CPU ile saniyede 3-6 token.

---

Donanım İhtiyaç Matrisi (Özet Tablo)

Model ve Kuantizasyon	Dosya Boyutu	Minimum RAM	Minimum VRAM (GPU)	Önerilen Donanım
Llama 3.1 8B (Q4_K_M)	~4.9 GB	16 GB	6 GB VRAM	RTX 3060 / 4060 / Mac 16GB
Llama 3.1 8B (Q8_0)	~8.5 GB	16 GB	10 GB VRAM	RTX 3060 12GB / Mac 18GB
Qwen 2.5 14B (Q4_K_M)	~9.2 GB	32 GB	12 GB VRAM	RTX 3060 12GB / RTX 4070
Llama 3.1 70B (Q4_K_M)	~42.5 GB	64 GB	40 - 48 GB VRAM	2x RTX 3090 / Mac M-Max 64GB
DeepSeek V3 (671B MoE Q4)	~380 GB	128 GB+	350+ GB (Cluster)	Sadece NVMe Disk Offload / Sunucu

---

DeepSeek V3 (671B MoE) Evde Çalışır mı?

DeepSeek V3, toplam 671 milyar parametreye sahip olmasına rağmen her token için yalnızca 37 milyar parametreyi aktif eden dahice bir Uzmanlar Karışımı (Mixture of Experts - MoE) mimarisi kullanır.

Ancak sorun şudur: Hesaplama 37B ile yapılsa bile, tüm 671B model ağırlıklarının bellekte hazır beklemesi gerekir. 4-bit kuantize edilmiş hali dahi diskinizde yaklaşık 380 GB yer tutar.

• Evinizde 8 adet RTX 4090 veya 512 GB RAM’li özel bir iş istasyonu yoksa, DeepSeek V3’ü evde tam hızında çalıştırmak imkansızdır.
• Bunun yerine DeepSeek ekibinin damıttığı (distilled) DeepSeek-R1-Distill-Qwen-8B veya 14B modellerini evinizde ışık hızında çalıştırabilirsiniz.

---

Sonuç

Evde yerel yapay zekâ çalıştırmak için servet harcamanıza gerek yoktur. 16 GB RAM ve 12 GB VRAM’e sahip ortalama bir sistem, 8B modellerle günlük ihtiyaçlarınızın yüzde 90’ını fazlasıyla karşılar. Donanımınızı zorlamadan bütçenize en uygun model boyutunu seçerek başlayın.