Ollama Kurulumu: Adım Adım Rehber

Ollama, açık ağırlıklı büyük dil modellerinin indirilmesini, yönetilmesini ve sunulmasını tek bir araca toplayan yerel model sunucusudur. Llama ailesi, Qwen, Gemma, Mistral, DeepSeek gibi onlarca modeli tek komutla indirip çalıştırabilmesi, onu yerel yapay zekâ ekosisteminin fiilî standardı hâline getirmiştir. Bu rehber, üç işletim sisteminde kurulumu, model yükleme ve çalıştırma komutlarını, Modelfile ile özelleştirmeyi ve donanım seçimini ansiklopedik biçimde ele alır.

Ollama Nedir ve Neden Kullanılır

Ollama’nın özünde iki bileşen bulunur. Birincisi, GGUF biçimindeki kuantalanmış modelleri belleğe yükleyip çıkarım yapan bir çalışma ortamıdır; bu ortam llama.cpp projesinin altyapısını temel alır. İkincisi, model indirme, listeleme, silme ve API sunumu gibi işlemleri basit komutlarla yöneten bir araçtır. Kullanıcı, kütüphane karmasıyla uğraşmadan model adını yazıp konuşmaya başlayabilir.

Bulut tabanlı yapay zekâ servislerine kıyasla üç temel avantaj sunar: veriler cihazdan çıkmaz, kullanım ücreti yoktur ve internet kesilse bile sistem çalışmaya devam eder. Gizlilik gerektiren belgeler üzerinde işlem yapanlar, kesintisiz çalışma isteyenler ve maliyet kontrolü arayan geliştiriciler için bu avantajlar belirleyicidir.

Ön Koşullar ve Donanım Gereksinimleri

Kuruluma başlamadan önce donanımın hedeflenen model boyutuna uygunluğu değerlendirilmelidir. Ollama’nın resmî önerileri şöyledir: 7B parametreli modeller en az 8 GB RAM, 13B modeller 16 GB RAM, 33B modeller 32 GB RAM, 70B modeller ise 64 GB RAM ister. GPU kullanılırsa aynı eşikler VRAM için geçerlidir; 6-8 GB VRAM 7B sınıfını, 10-12 GB VRAM 12-14B sınıfını, 16-24 GB VRAM ise 27B civarındaki modelleri kaldırır.

Disk alanı da hesaba katılmalıdır. Q4 seviyesinde kuantalanmış bir 7B model yaklaşık 4-5 GB yer kaplarken, 70B sınıfı bir model 40 GB üzeri yer isteyebilir. İşletim sistemi tarafında Windows 10 veya üzeri, macOS 12 Monterey veya üzeri ile yaygın Linux dağıtımları desteklenir. macOS’ta Apple Silicon çipleri Metal aracılığıyla, NVIDIA kartları ise CUDA sürücüleri kuruluysa otomatik olarak kullanılır.

Kurulum Adımları

Windows

1. ollama.com/download adresinden OllamaSetup.exe dosyası indirilir.
2. Kurulum dosyası çalıştırılır; kurulum yönetici yetkisi istemeden kullanıcı bazında tamamlanır.
3. Kurulum bitince Ollama arka planda otomatik başlar ve sistem tepsisinde simgesi görünür.
4. Komut satırı veya PowerShell açılarak kurulum doğrulanır.

ollama --version

macOS

1. ollama.com/download adresinden ollama.dmg dosyası indirilir.
2. Disk imajı açılır ve Ollama uygulaması Applications klasörüne sürüklenir.
3. Uygulama ilk kez başlatıldığında komut satırı aracının PATH’e eklenmesi onaylanır.
4. Terminalde sürüm kontrolü yapılır.

ollama --version

Linux

1. Resmî kurulum betiği çalıştırılır; bu betik dağıtımı algılar ve gerekli bileşenleri kurar.

curl -fsSL https://ollama.com/install.sh | sh

2. Betik, Ollama’yı sistem servisi olarak kaydetmeyi önerir; bu seçenek kabul edilirse açılışta otomatik başlar.
3. NVIDIA GPU kullanılıyorsa CUDA sürücüsünün kurulu olduğu doğrulanır.
4. Servis durumu kontrol edilir.

ollama --version
systemctl status ollama

Üç platformda da kurulumun ardından http://localhost:11434 adresinde API sunucusu hazır hâle gelir.

Model İndirme ve Çalıştırma

Ollama’daki temel çalışma düzeni pull ve run komutları üzerine kuruludur. ollama pull komutu bir modeli indirelirken, ollama run komutu model yüklü değilse önce indirir sonra etkileşimli sohbet oturumu açar. Örneğin 7B sınıfı bir model için şu komut yeterlidir:

ollama run llama3.1:8b

İndirme sırasında modelin boyutu ve ilerleme durumu gösterilir. Sohbet oturumunda /bye yazılarak çıkılır; model bellekte bir süre tutulduktan sonra otomatik boşaltılır. Yüklü modelleri listelemek için ollama list, çalışan modelin durumunu görmek için ollama ps, kullanılmayan modeli silmek için ollama rm model-adı kullanılır.

Farklı parametre boyutları çift nokta sonrası etiketle seçilir; örneğin llama3.1:8b ile llama3.1:70b aynı model ailesinin farklı boyutlarıdır. Q4, Q5, Q8 gibi kuantalama etiketleri de model adına eklenebilir; etiket belirtilmezse varsayılan olarak dengeli bir kuantalama seçilir.

Modelfile ile Özelleştirme

Modelfile, Dockerfile mantığında çalışan bir yapılandırma dosyasıdır ve modelin sistem istemini, yaratıcılık parametrelerini ve şablonunu kalıcı biçimde tanımlar. Sistem istemi önceden belirlenmiş bir asistan yaratmak için önce bir metin dosyası oluşturulur:

FROM llama3.1:8b
PARAMETER temperature 0.7
SYSTEM "Sen Türkçe konuşan bir teknik asistansın."

Ardından bu dosyadan yeni bir model türetilir:

ollama create teknik-asistan -f Modelfile
ollama run teknik-asistan

Bu yöntemle aynı temel modelden farklı kişiliklere ve ayarlara sahip türevler üretilebilir.

API Kullanımı

Ollama kurulumla birlikte REST API sunar. Sohbet uç noktasına JSON gövdesiyle istek gönderilerek uygulamalara entegrasyon yapılabilir:

curl http://localhost:11434/api/chat -d '{"model": "llama3.1:8b", "messages": [{"role": "user", "content": "Merhaba"}], "stream": false}'

Ek olarak OpenAI uyumlu bir uç nokta da sunulduğu için OpenAI istemci kütüphaneleri yalnızca taban adres değiştirilerek Ollama’ya yöneltilebilir. Bu özellik, LangChain, LlamaIndex veya kendi yazılan uygulamaların Ollama’yı neredeyse hiç kod değişikliği olmadan model sağlayıcısı olarak kullanmasını sağlar.

Model Yönetimi ve Depolama Düzeni

Ollama, indirilen model dosyalarını işletim sistemine göre belirlenmiş bir dizinde tutar; Windows’ta kullanıcı profilinin altındaki ollama klasöründe, macOS ve Linux’ta paylaşılan model dizinlerinde saklar. Modeller birikmeye başladığında disk alanı hızla tüketilebilir; bu yüzden düzenli envanter iyi bir alışkanlıktır. ollama list çıktısı, her modelin adını, etiketini, boyutunu ve son kullanım zamanını gösterir. Uzun süredir kullanılmayan ve gereksiz kopya boyutları içeren etiketler silinerek alan geri kazanılır.

Bir modelin aynı ailesinin farklı etiketleri, ortak katmanları paylaşır; yani aynı modelin 8b ve 70b etiketleri çekildiğinde ortam temel ağırlıkları tek kopyada tutar. Bu katman paylaşımı, disk kullanımını azaltır. Ayrıca ollama show model-adı komutu, modelin mimarisini, parametre sayısını, kuantalama türünü, bağlam uzunluğunu ve şablonunu görüntüler; bir modelin hangi yeteneklerde olduğunu denetlemenin en hızlı yoludur. Modelin sistem istemi ve varsayılan parametreleri de bu çıktıda görünür; Modelfile ile yapılan özelleştirmelerin kalıcı olarak uygulandığını buradan doğrulamak mümkündür.

Model depolama dizinini farklı bir diskte toplamak isteyenler, OLLAMA_MODELS ortam değişkeniyle konumu değiştirebilir. Bu ayar özellikle sistem diskini küçük olan dizüstü bilgisayarlarda işe yarar; büyük modeller ikinci bir diske taşınır ve Ollama açılışta o dizinden yükler. Değişken, servis düzeyinde tanımlandığında tüm oturumlar için geçerli olur; Linux’ta servis yapılandırma dosyasına eklenen ortam tanımı, yeniden başlatmadan sonra etkili olur.

Güvenlik ve Erişim Düzeni

Ollama varsayılan olarak yalnızca yerel makineden erişilebilen bir sunucu başlatır; API, dış ağdan doğrudan görünmez. Bu varsayım, bireysel kullanım için güvenli bir temel sağlar. Yerel ağdaki diğer cihazların modele erişmesi isteniyorsa OLLAMA_HOST değişkeni, dinleme adresini açıkça tanımlayacak biçimde değiştirilebilir; ancak bu durumda sunucunun kimlik doğrulama katmanı olmadığı unutulmamalıdır. Açılmış bir Ollama sunucusuna erişebilen herkes, modelleri kullanabilir ve sistem istemlerini değiştirebilir.

Bu yüzden ağa açık kullanımda önünde bir ters vekil (reverse proxy) katmanı kurmak, HTTPS sonlandırmayı ve erişim denetimini o katmana taşımak standart yaklaşımdır. Kurumsal ortaklıklarda Open WebUI gibi bir arayüz, kullanıcı yönetimi ve rol tabanlı erişim ekleyerek bu açığı kapatır; Ollama model motoru olarak içerde kalır, dış dünya arayüzle konuşur. Güvenlik duvarı kurallarının yalnızca gerekli bağlantı noktalarını açması ve açılan noktaların düzenli gözden geçirilmesi, temel hijyen kurallarıdır.

Gizlilik tarafında Ollama’nın mimarisi sade bir güvence sunar: çıkarım tamamen yerel yapılır, istem ve yanıt içerikleri hiçbir dış servise iletilmez. Telemetri veya kullanım takibi için dışarıya veri akışı yoktur. Model indirmesi ise doğrudan dağıtım sunucularından yapılır; indirilen dosyaların bütünlüğü, çekim sırasında doğrulanır. Veri mevzuatı gereği içeriklerin cihazdan çıkmaması gereken kurumlarda bu mimari, Ollama’yı tercih edilir kılan başlıca özelliktir.

Yaygın Hatalar ve Çözümleri

En sık görülen sorun, model boyutunun belleği aşması durumunda alınan “out of memory” hatasıdır; daha küçük bir parametre boyutu veya daha agresif bir kuantalama seçilerek çözülür. Windows’ta GPU’nun kullanılmadığı durumlarda NVIDIA sürücüsünün güncel olması kontrol edilmelidir. Linux’ta servis başlamıyorsa systemd günlükleri incelenmelidir:

journalctl -u ollama -f

Bağlantı noktası çakışması yaşanırsa OLLAMA_HOST ortam değişkeniyle sunucunun dinlediği adres değiştirilebilir. İndirme yarıda kesilirse ollama pull komutu kaldığı yerden devam eder; modelin yeniden baştan indirilmesi gerekmez.

Performans İpuçları

GPU’lu sistemlerde modelin tamamen VRAM’a sığması, token üretim hızını katbekat artırır; bu yüzden donanıma en yakın boyutta model seçmek büyük modeli bellek sınırında çalıştırmaktan daha verimlidir. Bağlam penceresi uzadıkça bellek tüketimi arttığı için gereksiz uzun bağlam ayarlarından kaçınılmalıdır. ollama ps komutu modelin GPU’da mı yoksa CPU’da mı çalıştığını gösterir; “100% GPU” ibaresi en iyi performansın işaretidir. Aynı anda birden fazla model çalıştırılmak isteniyorsa OLLAMA_MAX_LOADED_MODELS değişkeniyle eşzamanlı yükleme sayısı ayarlanabilir. Son olarak model dosyalarının kapladığı alan düzenli aralıklarla ollama list çıktısıyla gözden geçirilip kullanılmayan modeller silinerek disk alanı geri kazanılabilir.