Kendi Bilgisayarında Yerel LLM Çalıştırma Rehberi: LM Studio ve Ollama Kurulumu
Yapay zeka dünyasında rüzgar artık bulut tabanlı servislerden yerel sistemlere doğru esiyor.
ChatGPT veya Claude gibi servisler oldukça güçlü olsa da; veri gizliliği, abonelik ücretleri ve internet bağımlılığı gibi faktörler, birçok profesyoneli ve teknoloji meraklısını yerel LLM yani Local Large Language Model kullanımına yöneltiyor.
2026 yılı itibarıyla orta segment bir oyuncu bilgisayarı veya M-serisi işlemcili bir Mac bile, güçlü yapay zeka modellerini yerel olarak çalıştırabilecek seviyeye geldi.
Bu rehberde, yerel LLM dünyasının en popüler iki aracı olan LM Studio ve Ollama kurulumunu, kullanım mantığını ve temel optimizasyon ipuçlarını bulabilirsiniz.
—
🖥️ Neden Yerel LLM Çalıştırmalısınız?
Yerel yapay zeka modeli çalıştırmak sadece teknoloji meraklılarına özel bir hobi değildir. Aynı zamanda gizlilik, maliyet ve bağımsızlık açısından önemli avantajlar sunar.
Gizlilik
Yerel LLM kullandığınızda yazdığınız veriler bilgisayarınızdan dışarı çıkmaz.
Bu özellikle şirket sırları, müşteri bilgileri, özel belgeler, kod parçaları veya kişisel veriler üzerinde çalışan kullanıcılar için büyük bir avantajdır.
Maliyet
Bulut tabanlı yapay zeka servisleri genellikle aylık abonelik sistemiyle çalışır.
Yerel modellerde ise kendi donanımınızı ve elektriğinizi kullanarak sınırsız sayıda sorgu yapabilirsiniz.
Çevrimdışı Kullanım
İnternet bağlantınız olmasa bile yerel modeliniz bilgisayarınızda çalışmaya devam eder.
Bu özellik özellikle seyahat edenler, bağlantı problemi yaşayanlar veya kapalı sistemlerde çalışan profesyoneller için oldukça kullanışlıdır.
Modifikasyon ve Entegrasyon
Yerel modelleri kendi verilerinizle daha kolay entegre edebilirsiniz.
Özellikle RAG yani Retrieval-Augmented Generation yöntemiyle PDF, doküman, bilgi tabanı veya şirket içi verilerle çalışan özel asistanlar oluşturabilirsiniz.
—
🛠️ Donanım Gereksinimleri: Bilgisayarınız Hazır mı?
Yerel LLM çalıştırırken en kritik bileşenlerden biri VRAM yani ekran kartı belleğidir.
Model ne kadar büyükse, o kadar fazla RAM ve VRAM ihtiyacı duyar.
Bileşen | Minimum | Önerilen |
|---|
İşlemci | 4 çekirdek modern CPU | Apple M2/M3 veya Intel i7 / Ryzen 7 |
Bellek | 8 GB RAM | 32 GB ve üzeri |
Ekran Kartı | 4 GB VRAM NVIDIA GPU | 12 GB+ VRAM, RTX 3060 / RTX 4060 ve üzeri |
Depolama | 20 GB boş SSD alanı | 100 GB+ NVMe SSD |
Daha küçük modeller düşük donanımlarda da çalışabilir. Ancak daha hızlı ve akıcı sonuçlar için güçlü bir ekran kartı büyük avantaj sağlar.
—
1. LM Studio: Görsel ve Kolay Kullanım
LM Studio, Hugging Face üzerindeki binlerce modeli tek tıkla indirip kullanmanızı sağlayan, kullanıcı dostu bir masaüstü uygulamasıdır.
Yeni başlayanlar için en kolay yerel LLM çözümlerinden biridir.
—
LM Studio Kurulum Adımları
1. LM Studio’yu indirin
Öncelikle LM Studio’nun resmi web sitesine gidin:
https://lmstudio.ai
İşletim sisteminize uygun sürümü indirin ve kurulumu tamamlayın.
2. Model arayın
Uygulamayı açtıktan sonra sol menüdeki büyüteç ikonuna tıklayın.
Arama kutusuna şu model isimlerinden birini yazabilirsiniz:
Llama 3
Mistral
Gemma
Phi
3. Modeli indirin
Model sayfasında farklı boyutlar ve farklı quantization seçenekleri göreceksiniz.
8 GB veya 16 GB RAM’e sahip kullanıcılar için genellikle şu sürümler daha uygundur:
Q4_K_M
Q5_K_M
Bu sürümler daha düşük bellek tüketir ve günlük kullanım için iyi performans sunar.
4. Sohbete başlayın
Sol menüdeki konuşma balonu ikonuna tıklayın.
Üst bölümden indirdiğiniz modeli seçin ve yerel yapay zeka asistanınızla konuşmaya başlayın.
—
LM Studio İçin Performans İpucu
NVIDIA ekran kartınız varsa, model ayarlarında yer alan GPU Offload seçeneğini mümkün olduğunca yükseltin.
Bu ayar, modelin işlemci yerine ekran kartı üzerinde çalışmasını sağlar.
Böylece cevap üretme hızı ciddi şekilde artabilir.
—
2. Ollama: Performans ve Geliştirici Odaklı Kullanım
Ollama, yerel LLM çalıştırmak isteyen geliştiriciler için oldukça güçlü ve pratik bir araçtır.
Terminal üzerinden çalışır, arka planda servis olarak görev yapar ve sistem kaynaklarını oldukça verimli kullanır.
Özellikle kendi uygulamasına yapay zeka entegre etmek isteyenler için ideal bir çözümdür.
—
Ollama Kurulum Adımları
1. Ollama’yı indirin
Ollama’nın resmi web sitesine gidin:
https://ollama.com
İşletim sisteminize uygun sürümü indirin ve kurulumu tamamlayın.
2. Terminali açın
Windows kullanıyorsanız Komut İstemi veya PowerShell’i açabilirsiniz.
macOS veya Linux kullanıyorsanız Terminal uygulamasını açmanız yeterlidir.
3. Modeli çalıştırın
Aşağıdaki komutu terminale yazın:
ollama run llama3
Bu komut, ilgili modeli otomatik olarak indirir ve sohbet ekranını başlatır.
İndirme işlemi model boyutuna ve internet hızınıza göre biraz zaman alabilir.
—
Ollama’nın Avantajı Nedir?
Ollama’nın en büyük avantajlarından biri, yerel bir API sunmasıdır.
Bu sayede Ollama’yı farklı araçlarla birleştirebilirsiniz.
Örneğin:
- Page Assist gibi tarayıcı eklentileriyle web üzerinde yerel yapay zeka kullanabilirsiniz.
- AnythingLLM gibi arayüzlerle PDF dosyalarınızla konuşan yerel asistanlar oluşturabilirsiniz.
- Kendi yazılım projelerinize yerel yapay zeka desteği ekleyebilirsiniz.
Bu yönüyle Ollama sadece bir sohbet aracı değil, aynı zamanda geliştiriciler için güçlü bir altyapıdır.
—
💡 Model Seçimi: Hangi Modeli İndirmeli?
Hugging Face ve Ollama kütüphanelerinde çok sayıda model bulunur.
Yeni başlayanlar için aşağıdaki modeller iyi bir başlangıç noktası olabilir.
Kullanım Amacı | Önerilen Model |
|---|
Genel kullanım | Llama 3.1 |
Kod yazımı | DeepSeek-Coder-V2 veya CodeLlama |
Hız ve düşük donanım | Mistral-7B veya Phi-3-Mini |
Türkçe performansı | Trendyol-LLM veya Llama 3 tabanlı Türkçe fine-tune modeller |
Model seçerken sadece modelin popülerliğine değil, bilgisayarınızın donanım gücüne de dikkat etmelisiniz.
Düşük donanımlı bilgisayarlarda küçük ve quantized modeller daha iyi sonuç verir.
—
⚠️ Dikkat Etmeniz Gerekenler
Yerel LLM kurarken ve kullanırken bazı teknik detaylara dikkat etmek gerekir.
—
Quantization Nedir?
Quantization, büyük yapay zeka modellerinin boyutunu küçültme işlemidir.
4-bit yani Q4 modeller, orijinal modellere göre çok daha az RAM ve VRAM tüketir.
Genellikle günlük kullanım için en dengeli seçeneklerden biri şudur:
Q4_K_M
Bu format, performans ve kalite arasında iyi bir denge sunar.
—
Isınma Sorunu
Yerel LLM çalıştırmak bilgisayarınızı oyun oynuyormuş gibi zorlayabilir.
Özellikle büyük modeller uzun süre çalıştırıldığında işlemci ve ekran kartı ısınabilir.
Bu nedenle:
- Bilgisayarınızın hava kanallarının açık olduğundan emin olun.
- Dizüstü bilgisayarlarda soğutucu stand kullanmayı düşünebilirsiniz.
- Uzun süreli kullanımlarda sıcaklık değerlerini takip edin.
—
VRAM Limitlerine Dikkat Edin
Model, ekran kartınızın VRAM kapasitesini aşarsa sistem RAM kullanmaya başlar.
Bu durumda cevap üretme hızı ciddi şekilde düşebilir.
Bazı durumlarda model saniyede yalnızca 1 veya 2 kelime üretebilir.
Bu yüzden donanımınıza uygun model seçmeniz önemlidir.
—
🏁 Sonuç
Kendi yerel yapay zekanızı kurmak, dijital bağımsızlığınızı artırmanın en etkili yollarından biridir.
LM Studio ile görsel ve kolay bir başlangıç yapabilir, Ollama ile bu gücü farklı uygulamalarınıza entegre edebilirsiniz.
Yerel LLM kullanarak:
- Verilerinizi kendi bilgisayarınızda tutabilirsiniz.
- Abonelik maliyetlerini azaltabilirsiniz.
- İnternet olmadan yapay zeka kullanabilirsiniz.
- Kendi belgelerinizle çalışan özel asistanlar oluşturabilirsiniz.
Yerel yapay zeka dünyasına girmek için güçlü bir laboratuvara ihtiyacınız yok. Doğru modeli, doğru araçla ve doğru ayarlarla kullanmanız yeterlidir.
Siz hangi modeli tercih ediyorsunuz? Kurulum sırasında yaşadığınız sorunları yorumlarda paylaşın, birlikte çözelim.
"""
