Yapay Zekayı Kendi Bilgisayarında Çalıştırmak: Ollama, LM Studio ve Donanım Gerçekleri

ChatGPT’ye bir şey yazdığınızda o metin internet üzerinden bir şirketin veri merkezine gider, orada işlenir ve cevap size geri döner. Çoğu zaman bu sorun değil. Ama elinizde müşteri sözleşmesi, sağlık raporu ya da yayımlanmamış bir kitap taslağı varsa, “bu metin nereye gidiyor?” sorusu önem kazanıyor.

Son birkaç yılda ortaya çıkan alternatif şu: Modeli kendi bilgisayarınıza indirip orada çalıştırmak. İnternet bağlantısı olmadan, verileriniz makinenizden çıkmadan. Kulağa cazip geliyor, ama beklentiyi doğru ayarlamak için hem araçların mantığını hem de donanım gerçeklerini bilmek gerekiyor.

Yerel çalıştırmak tam olarak ne demek?

Bir müzik uygulamasında şarkıyı internetten dinlemekle, dosyayı indirip çevrimdışı dinlemek arasındaki farkı düşünün. İkincisinde şarkı telefonunuzdadır; bağlantı kopsa da çalar, kimse hangi şarkıyı kaç kez dinlediğinizi görmez.

Yerel yapay zeka da böyle. Açık ağırlıklı bir modelin dosyasını indirirsiniz ve bir program bu dosyayı bilgisayarınızın işlemcisi, belleği ve ekran kartıyla çalıştırır. Siz soru yazarsınız, cevap tamamen sizin makinenizde üretilir.

Burada kullanılabilecek modeller, Meta’nın Llama’sı, Mistral, Qwen, Gemma gibi ağırlıkları indirilebilen modeller. ChatGPT ya da Claude’un kendisini bu şekilde indiremezsiniz; onlar sadece şirketlerin kendi sunucularında çalışıyor.

Ollama: Arka planda sessizce çalışan motor

Ollama, yerel model çalıştırmayı birkaç komuta indiren ücretsiz bir araç. Windows, macOS ve Linux sürümleri var. Kurduktan sonra terminale kısa bir komut yazıyorsunuz, Ollama modeli indiriyor ve sohbet başlıyor.

Ollama’yı bir çeşit “model oynatıcısı” gibi düşünebilirsiniz. Asıl gücü, arka planda bir servis olarak çalışması. Başka uygulamalar bu servise bağlanıp modeli kullanabiliyor. Bu sayede Ollama’yı kurduktan sonra üzerine görsel bir sohbet arayüzü, not alma uygulaması ya da kod editörü eklentisi bağlamak mümkün oluyor.

Terminal görünce gözü korkanlar için son sürümlerde basit bir görsel pencere de eklendi, ama Ollama’nın asıl hitap ettiği kitle biraz teknik altyapısı olan kullanıcılar ve geliştiriciler.

LM Studio: Her şey tek pencerede

LM Studio ise tamamen görsel bir uygulama. Açtığınızda karşınıza bir arama kutusu çıkıyor, model adını yazıyorsunuz, uygulama size bilgisayarınıza uygun sürümleri listeliyor. İndir düğmesine basıyorsunuz, ardından ChatGPT’ye benzeyen bir sohbet ekranında konuşmaya başlıyorsunuz.

LM Studio’nun sevilen bir özelliği, bir modelin donanımınıza sığıp sığmayacağına dair ipucu vermesi. Ayrıca belgelerinizi yükleyip onlar hakkında soru sormanıza da imkan tanıyor. Uygulama ücretsiz sunuluyor; yine de iş yerinde kullanmadan önce güncel lisans koşullarına göz atmakta fayda var.

Bu ikisinin dışında Jan ve GPT4All gibi benzer araçlar da bulunuyor. Mantık hepsinde aynı: model dosyasını indir, yerelde çalıştır, bir arayüzle konuş.

Donanım: Asıl belirleyici kısım

Burada işler somutlaşıyor, çünkü yerel yapay zekanın kalitesini neredeyse tamamen donanımınız belirliyor.

Bellek her şeyden önce gelir

Bir modeli çalıştırmak için tamamının belleğe sığması gerekiyor. Kabaca şöyle düşünebilirsiniz: Modelin parametre sayısı ne kadar büyükse o kadar fazla bellek ister. Sıkıştırılmış (genellikle 4 bit denilen) sürümlerde, milyar parametre başına yarım gigabayt civarı ve üstüne bir miktar ek pay gerekir.

Buna göre yaklaşık bir tablo çıkarabiliriz. Bunlar kaba tahminler; model, sıkıştırma türü ve ayarlara göre değişir:

• 3-4 milyar parametreli küçük modeller: 8 GB belleğe sahip bir bilgisayarda çalışabilir.
• 7-8 milyar parametreli modeller: 16 GB bellekle rahat bir deneyim sunar. Günlük kullanım için çoğu kişinin başladığı nokta burası.
• 30 milyar civarı modeller: 32 GB ve üzeri bellek gerekir.
• 70 milyar ve üzeri: 64 GB ve daha fazlası; bu artık sıradan ev bilgisayarının sınırlarını zorluyor.

Ekran kartı hızı belirler

Model sadece işlemciyle de çalışabilir, ama yavaş olur. Cevapların kelime kelime, sabrınızı zorlayacak hızda gelmesi sürpriz değil. Ekran kartı (GPU) devreye girdiğinde hız ciddi şekilde artar. Burada önemli olan, ekran kartının kendi belleği, yani VRAM. Model VRAM’e sığarsa hızlı çalışır, sığmazsa bir kısmı normal belleğe taşar ve performans düşer.

Apple Silicon’un özel durumu

M serisi işlemcili Mac’lerde işlemci ve grafik birimi aynı belleği paylaşıyor. Bu yüzden örneğin 32 GB belleğe sahip bir Mac, bu belleğin büyük kısmını model için kullanabiliyor. Aynı fiyattaki birçok Windows dizüstünde ekran kartının belleği çok daha sınırlı olduğu için, yerel yapay zeka söz konusu olduğunda bellek miktarı yüksek Mac’ler öne çıkabiliyor.

Uzun belgeler ek bellek ister

Modelin dosyası belleğe sığsa bile iş bitmiyor. Sohbet uzadıkça ya da modele uzun bir belge verdikçe, modelin o metni aklında tutması için ek bellek gerekiyor. Bu yüzden kağıt üzerinde sığan bir model, 50 sayfalık bir raporu okuturken yavaşlayabilir ya da hata verebilir. Uygulamalardaki “bağlam uzunluğu” ayarını düşürmek bu durumda işe yarar, ama model de o ölçüde daha az metni aynı anda görebilir.

Telefonda çalışır mı?

Çok küçük modeller güncel üst segment telefonlarda da çalışabiliyor ve bazı üreticiler cihaz içi yapay zeka özelliklerini zaten bu yolla sunuyor. Ama telefonda bağımsız olarak büyük bir model çalıştırmak, pil ve ısınma açısından bugün için pek pratik değil.

Beklenti ayarı: Ne alırsınız, ne almazsınız?

Dürüst olmak gerekirse, ev bilgisayarında çalışan 8 milyar parametreli bir model, en güncel bulut tabanlı asistanların seviyesinde değil. Karmaşık akıl yürütme gerektiren işlerde, uzun belgeleri analiz ederken ya da Türkçe’nin incelikli kullanımında fark hissedilir. Web araması, görsel üretimi gibi ek özellikler de kendiliğinden gelmez.

Buna karşın bazı işlerde yerel modeller gayet yeterli: bir metni özetlemek, e-postayı yeniden yazmak, basit kod parçaları üretmek, notları düzenlemek, bir belgedeki bilgiyi bulmak. Özellikle verinin gizli kalması gereken durumlarda, biraz daha düşük kalite kabul edilebilir bir takas olabilir.

Bir de pratik bir konu var: Modeller büyük dosyalar. Tek bir model birkaç gigabayttan onlarca gigabayta kadar yer kaplayabilir. Farklı modelleri denemeye başladığınızda disk alanınız hızla dolabilir.

Başlamak isteyenler için makul bir yol

Teknik detaylara girmeden denemek istiyorsanız LM Studio ile başlamak en rahat yol. Önce 3-4 milyar parametreli küçük bir modeli indirin, bilgisayarınızın nasıl tepki verdiğine bakın. Hız ve kalite sizi tatmin ediyorsa 7-8 milyar parametreli bir modele geçin. Terminalden korkmuyorsanız ve modeli başka uygulamalarla birleştirmeyi düşünüyorsanız Ollama daha esnek bir seçenek.

İndirmeleri resmi kaynaklardan ve tanınmış model yayıncılarından yapmak da ayrı bir önem taşıyor. Model dosyaları büyük ve kontrolü zor olduğu için kaynağı belirsiz dosyalardan uzak durmak mantıklı.

Sık Sorulan Sorular

Yerel yapay zeka için internete ihtiyaç var mı?

Modeli indirirken internet gerekir. İndirme tamamlandıktan sonra sohbet tamamen çevrimdışı çalışabilir; yazdıklarınız bilgisayarınızdan dışarı çıkmaz.

Ekran kartı olmadan çalışır mı?

Çalışır, ama özellikle büyük modellerde cevaplar belirgin şekilde yavaş gelir. Küçük modeller işlemciyle de kullanılabilir bir hızda çalışabilir.

Oyun bilgisayarım yeterli mi?

Güncel bir oyun ekran kartı ve 16 GB ya da üzeri sistem belleği, 7-8 milyar parametreli modeller için genellikle iyi bir başlangıç. Belirleyici olan, ekran kartının kendi belleğinin kaç gigabayt olduğu.

Yerel model ChatGPT kadar iyi olur mu?

Ev donanımında çalışabilen modeller, en güçlü bulut modellerinin gerisinde kalıyor. Ama birçok günlük iş için yeterli olabiliyor ve gizlilik avantajı bu farkı telafi edebiliyor.

Yerel yapay zeka, bulut asistanlarının yerini almaktan çok, hassas işleriniz için yanınızda duran ikinci bir araç olarak düşünüldüğünde en çok anlam kazanıyor.