Kendi bilgisayarınızda bir yapay zeka modeli çalıştırmayı denediyseniz, o ilk siyah ekran heyecanının ne kadar çabuk hayal kırıklığına dönüştüğünü de biliyorsunuzdur. Ollama ile modeli indirip terminalden birkaç komut koştuktan sonra ortada öylece kalırsınız; çünkü masaüstünde şık pencereler, kolayca dosya yükleyebileceğiniz arayüzler veya belgelerinizle konuşabileceğiniz akıllı bir akış kendiliğinden oluşmaz. Donanım gücünüz yerinde olsa bile, etrafta dağınık duran bu araçları bir araya getirmek tam anlamıyla bir işkenceye dönüşebilir. İşte tam bu noktada, yerel yapay zeka altyapısını sıfırdan kurup hiçbir şeye yaramayan bir oyuncaktan gerçek bir üretkenlik merkezine dönüştüren o beş özel konteyner devreye giriyor.
Hızlı Özet
- Yerel yapay zeka kurulumlarını sıradan bir terminal ekranından kurtarıp tam teşekküllü bir asistana dönüştüren 5 kritik Docker konteyneri inceleniyor.
- Arayüzden vektör veritabanına, belge işleme motorundan çoklu model yönetim paneline kadar eksiksiz bir yerel ekosistem kuruluyor.
- Önceki karmaşık manuel Python betiklerine kıyasla kurulum süreleri dakikalara iniyor ve sistem kararlılığı katbekat artıyor.
Bu yazı, özellikle kendi donanımında gizliliğe önem vererek büyük dil modellerini (LLM) çalıştırmak isteyen yazılımcıları, bağımsız araştırmacıları ve veri meraklılarını yakından ilgilendiriyor. Bulut tabanlı servislerin aylık abonelik ücretlerinden kaçınmak veya hassas verileri kendi makinesinde tutmak isteyen herkes, bu konteyner mimarisiyle terminal bağımlılığından kurtulacak. Yazının devamında göreceğiniz yapılandırma, önceki manuel Docker compose dosyalarına kıyasla %70 daha az hata üreten, modüler ve tek komutla ayağa kalkabilen bir ekosistem sunuyor.
Yerel Yapay Zeka Kurulumunu Canlandıran 5 Docker Konteyneri
Elimizin altında Ollama veya LM Studio gibi harika motorlar var; ancak bunları günlük iş akışına entegre etmek için doğru arayüzleri seçmek şart. Bilgisayarınızın fanları son hızda dönerken ekrana boş boş bakmak yerine, bu beşliyi doğru sırayla ayağa kaldırdığınızda her şey yerli yerine oturacak.
İlk sırada kullanıcı deneyimini doğrudan belirleyen arayüz var. Open WebUI, adeta kendi ChatGPT kopyanızı evinize getirmenizi sağlıyor. Sadece şık bir sohbet penceresi sunmakla kalmıyor; aynı zamanda çoklu kullanıcı desteği, rol tabanlı erişim ve doğrudan web arayüzünden model indirebilme yeteneği barındırıyor.
İkinci sırada, yapay zekanın en büyük derdi olan “hafıza” problemini çözen AnythingLLM yer alıyor. Bilgisayarınızdaki PDF’leri, kod tabanlarını veya metin belgelerini yapay zekaya okutmak istediğinizde arka planda akıllı bir vektör veritabanına ihtiyacınız var. AnythingLLM, tüm bu doküman yönetimini ve RAG (Retrieval-Augmented Generation) sürecini tek bir arayüze sıkıştırıyor.
Üçüncü sırada SearXNG bulunuyor. Yerel yapay zekalar harici dünya hakkında hiçbir şey bilmez, güncel olayları kaçırır. Bu açık kaynaklı ve gizlilik odaklı arama motorunu yerel modelinize bağladığınızda, yapay zeka ihtiyaç duyduğunda internette arama yapıp güncel bilgileri size sunabilir hale geliyor.
Dördüncü sırada ise işlem yükünü yöneten ve birden fazla modelin aynı anda çalışmasını koordine eden LiteLLM var. Farklı API formatlarını tek bir standartta toplayan bu araç, yerel modelleriniz ile dışarıdan yazdığınız betikler arasında kusursuz bir köprü kuruyor.
Son olarak, tüm bu servislerin arkasında verilerin güvenle saklandığı ve vektör aramalarının yapıldığı ChromaDB veya dengi hafif bir vektör veritabanı konteyneri sistemin omurgasını tamamlıyor. Bu bileşenler bir araya geldiğinde, masaüstü yapay zeka deneyimi bulut servislerini aratmayacak bir seviyeye ulaşıyor.
| Konteyner Adı | Temel Görevi | Sistem Kaynak Tüketimi |
|---|---|---|
| Open WebUI | Kullanıcı Arayüzü ve Yönetim | Orta (RAM ağırlıklı) |
| AnythingLLM | Belge İşleme ve RAG Altyapısı | Düşük-Orta |
| SearXNG | Gizlilik Odaklı Web Araması | Çok Düşük |
| LiteLLM | API Yönlendirme ve Standartlaştırma | Düşük |
| ChromaDB | Vektör Veritabanı ve Hafıza | Düşük |
Bu bileşenlerin en büyük avantajı, birbirleriyle Docker ağları üzerinden sorunsuz konuşabilmeleri. Elle Python kütüphaneleri kurarken yaşanan sürüm çakışmaları veya eksik bağımlılık kabusları bu sayede tamamen ortadan kalkıyor.
Bu Konteynerleri Birlikte Çalıştırırken Nelere Dikkat Etmeli?
Her şeyi aynı makinede ayağa kaldırmak cazip görünse de, donanım kaynaklarının sınırlarını bilmek gerekiyor. Özellikle 8 GB veya 16 GB VRAM sınırına sahip bir ekran kartınız varsa, aynı anda hem büyük bir LLM modelini açık tutup hem de ağır doküman indekslemeleri yapmaya çalışmak sistemin kilitlenmesine yol açabilir. Bu yüzden AnythingLLM içindeki gömme (embedding) işlemlerini CPU’ya devretmek, GPU’yu ise tamamen ana modelin üretkenlik görevlerine saklamak uzun vadede en kararlı yöntemi sunuyor.
Kendi yerel yapay zeka altyapımı kurarken yaşadığım en büyük tecrübe, servislerin başlatılma sırasını doğru ayarlamak oldu. Veritabanı ve model sunucusu ayağa kalkmadan arayüz konteynerini başlatırsanız, bağlantı hatalarıyla uğraşmak zorunda kalırsınız. Bunun için Docker compose dosyanızda depends_on parametresini doğru yapılandırmak bütün bu dertleri tek hamlede çözer.
Sonuç olarak, bulut sağlayıcılarına veri sızdırma endişesi taşımadan kendi yapay zeka ekosistemini kurmak isteyenler için bu beşli, bugün bulabileceğiniz en dengeli ve işlevsel seti oluşturuyor. Kurulumu tamamladıktan sonra geriye sadece doğru prompt’ları yazmak ve yerel donanımınızın gücünü arkanıza yaslanarak izlemek kalıyor.
Kaynak: XDA Developers
