VS Code’a Yerel LLM Kurdum: Çevrimdışı Kodlama Hızlandı

VS Code üzerinde Copilot yerine yerel bir LLM (büyük dil modeli) çalıştırmak, internet bağlantısına bağımlılığı ortadan kaldırarak çevrimdışı kodlama hızını ve veri gizliliğini artırıyor.

Sürekli internete bağlı kalmak, her kod satırının uzak sunuculara gitmesini beklemek ve ay sonunda gelen kredi kartı ekstresiyle yüzleşmek… Yazılımcıların sessizce katlandığı bu absürt döngü, geçtiğimiz günlerde masaya yatırdığım bir deneyle tamamen değişti. Bilgisayarımın fansız çalışmasını, uçağın en arka koltuğunda bile kod tamamlama desteği almayı özlemiştim. VS Code ortamında Copilot eklentisini devre dışı bırakıp yerel bir model kurduğumda, aslında ne kadar çok kaynağı boşa harcadığımı fark ettim.

Bir geliştirici için asıl problem sadece hız değil, odaklanma süresidir. Kod yazarken araya giren o sinir bozucu iki saniyelik gecikmeler, akış durumunu (flow state) tamamen darmadağın eder. İnternet yavaşladığında ya da API sunucuları çöktüğünde yaşanan duraksamalar da işin tuzu biberi. Bilgisayarınızın yerel gücünü kullanmak -yani modeli kendi donanımınızda koşturmak- işin rengini kökten değiştiriyor.

Hangi Donanım Gerekiyor?

Buluttaki sunucuların yükünü kendi makinenize aldığınızda donanımınızın gücü birinci faktör haline geliyor. Ancak doğru modeli seçtiğinizde, orta seviye bir dizüstü bilgisayar bile bulut servislerini aratmayacak sonuçlar verebiliyor.

Bu donanım gereksinimleri kulağa korkutucu gelebilir, fakat hafif siklet kod modelleri (Qwen 2.5 Coder 1.5B veya Qwen 2.5 Coder 7B gibi) oldukça az kaynakla harikalar yaratabiliyor. Artık gigabaytlarca büyüklükteki devasa modelleri çalıştırmak zorunda değilsiniz. Kod tamamlama için özel olarak eğitilmiş modeller, sıradan bir geliştirici dizüstü bilgisayarında milisaniyeler içinde yanıt üretebiliyor.

Yerel Kurulumun Adımları ve Entegrasyon

Süreci pratikte hayata geçirmek için önce modeli arka planda çalıştıracak bir motor seçmeniz gerekiyor. Ollama, terminal üzerinden tek komutla model indirip çalıştırmanıza izin verdiği için bu süreçte işleri oldukça kolaylaştırıyor. Örneğin, terminale yazacağınız basit bir komutla seçtiğiniz kodu yerel sunucuya aktarabiliyorsunuz.

Model arka planda hazır olduktan sonra sıra VS Code tarafındaki köprüyü kurmaya geliyor. Standart eklentiler yerine “Continue” gibi açık kaynaklı alternatifler, yerel uç noktaları (endpoint) doğrudan hedef almanıza imkan tanıyor. Eklentinin ayar dosyasında (config.json) model sağlayıcı olarak Ollama’yı seçip model adını belirttiğinizde, Copilot arayüzüne çok benzer bir yan panel ve satır içi tamamlama (inline completion) elde ediyorsunuz.

Bulut Modelleri ile Yerel Modellerin Karşılaştırması

Bulut tabanlı çözümler devasa veri kümeleriyle eğitildikleri için genel kültür ve çoklu dil desteğinde hâlâ bir adım önde görünebilir. Ancak günlük kodlama rutini içinde bu devasa kapasitenin çok küçük bir kısmını kullanıyoruz. Bir fonksiyonun imzasını tamamlamak, bir döngünün mantığını kurmak veya birim test (unit test) yazmak için 100 milyar parametrelik modellere ihtiyacınız yok.

Yerel modellerin en büyük avantajı gecikme süresidir (latency). Bulut API’lerine atılan istekler paket kaybına uğrayabilir veya yoğun saatlerde kuyruğa girebilir. Yerel kurulumda ise veri, anakart üzerindeki veri yoluyla doğrudan işlemciye veya GPU’ya iletilir. Bu da yanıt süresini ağ gecikmelerinden tamamen arındırır.

Gizlilik ve Maliyet Avantajı

Şirketlerin gizli kod tabanlarını üçüncü taraf sunuculara göndermesi uzun süredir güvenlik departmanlarının rüyalarına giriyor. Kendi sunucunuzda veya doğrudan yerel makinenizde çalışan bir LLM, dışarıya tek bir bayt bile veri sızdırmıyor. Finans, sağlık veya kurumsal projeler geliştirenler için bu durum zorunluluk haline geldi. İnternet faturasından bağımsız olmanız da bonusu.

Peki bu geçişin hiç mi dezavantajı yok? İlk kurulum aşaması, doğru eklentileri (VS Code için Continue veya CodeGPT gibi) yapılandırmak biraz sabır gerektiriyor. Bilgisayarınızın fanları, özellikle büyük bir dosya üzerinde çalışırken jet motoru gibi çalışmaya başlayabiliyor.

İnternetiniz kopsa bile mimari tasarımlar yapmaya, fonksiyonlar yazmaya kesintisiz devam edebiliyorsunuz. Bir sonraki projenizde bulut servislerine aylık ödeme yapmadan önce, kendi donanımınızın gücünü test etmeyi denediniz mi?