Perplexity Windows’a Geldi Ama 24GB VRAM Şartı Var

Perplexity’nin çok adımlı görevleri çözen yerel yapay zeka ajanı, Portable Computer uygulaması aracılığıyla Windows platformuna adım attı. Ama asıl mesele, bu ajanların sizin bilgisayarınızda, yani tamamen sizin kontrolünüzde nasıl çalışacağı. Perplexity Windows cephesi için ses getiren bir hamle yaptı ve yerel yapay zeka ajanını masaüstüne taşıdı. Pazarın yüzde kaçına hitap ediyor derseniz, cevap hayal kırıklığı yaratacak türden.

Hangi bilgisayarlar bu yapay zeka aracını çalıştırabilir?

Evdeki sıradan dizüstü bilgisayarınızla ya da üç yıllık orta seviye oyun sisteminizle bu aracı çalıştırmayı hayal ediyorsanız, kapıdan döneceksiniz. Perplexity’nin yeni hamlesi, arka planda devasa dil modellerini doğrudan cihazın kendi donanımı üzerinde koşturmak için ciddi bir güç talep ediyor. Portable Computer girişimi üzerinden entegre edilen bu sistem, özellikle 24 gigabayt VRAM sınırını aşabilen grafik kartlarını zorunlu kılıyor. Yani RTX 3090 veya RTX 4090 gibi tepe seviye ekran kartı sahipleri değilseniz, bu teknoloji şimdilik vitrindeki lüks bir otomobilden öteye geçmiyor.

Bulut tabanlı yapay zeka araçları verilerinizi uzak sunuculara gönderirken, yerel çalışan bir ajan tüm işlemleri doğrudan cihazınızda işliyor. Bu da gizlilik kaygısı taşıyan profesyoneller için büyük bir avantaj yaratıyor. Ama donanım maliyeti göz önüne alındığında, sıradan bir kullanıcının bu sistemi deneyimlemesi şu aşamada zor.

Çok adımlı yerel ajanlar neden bu kadar çok VRAM tüketiyor?

Yapay zeka modellerinin metin üretmekten çok daha fazlasını yapması, yani tarayıcıda sekme açması, dosyaları düzenlemesi, form doldurması ve mantıksal zincirler kurması parametre boyutunu doğrudan artırır. Modelin hafızada tuttuğu bağlam penceresi genişledikçe, ekran kartının video belleğine binen yük katlanır. 24GB VRAM sınırı, modelin ağırlıklarını ve çalışma belleğini aynı anda sistem RAM’ine ihtiyaç duymadan, doğrudan GPU üzerinde tutabilmek için konulmuş pratik bir eşiktir.

Sistem RAM’i ile VRAM arasındaki veri transfer hızı ne kadar yüksek olursa olsun, harici belleğe taşma yaşandığında çok adımlı ajanların görev tamamlama süreleri kabul edilemez düzeyde yavaşlar. Perplexity ve Portable Computer ortaklığı, bu hız kaybını engellemek adına donanımdan taviz vermeme yolunu seçmiştir.

Bulut tabanlı sistemlere kıyasla yerel çalışmanın maliyeti ve avantajı

API tabanlı çözümler kullanıcı başına aylık abonelik ücretleri talep ederken, yerel çalışan bir yapay zeka ajanı elektrik tüketimi dışında ek bir işletme maliyeti getirmez. Ancak bu avantaj, donanım yatırımının ilk aşamadaki yüksek maliyetini uzun vadede ancak yoğun kullanım senaryolarında amorti edebilir.

Şirket içi hassas verileri işleyen yazılımcılar, veri analistleri ve gizlilik protokollerine uymak zorunda olan kurumlar için yerel sistemler tek güvenli alternatiftir. Harici bir sunucuya hiçbir veri gitmediği için bilgi sızıntısı riski sıfırlanır. Buna karşın, ev kullanıcıları için bu seviyede bir ekran kartına sahip olmak sadece yapay zeka çalıştırmak adına ekonomik açıdan mantıklı bir hamle değildir.

Donanım duvarı o kadar kalın ki, şirketlerin bile bu seviyede iş istasyonlarını her masaya kurması maliyetleri uçuracaktır. Öte yandan, yapay zekanın geleceğinin tamamen buluttan bağımsız, yerel cihaz üzerinde koşan sistemlere evrildiği aşikâr. Perplexity bu hamleyle geleceğe erken oynuyor; ancak donanım üreticileri VRAM maliyetlerini düşürmedikçe, bu tarz araçların kitleselleşmesi imkansız görünüyor.

Masaüstü bilgisayarınızda kendi çok adımlı iş akışlarınızı otomatize etmek istiyorsanız, cebinizden çıkacak donanım masrafını bir kez daha hesaplamanız gerekecek.