Artificial Analysis Intelligence Index v5 Çıktı

Yapay zeka modellerinin gerçek dünya performansını ölçen Artificial Analysis Intelligence Index v5 sürümünü yayınladı. Ocak ayındaki v4 sürümünden bu yana yapılan en büyük güncelleme olan v5, model yeteneklerini yansıtan ölçüm sistemine 2 yeni benchmark ve 3 önemli yükseltme getiriyor. Artık endeksin çoğunluğu ilk kez özel veri setleri üzerine kuruluyor ve değerlendirmelerin yüzde 60’ı özel test setlerinden veya gizli tutulan yanıtlardan oluşuyor. Bu değişim, modellerin ezber üzerinden değil, gerçek yetenekler üzerinden değerlendirilmesini hedefliyor.

Intelligence Index v5 Hangi Yeni Testleri İçeriyor?

Güncellemeyle birlikte endeksin yapısı bilgi çalışması, kodlama, bilim ve genel kategoriler olmak üzere eşit ağırlıklı dört ana sütuna ayrıldı. Her bir kategori toplam skorun yüzde 25’ini oluşturuyor. Bilgi çalışmasında AA-Briefcase (yüzde 15), AutomationBench-AA (yüzde 5) ve GDP.pdf (yüzde 5) yer alırken; kodlama ayağında FrontierCode 2.0 (yüzde 15) ve Terminal-Bench 4.0 (yüzde 10) bulunuyor. Bilim kategorisinde ise Terminal-Bench-Science (yüzde 15) ve CritPt v2 zor alt kümesi (yüzde 10) iş başında.

Sisteme yeni eklenen bileşenler arasında Cognition’ın gerçek dünya kodlama görevlerini içeren FrontierCode 2.0 benchmark’ı dikkat çekiyor. Bu test, bir depo yöneticisinin ajanın kod değişikliğini birleştirip birleştirmeyeceğini ölçüyor. Bilim alanında ise terminal ortamında yürütülen 70 ajansal araştırma görevini içeren Terminal-Bench-Science devreye giriyor. Öte yandan Humanity’s Last Exam yerini daha rafine 1.000 soruluk HLE-Diamond sürümüne bırakıyor.

Sıralamada Kim Hangi Konumda Yer Alıyor?

Yayınlanan güncel sonuçlara göre Anthropic ve OpenAI modelleri endeksin zirvesini elinde tutuyor. Claude Opus 5.5 (max) 58 puanla liderlik koltuğunda otururken, onu 57 puanla GPT-6 Astra (max) ve 55 puanla GPT-6.1 Sol (max) takip ediyor. Listenin ilk beş sırası tamamen bu iki şirketin modellerinden oluşuyor. Gemini 4 Argon (high) ise 50 puanla bu grubun hemen arkasından geliyor.

Açık ağırlıklı (open weights) modeller cephesinde ise makas açılıyor. Henüz ağırlıkları yayınlanmayan Kimi K3.1 Pro 46 puanla açık ağırlıklı modeller arasında en yüksek skoru elde ederken, ağırlıkları erişilebilir olan DeepSeek V4.1 Flash 1017 (max) ve GLM-5.3 (max) 32 puanla liderin 26 puan gerisinde kalıyor. Bu durum, açık kaynak dünyası ile kapalı modeller arasındaki performans uçurumunun kapandığı yönündeki iddiaları sorgulatıyor.

Benchmark Detayları ve Model Dağılımları

FrontierCode 2.0, Cognition’ın 132 gerçek açık kaynak deposu görevi içeren özel kodlama testidir ve ajanların kod değişikliklerinin maintainer tarafından birleştirilip birleştirilmeyeceğini inceler. Bloklayıcı herhangi bir kontrolden geçemeyen denemeler sıfır puan alır ve testler sızıntıyı önlemek için gizli tutulur. Her görev Stirrup adlı ajansal çatı altında üç kez çalıştırılır. Bu testte Claude Opus 5.5 yüzde 46 ile liderdir; onu yüzde 42 ile GPT-6 Astra, GPT-6.1 Terra ve Claude Sonnet 5.5 takip eder. En iyi açık ağırlıklı model ise yüzde 28 skor alan DeepSeek V4.1 Flash 1017’dir.

Terminal-Bench-Science ise ajanların bir terminal ortamında bilimsel araştırma iş akışlarını yürütüp yürütemediğini sınar. Uzmanların küratörlüğünde hazırlanan testlerde yalnızca tüm testlerin başarıyla geçilmesi durumunda puan verilir. GPT-6 Astra yüzde 63 ile bu alanda öndedir. Claude Opus 5.5 yüzde 59 ve GPT-6.1 Sol yüzde 58 ile onu izler. Açık ağırlıklı modellerde ise henüz ağırlıkları yayınlanmayan Kimi K3.1 Pro yüzde 34 alırken, erişilebilir ağırlıklara sahip DeepSeek V4.1 Flash 1017 yüzde 13 seviyesinde kalmaktadır.

CAIS ve Scale AI ortaklığıyla geliştirilen HLE-Diamond, Humanity’s Last Exam testinin akıl yürütme ve bilgi soruları arasında eşit bölünmüş 1.000 soruluk halidir. Claude Opus 5.5 yüzde 68 ile öne çıkarken, GPT-6 Astra yüzde 64 ve Claude Fable 5.1 yüzde 60 oranına ulaşmaktadır. İlginç bir detay olarak, lider modellerin bilgi sorularında zorlandığı, akıl yürütme sorularında ise daha yüksek başarı gösterdiği görülmektedir; örneğin Claude Opus 5.5 ve GPT-6 Astra akıl yürütmede yüzde 78 alırken, bilgi sorularında bu oran sırasıyla yüzde 58 ve yüzde 50’ye düşmektedir.

Maliyetler Arasındaki Uçurum Kimi Etkiliyor?

Modellerin sunduğu performans kadar operasyonel maliyetleri de geliştiriciler için belirleyici oluyor. Ölçümlenen en yüksek skorlu 10 model arasında görev başına maliyet 13 kattan fazla değişkenlik gösteriyor. GPT-6.1 Terra (max), Intelligence Index görevi başına 0.96 dolar ile en ekonomik seçenek olarak öne çıkarken, Claude Fable 5.1 (max) 13.04 dolar ile en maliyetli model konumunda yer alıyor.

Bu maliyet ve performans tablosu, kurumsal düzeyde yapay zeka entegrasyonu yapacak ekipler için stratejik bir eşik oluşturuyor. En pahalı model her zaman en iyi işi çıkarıyor mu? Endeks verileri, tek bir modelin dokuz değerlendirmenin tamamında lider olmadığını, başarı alanlarının modellere göre dağıldığını açıkça gösteriyor. Claude Opus 5.5 üç alanda liderliği göğüslenirken, diğer altı farklı model kalan altı alanı paylaşıyor.

Geliştiriciler ve şirketler için bundan sonraki adım, körü körüne en yüksek puanlı modeli seçmek yerine, iş yüklerinin gerektirdiği kategoriye ve bütçelerine uygun maliyetli alternatife odaklanmak olacak. v5 sürümünün getirdiği zorlu özel veri setleri, yapay zeka ekosisteminin önünde kat etmesi gereken daha çok yol olduğunu doğruluyor.