Hızlı Özet
- Google, TPU v8 ailesini ajanî iş yükleri ve gizli çıkarım odaklı iki yeni varyantla büyüttü.
- TPU 8tx modeli, özel AMD EPYC işlemci barındıran sunucularla eşleştirilerek küçük ölçekli eğitime kapı aralıyor.
- TPU 8i Max ise iki TPU 8i çipini tek pakette birleştirerek bellek duvarı sorununu hedefliyor.
- Şirket bu hamleyle, aynı yıl içinde ilk kez dört farklı TPU varyantını piyasaya sürmüş oldu.
Google, yapay zeka altyapısını dönüştürürken tek tip donanımın her iş yüküne yetişemediği noktada özel çözümlere yöneliyor. Şirketin duyurusuna göre TPU v8 ailesi; ajanî iş yükleri, gizli çıkarım ve küçük ölçekli eğitim süreçleri için tasarlanan iki yeni varyantla genişletildi. TPU 8tx modeli özel AMD EPYC işlemci barındıran sunucularla eşleştirilirken, TPU 8i Max modeli iki adet TPU 8i çipini tek bir pakette buluşturarak hesaplama yoğunluğunu artırıyor.
Yapay zeka modellerinin eğitilmesi ile çalıştırılması süreçleri birbirine zıt donanım ihtiyaçları doğuruyor. Eğitim aşaması matris çarpım gücü ve veri aktarım hızı isterken, çıkarım aşaması düşük gecikme süreleri ve bellek yönetimi gerektiriyor. Google, bu yıl ilk defa dört farklı TPU varyantını tek bir takvim yılında duyurarak bu ayrımı donanım seviyesinde çözmeyi amaçlıyor.
TPU 8tx ve AMD EPYC İş Birliği
TPU 8tx modeli, ajanî iş yüklerinin yönetilmesi, gizli çıkarım yapılması ve küçük ölçekli model eğitimi amacıyla geliştirildi. Google, bu işlemciyi standart x86 sunucu yapısından farklı bir yolla konumlandırarak özel AMD EPYC CPU barındıran host sistemleriyle eşleştirmeyi tercih etti. Bu mimari tercih, veri ön işleme süreçlerindeki olası tıkanıklıkların önüne geçmeyi hedefliyor.
Google kendi bulut ekosisteminde Arm tabanlı Axion işlemcileri de kullanırken, TPU 8tx tarafında özel AMD EPYC host tercih etmesi, farklı donanım ekosistemleriyle uyumluluğu zorunlu kılan kurumsal müşteriler için stratejik bir köprü görevi görüyor. Küçük ölçekli eğitim ve ajanî yapay zeka operasyonları yürüten ekipler için bu eşleşme, harici hızlandırıcı ile ana işlemci arasındaki veri akışını optimize ediyor.
TPU 8i Max ve Bellek Mimarisi
Tek çip sınırlarını zorlayan TPU 8i Max, iki adet TPU 8i çipini tek bir fiziksel pakette birleştiriyor. TPU 8i mimarisi temel olarak çıkarım iş yüklerine odaklanıyor ve Zebra paketi adı verilen yapıyla tasarlanmış durumda. Bu paket; merkezi bir mantık çipleti ile özel bir SerDes çipletini fiziksel olarak bölerek veri transfer hatlarını rahatlatıyor.
Çıkarım süreçlerinde engel olan bellek kapasitesi ve bant genişliği, bu çift çipletli yapıyla doğrudan hedefleniyor. Donanımın teknik yapısı incelendiğinde, ortaya çıkan performans ve bellek yoğunluğu tablosu şu parametreleri barındırıyor:
| Teknik Parametre | TPU 8t Verileri | TPU 8i / 8i Max Değerleri |
|---|---|---|
| Öncelikli Kullanım Amacı | Yapay zeka modeli eğitimi | Çıkarım ve ajanî iş yükleri |
| FP4 İşlem Gücü | 12.6 PetaFLOPS (Çip başına) | 10.1 PetaFLOPS (Çift çekirdekli yapı) |
| HBM3E Bellek Kapasitesi | 216 GB – 288 GB | 288 GB (Çip başına) |
| Bellek Bant Genişliği | 6.5 TB/s – 8.6 TB/s | 8.6 TB/s |
| Dahili SRAM Miktarı | 128 MB | 384 MB (Aktif KV önbellek için) |
Tabloda yer alan veriler, Google’ın yeni nesil TPU mimarisinin bellek darboğazını ortadan kaldırmak için bant genişliği sunduğunu gösteriyor. TPU 8i çipi, barındırdığı 384 MB dahili SRAM alanı sayesinde aktif Key-Value önbelleğini doğrudan çip üzerinde tutabiliyor. Bu tasarım kararı, dış sistem RAM’ine sorgu atma zorunluluğunu ortadan kaldırarak büyük dil modellerinin çıkarım hızını artırıyor.
Çiplet Tasarımı ve Veri Yolu Optimizasyonu
Google’ın TPU 8t ve TPU 8i mimarilerinde uyguladığı Zebra paketi yaklaşımı, mantık çipleti ile SerDes bileşenini fiziksel olarak ayırıyor. Bu yaklaşım, yüksek hızlı veri transferlerinde ortaya çıkan sinyal bozulmalarını azaltmak için tercih ediliyor. TPU 8t üzerindeki Interconnect modülü, ICR Router ve MAX2 PHY blokları aracılığıyla off-chiplet SerDes birimine bağlanıyor.
SerDes bileşeninin barındırdığı 6x224G SerDes octal yapısı, çip-ler arası devasa veri transfer oranlarını karşılıyor. Aynı zamanda entegre edilen PCIe Gen5 x16 arayüzü ana işlemci ile haberleşmeyi sağlarken, ikincil PCIe Gen2 x1 bağlantısı sistem yönetim birimi olan gBMC ile iletişim kuruyor. Çip yöneticisi ise tüm bu alt sistemlerin senkronize çalışmasını denetliyor.
Eğitim ve Çıkarım İş Yüklerinde Donanım Ayrışması
Yapay zeka modellerinin yaşam döngüsü, farklı donanım bileşenlerinin bir arada çalışmasını gerektiriyor. TPU 8t modeli temel olarak eğitim süreçlerine odaklanırken, TensorCore içerisindeki VPU ve Vmem birimleri iki adet Matrix Multiply Unit ve Extended Logic Unit ile koordine çalışıyor. Yerel FP4 desteği, enerji tüketimini artıran gereksiz veri hareketlerini en aza indirerek çip başına 12.6 PetaFLOPS hesaplama gücü üretiyor.
Bununla birlikte, seyrek (sparse) veri yapılarıyla çalışan embedding aramaları gibi düzensiz bellek erişimleri, genel amaçlı işlemcilerde ciddi performans kayıplarına yol açabiliyor. Google, TPU 8t mantık çipleti içine yerleştirdiği iki özel Sparse çekirdeği ile bu yükleri ana işlem birimlerinden ayırıyor. Çıkarım tarafında ise TPU 8i modeli, çift TensorCore yapısıyla 10.1 PetaFLOPS zirve FP4 performansına ulaşarak benzer bir verimlilik çizgisi izliyor.
Donanım Yatırımlarının Kapsamı
Google’ın özelleştirilmiş donanım hamleleri, bulut tabanlı yapay zeka servisleri sunan kurumsal yapılar ve büyük dil modeli geliştirenler için maliyet ve performans avantajı anlamına geliyor. Geleneksel x86 işlemcilerin yerini Google’ın Arm tabanlı Axion işlemcilerinin alması veya TPU 8tx için özel AMD EPYC host’ların tercih edilmesi, veri merkezi operasyonlarında esnekliğin önemini gösteriyor.
Yazılım geliştiriciler ve altyapı yöneticileri açısından atılacak adım, kullanılan iş yükünün eğitim mi yoksa çıkarım mı olduğuna bağlı olarak doğru TPU varyantını seçmekten geçiyor. Modellerini küçük ölçekte eğitmek isteyenler TPU 8tx ve AMD EPYC kombinasyonuna odaklanırken, yoğun çıkarım operasyonları yürütenler TPU 8i Max paketlerinin sunacağı bellek yoğunluğunu hesaplamalarına dahil etmek zorunda kalacak.
Kaynak: Wccftech
