Yapay zeka iş yükleri, büyüklükleri ve karmaşıklıkları ile birlikte hızla artıyor. Özellikle büyük dil modelleri (LLM’ler), ajans tabanlı yapay zeka ve fiziksel AI gibi alanlarda gelişme, daha hızlı ve ölçeklenebilir bir hesaplama alt yapısına olan talebi artırmıştır. Bu talebe karşılık verebilmek için sistem mimarisini baştan aşağıya yeniden düşünmek gerekiyor.
NVIDIA, NVIDIA ConnectX-8 SuperNIC’leri ile platform mimarisini ilerletmektedir. Bu SuperNIC, PCIe Gen6 destekli bir anahtarı ve ultra yüksek hızlı ağı tek bir cihazda birleştiren sektörün ilk örneğidir. Modern yapay zeka alt yapısı için tasarlanan ConnectX-8, daha yüksek veri akış hızları sunarken, sistem tasarımını basitleştirir ve güç ile maliyet verimliliğini artırır.
PCIe Gen6 Bağlantısına Hazırlık
PCIe tabanlı platformlarda, özellikle sekiz veya daha fazla GPU’ya sahip olanlarda, PCIe anahtarları, GPU’lar arası iletişim bant genişliğini maksimize etmek ve ölçeklenebilir GPU yapılarını mümkün kılmak adına kritik bir rol oynamaktadır. Mevcut tasarımlar, genellikle ek tasarım karmaşası getiren bağımsız PCIe anahtarlarına dayanır ve performans ile verimliliği sınırlayabilir.
ConnectX-8, 48 PCIe Gen6 bağlantı yolu ile entegre bir PCIe Gen6 anahtarı sağlamak suretiyle bu durumu ele alıyor. Bu, GPU ile NIC iletişimini tek bir yüksek performanslı cihazda birleştirerek, ayrı PCIe anahtarlarına duyulan ihtiyacı ortadan kaldırıyor. Bu yapı, bileşen sayısını azaltır ve devre tasarımını basitleştirerek, yapay zeka alt yapısı için daha maliyet etkin ve ölçeklenebilir bir mimari ortaya koyar.
Ayrıca, yerel PCIe Gen6 desteği sayesinde, ConnectX-8, yeni nesil GPU’ların, CPU’ların ve IO hızlandırıcıların artan IO taleplerini karşılıyor. Sistem mimarları, ortaya çıkan yüksek hızlı PCIe Gen6 cihazlarının bant genişliğini tam olarak kullanabilen geleceğe uygun platformlar tasarlayabiliyor.
NVIDIA RTX PRO Sunucuları ile Kurumsal İş Yüklerini Hızlandırma
ConnectX-8 SuperNIC’ler artık tam üretim aşamasında ve NVIDIA HGX B300 ve NVIDIA GB300 NVL72 sistemleri ile entegre durumdadır. COMPUTEX 2025’te tanıtılan ConnectX-8, NVIDIA RTX PRO Sunucuları içinde global sistem ortakları tarafından da yer alıyor ve bu sunucular, sekiz NVIDIA RTX PRO 6000 Blackwell Sunucu Sürümü GPU’su ile yapılandırmaları destekliyor.
Şekil 1, geleneksel bir tasarım ile NVIDIA RTX PRO Sunucularının ConnectX-8 SuperNIC’leri kullanan optimize edilmiş bir konfigürasyonunu karşılaştırıyor.
Geleneksel tasarımda sunucunun düzeni, iki CPU, sekiz GPU (örneğin NVIDIA L40) ve dört NVIDIA ConnectX-7 NIC ile bir NVIDIA BlueField-3 DPU barındırır. Bu kurulum, GPU-to-GPU ve GPU-to-NIC bağlantılarını sağlamak için iki ila dört bağımsız PCIe anahtarına ihtiyaç duyar. Bu da karmaşıklığı artırır ve bileşen sayısını yükseltir.
Optimize edilmiş tasarım, ayrılmış PCIe anahtarlarını ConnectX-8 SuperNIC’ler ile değiştirerek, PCIe Gen6 anahtarlaması ve 800 Gb/s ağı tek bir cihazda birleştiriyor. Bu sadeleştirilmiş mimari, her NVIDIA RTX PRO 6000 Blackwell GPU’su başına 400 Gb/s ağ bant genişliğini destekler ve sistem karmaşıklığını önemli ölçüde azaltır.
Bu tasarım, GPU’lar arasında IO darboğazlarını ortadan kaldırmaya yardımcı olurken, GPU, NIC ve depolama alanları arasındaki veri hareketini de hızlandırır. Sonuç olarak, bu NVIDIA RTX PRO Sunucu platformu, NCCL tümü bir arada performansını iki katına çıkararak çoklu GPU ve çoklu düğüm iş yükleri için kritik öneme sahip toplu iletişim desenlerini hızlandırıyor ve yapay zeka fabrikalarında ölçeklenebilirliği artırıyor.
Şekil 1’i temel alarak Şekil 2, sunucu mimarilerine daha yakından bir göz atarak, optimize edilmiş tasarımın üç temel GPU iletişim yolu üzerindeki iyileştirmeleri vurguluyor:
- CPU soketleri arasındaki GPU-to-GPU iletişimi: Geleneksel tasarımda bu yol, ana CPU ve soketler arası darboğazlar nedeniyle 25 GB/s veya daha az bir hıza ulaşabiliyor. Ancak optimize edilmiş CX8 tabanlı tasarım, küme içindeki her GPU için IO bant genişliğini 50 GB/s’ye kadar artırıyor, bu da NCCL‘in tüm trafiği doğrudan ağ üzerinden yönlendirmesini sağlıyor.
- GPU-to-NIC iletişimi: Optimize edilmiş mimari, GPU başına 50 GB/s bant genişliği sunarak 2:1 GPU-NIC yapılandırması sağlıyor. Bu durum, GPU ve ana sistemin PCIe Gen5 veya Gen6 desteklemesi durumuna bakılmaksızın geçerlidir.
- Aynı PCIe anahtarı üzerinden GPU-to-GPU iletişimi: PCIe Gen6 ile donatılmış sistemler, Gen5’e kıyasla iki kat daha fazla bant genişliği avantajı sağlıyor ve bu da aynı PCIe anahtarı üzerinden GPU’lar arasında hızlı veri transferini önemli ölçüde hızlandırıyor.
PCIe anahtarlamayı doğrudan SuperNIC içine entegre ederek, ConnectX-8 devre tasarımını basitleştirir, hava akışını iyileştirir ve servis edilebilirliği artırır. Bu da daha kompakt, enerji verimli ve maliyet açısından etkili bir platform oluşturmaktadır. NVIDIA referans tasarımları ile desteklenen bu yenilik, sistem üreticilerinin daha iyi performans ve daha düşük toplam sahip olma maliyeti ile daha hızlı ölçeklenmesine yardımcı oluyor.
PCIe-Tabanlı Yapay Zeka Altyapısının Geleceği
NVIDIA ConnectX-8, PCIe tabanlı sistemlerde mümkün olanı yeniden tanımlıyor. Bir PCIe Gen6 anahtarı ve yüksek performanslı SuperNIC’i tek, bütünleşik bir cihazda birleştirerek, sunucu tasarımını sadeleştiriyor, bileşen sayısını azaltıyor ve modern yapay zeka iş yükleri için gerekli yüksek bant genişliği iletişim yollarını açığa çıkarıyor. Sonuç olarak, daha basit, enerji verimli bir platform ile daha düşük maliyet ve olağanüstü performans ölçeklenebilirliği elde ediliyor.
Ayrıca, ConnectX-8 SuperNIC’ler, çoklu GPU’ya dayalı platformlarda geliştirilmiş gizli hesaplama yeteneklerini de destekliyor.
COMPUTEX 2025’te ASRock Rack, ASUS, Compal, Foxconn, GIGABYTE, Inventec, MiTAC, MSI, Pegatron, QCT, Supermicro, Wistron ve Wiwynn gibi önde gelen veri merkezi ortakları, NVIDIA ConnectX-8 SuperNIC’leri ile güçlendirilmiş gelişmiş yapay zeka platform mimarilerini sergilemektedir. Bu yeniliklerin bir sonraki nesil altyapıyı nasıl şekillendirdiğini görmek için NVIDIA’nın kurucusu ve CEO’su Jensen Huang ile COMPUTEX 2025 anahtar konuşmasına katılmanızı öneririz.
ConnectX-8 SuperNIC’lerin NVIDIA Spectrum-X platformundaki rolü ve bunların modern yapay zeka altyapısını nasıl hızlandırdığı hakkında daha fazla bilgi almak için Next-Generation AI Networking with NVIDIA SuperNIC’ler yazısını inceleyebilirsiniz.
