AI İş Yükleri için Veri Merkezlerinin Yeniden Tasarımı
Veri merkezleri, AI iş yüklerinin verimli bir şekilde sunulması için yeniden yapılandırılıyor. Bu, oldukça karmaşık bir süreç ve NVIDIA, NVIDIA rack ölçeği mimarisi temelinde AI fabrikaları sunmaya başladı. En iyi performansı sağlamak için, birçok hızlandırıcının rack ölçeğinde birlikte çalışması, maksimum bant genişliği ve minimum gecikme ile en fazla kullanıcıyı en enerji verimli şekilde desteklemesi gerekiyor.
Yüksek Yoğunluklu Rack Tasarım Zorlukları
İhtiyaçları karşılayacak bir rack tasarlamak, birçok teknik zorluk içeriyor. Yüksek yoğunluklu hızlandırıcılar, ağ arayüz kartları (NIC’ler), anahtarlar ve ölçeklenebilir yapılar, sıkı bir şekilde birbiriyle bağlantı kurmalı. Yoğun bir yapı, günümüz AI teknolojisinin talep ettiği yüksek düzeyde hesaplama ve arka plan bant genişliği sağlamak için zorunludur.
Sıvı Soğutma Yöntemleri ile Verimlilik
Geleneksel hava-soğutma yöntemleri, bu denli yoğun konuşlanmalar için genellikle yetersiz kalıyor. Bu nedenle, NVIDIA GB300 NVL72 ve NVIDIA GB200 NVL72 gibi yüksek yoğunluklu sıvı-soğutmalı rack’ler ihtiyacı doğuyor. Bu rack’ler, NVIDIA NVLink yüksek hızlı ölçeklendirme bağlantı teknolojisi kullanıyor. Şekil 1, NVLink ve daha büyük ölçeklenebilir alanların en iyi performansı nasıl sağladığını gösteriyor. NVIDIA rack ölçeği çözümleri, en hızlı ve en verimli altyapıya yönelik kanıtlanmış bir ölçeklenebilir yol sunuyor.
NVIDIA AI Fabrika Ekosistemi
NVIDIA, AI fabrikaları için kanıtlanmış bir ekosistem oluşturdu. Bu, keskin GPU teknolojileri ve ölçeklenebilir hesaplama yapısı için NVIDIA NVLink’i içeriyor. NVIDIA NVLink Switch çipi, 72-GPU NVLink alanında 130 TB/s’ye kadar GPU bant genişliği sağlıyor. NVIDIA Quantum-X800 InfiniBand, NVIDIA Spectrum-X Ethernet ve NVIDIA Bluefield-3 DPU’ları ise yüz binlerce GPU’ya ölçeklenmeyi mümkün kılıyor.
Ayrıca, NVIDIA Grace CPU gibi yüksek performanslı CPU’lar, mevcut geleneksel CPU’ların 2 katı enerji verimliliği ve düşük güçle inanılmaz bant genişliği sunuyor. Bu rack ölçeği mimarisi, ana bulut sağlayıcıları arasında konuşlandırılıyor ve geniş bir OEM ve ODM ortağı ağı tarafından destekleniyor. Bu, modern AI fabrikalarının temellerini oluşturuyor.
NVIDIA NVLink Fusion
Yeni tanıtılan NVIDIA NVLink Fusion, hyperscaler’ların yarı özelleştirilmiş AI altyapısı oluşturmasına olanak tanıyan bir silikon teknolojisidir. NVLink Fusion, kullanıcıların yarı özelleştirilmiş ASICS veya CPU’larla ölçeklendirilmiş üst düzey performans sunmalarını sağlıyor.
Hyperscaler’lar, NVLink’in NVIDIA NVLink-C2C, NVIDIA Grace CPU, NVIDIA GPU’lar, NVIDIA Co-Packaged Optics ağları, rack ölçekte mimari ve NVIDIA Mission Control yazılımı gibi yeniliklerden faydalanabilirler. Bu, hyperscaler’ların tam NVIDIA rack çözümleri uygulamasına olanak tanırken, AI fabrikalarında heterojen silikon sunumunu standartlaştırmalarını sağlıyor.
NVIDIA NVLink Hızlandırma Teknolojisi
NVLink Fusion’un merkezinde yer alan NVLink, çığır açıcı bir bağlantı teknolojisidir. Büyük AI modellerinin tam potansiyelini açmak için, rack içindeki her hızlandırıcı arasında kesintisiz iletişim şarttır. NVLink’in 5. nesli, GPU başına 1.8 TB/s iki yönlü bant genişliği sunar ve PCIe Gen5’in 14 katı bant genişliği sağlar. Bu, en karmaşık büyük modellerde kesintisiz yüksek hızlı iletişim sağlar, verimliliği artırır ve gecikmeleri azaltır. NVLink bant genişliğinde her 2 katlık artış, rack düzeyinde AI performansında %30-40 artış sağlar.
NVLink Fusion, hyperscaler’ların yarı özelleştirilmiş ASIC’lerini, NVIDIA CPU’ları ve Switch’leri ile bir araya getirerek aynı rack ölçeği mimarisini kullanmalarına olanak tanır.
Yazılım ve Yönetim
NVLink Fusion ile bağlantılı AI fabrikaları, Mission Control adlı, AI veri merkezleri ve iş yüklerinin yönetimini otomatikleştiren birleşik bir operasyon ve orkestrasyon yazılım platformu tarafından desteklenmektedir. Mission Control, AI fabrikası operasyonlarını geliştirmekte; dağıtımları yapılandırmaktan altyapıyı doğrulamaya ve kritik iş yüklerini orkestre etmeye kadar birçok işlevi yerine getirmektedir.
Geleceğin AI Altyapısı
AI devrimi, sadece güçlü değil, aynı zamanda çevik, ölçeklenebilir ve verimli altyapılar gerektiriyor. Geleneksel yöntemlerle daha fazla sunucu veya bileşen eklemek artık geçerli bir strateji değildir. Gelecek, derinlemesine entegre, rack ölçeğinde çözümlerin, büyük hesaplama kaynaklarının bir bütün olarak çalışmasına olanak tanıyan yapısında yatmaktadır. NVIDIA NVLink teknolojisi, kendi GPU’ları için bu ölçeklendirme mimarisini mümkün kılmada öncü olmuştur. Artık, NVLink Fusion ile NVIDIA, bu kanıtlanmış yüksek performanslı ölçeklenme yeteneğini, yarı özelleştirilmiş silikon alanına da genişletmektedir.
NVIDIA’nın kurucusu ve CEO’su Jensen Huang’ın COMPUTEX ana konuşmasını izleyin ve GTC Taipei 2025 oturumlarına katılın.
