NVIDIA AI Enterprise, üretim kalitesinde yapay zeka çözümlerinin geliştirilmesi ve dağıtımı için tasarlanmış bulut tabanlı bir yazılım platformudur. NVIDIA’nın en son sürümü, en yeni veri merkezi GPU’su olan NVIDIA H200 NVL‘yi desteklemeye başlayarak, işletmelere en güncel agentik ve üretken AI gibi keskin kullanım senaryoları için yeni seçenekler sunmaktadır. Bu, piyasaya sürülen en güçlü ve verimli donanımlarla mümkün olmaktadır.
Bu yazının ilerleyen bölümlerinde, NVIDIA’nın bu çözümler ile organizasyonların değer elde etme sürelerini hızlandırmalarını kolaylaştıran yeniliklerinden detaylı bahsedilecektir.
NVIDIA AI Enterprise Yazılım Platformu
NVIDIA AI Enterprise, ilk tanıtımından bu yana önemli bir evrim geçirmiştir. Bu yazılım platformu, kendi sunucularınızda, uç sistemlerde ve iş istasyonlarında veya önde gelen küresel ve bölgesel bulut hizmet sağlayıcılarının bulut örneklerinde indirilebilen birçok yazılım bileşeninden oluşmaktadır.
Yazılım, iki ana kategoriye ayrılabilir:
- Yapay Zeka ve Veri Bilimi Yazılım Kataloğu
- Altyapı Yazılım Koleksiyonu
Yapay Zeka ve Veri Bilimi yazılım kataloğu, NVIDIA NIM mikro hizmetleri ve aşağıdaki çerçeveleri içerir:
- NVIDIA NeMo, agentik ve üretken AI oluşturmak ve özelleştirmek için
- NVIDIA Riva, ses AI için
- NVIDIA Metropolis, görüntü AI için
- …ve daha fazlası
Ayrıca, yapay zeka ve veri bilimi iş akışlarını oluşturmak için araçlar da bulunmaktadır:
- NVIDIA Triton Inference Server
- NVIDIA TensorRT ve Tensor-LLM
- PyTorch
- RAPIDS
Her bir yazılım paketi, bulut tabanlı dağıtım için kolaylık sağlamak amacıyla bir konteyner olarak sunulmaktadır. Bu yazılımların, belirli kullanım senaryolarına hitap edecek şekilde birden fazla sürümde nasıl yayımlandığı hakkında daha fazla bilgi almak için Enhanced Security and Streamlined Deployment of AI Agents with NVIDIA AI Enterprise başlıklı makaleyi okuyabilirsiniz.
Altyapı yazılım koleksiyonu, hızlandırılmış sistemlerde AI ve veri bilimi yazılımlarını desteklemek için gereken bileşenleri içerir. Bu koleksiyon, GPU, ağ ve sanallaştırma için sürücüleri, Kubernetes operatörlerini ve Base Command Manager Essentials‘i içerir.
NVIDIA, yönetim ve orkestrasyon platformları ile sorunsuz entegrasyonu sağlamak için önde gelen şirketlerle iş birliği yapmaktadır. Bu son sürüm, altyapı yazılımında yeni bir versiyondur ve birincil yeni özellik, H200 NVL GPU‘nun desteklenmesidir.
H200 NVL GPU
Supercomputing 2024 konferansında NVIDIA, en yeni NVIDIA H200 NVL PCIe GPU‘nun kullanımda olduğunu duyurdu. H200 NVL, veri merkezleri için düşük güç tüketimi, hava soğutmalı, esnek yapılandırmalar sağlayan bir rack tasarımı sunmaktadır ve her AI yükü için ivme kazandırılabilir.
Girişimciler, H200 NVL ile AI uygulamalarını hızlandırmanın yanı sıra, azaltılmış güç tüketimi sayesinde enerji verimliliğini de artırabilir. H200 NVL, NVIDIA H100 NVL’a göre %50 daha fazla bellek ve %20 daha fazla bant genişliği sunarak, LLM’leri birkaç saat içinde ince ayarlamanıza ve %70’ye kadar daha hızlı tahmin performansı elde etmenize olanak sağlar.
NVIDIA AI Enterprise, H200 NVL desteğini iki aşamada ekler:
- NVIDIA AI Enterprise altyapı koleksiyonu 6.0, bugünden itibaren, bare-metal uygulamalar için ve sanallaştırma kullanarak GPU geçişi ile desteklenmektedir.
- NVIDIA AI Enterprise altyapı koleksiyonu 6.1, bu çeyreğin ilerleyen günlerinde SANAL GPU desteği ekleyecektir.
NVIDIA AI Enterprise Yazılım Referans Mimarisi
Bu sürümle birlikte, on-premises sunucularınızı hemen her tür AI üretim uygulamasını çalıştırmak üzere hızlıca dağıtmak ve yapılandırmak için bir kılavuz oluşturduk.
NVIDIA AI Enterprise referans mimarisi, AI tahmin yükleri gibi esnek bir altyapı yığını sağlamak üzere OEM’ler ve ortaklar için tasarlanmıştır. Bu yapı, tutarlı yazılım bileşenleri, uyarlanabilir donanımlar ve her büyük sürüm için güncel kılavuzlar sunmaktadır.
Bu referans mimarisi, ölçeklenebilir, güvenli ve yüksek performanslı AI dağıtımlarını destekler, tam bir veri merkezi oluştursanız bile özel düğüm yapılandırmalarını özelleştirmek için sağlam bir temel sağlar. Kurumsal müşteriler, AI çözümlerini daha hızlı sunabilir ve dağıtım sorunlarından ziyade işlerine odaklanabilirler.
Piyasa Hakkında
H200 NVL ile bir sunucu satın aldığınızda, NVIDIA AI Enterprise’dan hemen faydalanmaya başlayabilirsiniz. Bu GPU ile satılan tüm sistemler, beş yıllık bir NVIDIA AI Enterprise aboneliği ile birlikte gelir.
Aksi takdirde, başlamak için birkaç yol bulunmaktadır; bunlar arasında test için NVIDIA tarafından barındırılan NIM mikro hizmetlerine ücretsiz erişim ve 90 günlük ücretsiz değerlendirme lisansı da mevcuttur. Hem yeni hem de mevcut müşteriler, NVIDIA AI Enterprise Altyapı Koleksiyonu 6.0‘ı bugün NVIDIA NGC Kataloğu’ndan indirebilirler.
