Birçok işletme veri üzerinde yapay zeka (AI) eğitimi veya çıkarımı gerçekleştirmeye başladıkça, bu verilerin ve kodların korunması oldukça önemlidir. Özellikle büyük dil modelleri (LLM’ler) için bu durum geçerlidir. Birçok müşteri, verilerinin hassasiyeti nedeniyle bulut ortamında depolanmasını riskli bulmaktadır. Bu veriler, kişisel olarak tanımlanabilir bilgiler (PII) veya şirketin özel bilgilerini içerebilir ve eğitilen model, değerli fikri mülkiyet (IP) oluşturur.
NVIDIA Gizli Hesaplama (CC), büyük yapay zeka modelleri ve verilerinin korunması için en iyi çözümdür. NVIDIA CC sayesinde işletmeler, performans ve güvenlik arasında bir tercih yapmak zorunda kalmazlar. NVIDIA, CC’yi 2023 yılında ilk kez piyasaya sürdü ve geleneksel hızlandırılmış yüklerden gizli hızlandırılmış yüklemelere geçişin sorunsuz ve şeffaf olması için CPU ortakları, bulut sağlayıcıları ve bağımsız yazılım satıcıları (ISV’ler) ile işbirliği yapmaya devam etmektedir.
Bu yazıda, NVIDIA HGX H100 8-GPU ve NVIDIA HGX H200 8-GPU üzerindeki Güvenli AI veya Korunaklı PCIe için en son sürüm açıklanmaktadır. İçeriği şöyle özetleyebiliriz:
- Korunaklı PCIe (PPCIE) modu: PPCIE, Gizli Sanal Makine’de sekiz GPU ve dört anahtarı korur. Bu mod, CC modunda yapılandırılmış bir tek GPU’dan farklıdır.
- NV Link şifrelemesi kaldırıldı: Performansı artırmak amacıyla.
- Doğrulama değişiklikleri: PPCIE modundaki GPU’ların ve anahtarların yapılandırmasını ölçmek için.
Güvenliğin Önemi
Günümüzün birbirine bağlı dünyasında güvenlik kritik bir öneme sahiptir. Üretilen büyük veri miktarları, işletmeler için büyük fırsatlar barındırmakta ve her sektörün geleceğini etkileyebilmektedir. Uzun yıllar boyunca, veri iletiminde (örneğin, internet üzerinden veri transferi) ve veri dinleniminde (örneğin, depolanan verilerin şifrelenmesi) çeşitli güvenlik çözümleri mevcut olmuştur. Ancak, bu tedarikçiler çoğunlukla kullanıldığı sırada verinin açık metin (cleartext) olabileceğini ve saldırılara maruz kalabileceğini fark etmemiştir. CC, kullanılan verilerin güvence altına alınmasına ve yetkisiz kullanıcıların verilere erişimini veya verileri değiştirmesini engellemeye yarar.
NVIDIA GPU’lar İçin Donanım ve Yazılım Güvenliği
PPCIE ile başlamak için gerekli donanım ve yazılım bileşenlerini burada bulabilirsiniz.
Donanım
PPCIE, sistemin NVIDIA H100 Tensor Core veya NVIDIA H200 Tensor Core GPU’larını barındırması gereken bir HGX 8-GPU sistemini gerektirir. Sistem ayrıca, güvenli bir çalışma ortamı (TEE) destekleyen bir CPU’ya sahip olmalıdır.
CPU CC Teknolojisi
- AMD SEV-SNP
- Intel TDX
Desteklenen CPU’lar
- AMD Milan (EPYC 7XX3) veya AMD Genoa (EPYC 9XX4)
- Intel Emerald Rapids (5. nesil Xeon ölçeklenebilir) ve Intel Granite Rapids (6. nesil Xeon ölçeklenebilir)
Desteklenen GPU’lar
- Tüm GPU korumaları ve yangın duvarları NVIDIA Hopper mimarisi üzerinde etkinleştirilmiştir. Bu, NVIDIA HGX H100 8-GPU 80 GB ve HGX H200 NVL sistemlerini içerir.
Yazılım
- NVIDIA sürücüsü: CUDA 12.8 Veri Merkezi Sürücüsü (r570) veya daha üstü
- NVIDIA yazılımı: 1.7.0 veya daha üstü
- Desteklenen hiper yöneticiler: Microsoft Azure Hyper-V, KVM
- Desteklenen işletim sistemleri:
- AMD: Ubuntu 25.04
- Intel: Destekli yamalarla Ubuntu 24.04
Başlarken
PPCIE desteği artık CUDA 12.8 üzerinde genel olarak kullanıma sunulmuştur. Artık LLM’lerinizi PPCIE ile çalıştırarak en son donanım güvenliğinden yararlanarak tam 8-GPU performansını elde edebilirsiniz.
Güvenli AI (Korunaklı PCIe) için dağıtım kılavuzu ve ilgili dökümantasyon için NVIDIA Dağıtım Kılavuzu‘na göz atabilirsiniz. Ayrıca, NVIDIA Gizli Hesaplama da dahil olmak üzere ek güvenlik hizmetlerini incelemek için NVIDIA Güvenilir Hesaplama Çözümleri sayfasını ziyaret edebilirsiniz.
