NVIDIA NIM ile AI Modellerini Güvenli Bir Şekilde Nasıl Dağıtılır?

Bir büyük işletmenin güvenlik lideri olduğunuzu hayal edin. Takımlarınız, yapay zekayı daha fazla projede kullanmak için hevesli. Ancak, bir sorun var. Her projede olduğu gibi, yeniliğin vaatlerini ve geri dönüşlerini, uyum, risk yönetimi ve güvenlik gereksinimleri ile dengelemek zorundasınız.

Güvenlik liderleri, ajans AI veya kurulum artırılmış üretim (RAG) gibi yapay zeka modellerini değerlendirirken önemli bir meydan okuma ile karşılaşır: Bu en son yenilikleri sağlarken altyapınız ve verileriniz üzerinde tam kontrolü nasıl sağlayabilirsiniz?

Burada NVIDIA NIM mikro hizmetleri ve NVIDIA AI Enterprise devreye giriyor. NIM mikro hizmetleri, NVIDIA AI Enterprise lisansı ile birlikte sunulur ve işletmelere, yenilikçi yapay zeka uygulamalarını kendi terimleriyle dağıtmalarına olanak tanırken güvenlik, güven ve kontrol sağlayarak açık kaynak modeller üzerinde gücü elinde tutma imkânı sunar. NVIDIA AI Enterprise ile, yenilik ve istikrar arasında bir seçim yapmak zorunda kalmazsınız. Her ikisini de kendi veri merkezlerinizin güvenliğinde elde edebilirsiniz.

Generatif AI Modellerini Güvenli Bir Şekilde Dağıtın

NIM konteynerleri, AI modelleri için kendi altyapınızın güvenliğinde çalıştırılabilir. NIM mimarisi, NVIDIA hızlandırılmış altyapıda en son AI temel modellerini dağıtmak için önceden oluşturulmuş, optimize edilmiş bir çıkış mikro hizmeti sunar. NIM mikro hizmetleri, AI uygulamalarına, geliştirme çerçevelerine ve iş akışlarına basit entegrasyon için endüstri standartı API’ler sunar.

Şekil 1. NIM mimarisi, NVIDIA hızlandırılmış altyapıda AI temel modellerini dağıtmak için önceden oluşturulmuş, optimize edilmiş bir çıkış mikro hizmeti sağlar.

Kurumsal ekipler, AI modellerini özel bir bulut ortamında veya kendi ofislerinde konteynerler olarak dağıtmayı seçebilir. NIM konteynerlerini kullanmak için gereken tüm erişim, NVIDIA AI Enterprise lisansıyla birlikte gelir. Bu da demektir ki:

• Dışa bağımlılık yok: Model ve çalışma ortamın üzerinde tam kontrol sağlarsınız.
• Veri gizliliği: Hassas verileriniz altyapınızdan hiç ayrılmaz.
• Doğrulanmış modeller: Bu modeller, yazarları tarafından tasarlandığı gibi gelir.
• Optimize edilmiş çalışma süreleri: Hızlandırılmış, optimize edilmiş ve güvenilir konteyner çalışma süreleri.

NVIDIA NIM, AI modellerini tam kontrolünüz altında dağıtmayı kolaylaştırıyor.

NVIDIA’nın Katmanlı Yaklaşımı

AI güvenliği, hem altyapının hem de modelin kendisi ile ilgilidir. NVIDIA, AI modellerinin yazarlar tarafından tasarlandığı gibi teslim edilmesini sağlamak için modelleri, yazılımları ve veri bağımlılıklarını denetler.

NVIDIA, açık kaynak AI modellerinin her yönünü doğrulayarak, işletmelerin kontrol ve görünürlük ile modelleri dağıtmasına olanak tanımak için katmanlı bir yaklaşım benimsemektedir.

Güvenilir Model Yürütme

NVIDIA’nın NIM mikro hizmetleri için güvenlik önlemleri, modellerin yetkisiz yürütme veya değişiklik riski olmadan tasarlandığı gibi çalışmasını sağlar. Bu önlemler arasında:

• Model imzalama: Her model kriptografik olarak imzalanır, böylece müşterilerin bütünlüğünü doğrulamasına ve yetkisiz değişiklikleri tespit etmesine olanak tanır.
• Model kodu ve ağırlık denetimi: NVIDIA, bir açık kaynak modeli yayınlamadan önce, bilinen arka kapıları veya güvenlik açıklarını tespit etmek için çıkarım kodunu ve serileştirme yöntemlerini belirli aralıklarla gözden geçirir.
• Güvenlik güçlendirmesi: NIM çalışma konteynerlerine yerleştirilen modeller, mümkün olduğunca saldırı yüzeyini azaltmayı hedefleyen en az ayrıcalık ilkelerine dayalı tasarlanmıştır.

Açık Kaynak Güvenlik Hijyeni

NVIDIA, NIM’in güvenli bir şekilde kendi ortamlarında çalışabilmesi için bir yazılım geliştirme yaşam döngüsü ve güvenlik açığı yanıt süreci uygular. Bu, işletmelerin açık kaynak güvenliği doğrulama yükünü azaltır.

• Kaynak kodu incelemesi: NVIDIA, NIM mikro hizmetlerini, üçüncü taraf yazılımlardaki bilinen güvenlik açıkları için düzenli olarak tarar ve tüm üçüncü taraf yazılımlar ve modeller için lisans kontrolleri yapar.
• Bilinen tehlikeli bileşenleri en aza indirin: NVIDIA, saldırı yüzeyini en aza indirmek için kodu aktif olarak gözden geçirir ve gereksiz veya hassas bağımlılıkları tanımlar ve azaltır.
• Güvenlik geliştirme yaşam döngüsü: NVIDIA, NIM konteynerlerine risk değerlendirmesi ve ürün gereksinimlerine göre, tehdit modelleme, güvenli kodlama ve sızma testleri uygulayan ürün yaşam döngüsü yönetimi çerçevesini uygular.

Saydam Paketleme

NVIDIA, NVIDIA AI Enterprise’in bir parçası olarak her konteyner için güvenlik meta verileri ve imza belgeleri yayınlayarak saydamlık sağlar.

• Yazılım Materyal Listesi (SBOM): Her NIM, içerdiği kütüphanelerin makineyle okunabilir bir listesini içerir ve konteyneri çekmeden önce bağımlılıkları denetim etmenize olanak tanır.
• Güvenlik Açıklığı Kötüye Kullanım Değişimi (VEX): NVIDIA, güvenlik ekiplerinin gerçek tehditleri ve yanlış pozitifleri ayırt edebilmesi için konteynerlerdeki risk değerlendirmelerini ve önlemleri sağlayan VEX kayıtları sunar.
• Konteyner imzalama ve kamu anahtar doğrulaması: Her NIM, değişiklikleri tespit etmek ve önlemek için dijital olarak imzalanmıştır ve işletmeler, imzayı NVIDIA’nın NGC Kataloğu’nda yayımlanan kamu anahtarı üzerinden doğrulayabilir.

Devamlı İzleme ve Tehdit Azaltma

NVIDIA NIM üzerinden dağıtılan AI modelleri, yayından önce, yayında ve sonrasında güvenlik açığı taramasından geçer. Yayınlanmış konteynerlerde kritik veya yüksek CVE’ler olmaması gerekmektedir ve bu açıktan düzenli bir döngüyle yamanır.

• Otomatik CVE taraması: NVIDIA’da güvenlik açığı taraması, ürün yaşam döngüsünde üç ayrı aşamada gerçekleştirilir: geliştirme sürecinde sürekli, NGC Kataloğu’na yayın sürecinde (yayınlama için kritik veya yüksek güvenlik açıklarına izin verilmez) ve ardından yayınlanan konteynerlerin sürekli taranması aşamasında. Yeni güvenlik açıkları raporlandıkça, bu sorunlar izlenir ve NVIDIA güvenlik risk puanına eklenir.
• Sürekli yamanma: NIM’in yayın sürümüne bağlı olarak, NVIDIA güvenlik açıklarının giderilmesini sağlamak için planlı güncellemeleri uygular. Özellik dalı sürümleri, güvenlik düzeltmeleri de dahil olmak üzere mensupsal güncellemeler alırken, üretim dalları yalnızca güvenlik ve hata düzeltmeleri alır.
• Koordine Güvenlik Açığı Açıklaması: NVIDIA, ISO/IEC güvenlik açıkları açıklama standardı 29147’yi takip ederek, kurumsal müşterilere zamanında güvenlik danışmanlıkları ve yamaları sağlar. NGC Bildirim Servisi aracılığıyla abone olun.

Model Davranışı ve Güvenlik Önlemleri

Kurumsal güvenlik ekipleri, AI modellerinin üretim ortamlarında beklendiği gibi davrandığından emin olma gerekliliği taşır. NVIDIA NeMo Guardrails, LLM’leri kullanan uygulamalara entegre edilebilen programlanabilir güvenlik ve güven özellikleridir. Bu özellikler, kurumsal çözümlerde istenmeyen çıktıları azaltmanın yapılandırılmış bir yolunu sağlar ve uygulama kodu ile LLM arasındaki güvenlik ve uyum kurallarını zorlar. Artık çok modlu raylar destekleyerek, NeMo Guardrails, çözüm mimarlarına her uygulama için güvenlik ve uyum kurallarını uygulama imkanı sağlar; böylece güvensiz veya istenmeyen model davranışlarını engeller.

Gizli Bir Şekilde AI Modelleri Dağıtma Süreci

NIM mikro hizmetleri, konteyner şeklinde paketlenmiştir ve mevcut dağıtım, güncelleme ve güvenlik tarama altyapısına uyum sağlar. Her NIM konteyneri, NVIDIA’nın güvenli geliştirme yaşam döngüsünü takip eder ve NVIDIA NGC kayıt üzerinden dağıtılır.

NVIDIA AI Enterprise ile kendi ortamınıza bir NIM’i güvenli bir şekilde dağıtmak için şu adımları takip edebilirsiniz:

1. NGC’ye erişim:API anahtarı oluşturun ve istenen konteyneri NGC Kataloğu’ndan alın.
2. SBOM’u gözden geçirin: NIM için SBOM’u inceleyerek bileşenlerini ve bağımlılıklarını anlayın (NVIDIA AI Enterprise lisanslarıyla mevcut).
3. Kimliği doğrulayın: NIM mikro hizmetleri, konteyner olarak dağıtılır. İmajın değiştirilmediğini doğrulamak için NVIDIA konteyner imzalama kamu anahtarını kullanın.
4. Kaynakları ayna (isteğe bağlı): Konteyner için gereken kaynakları (model ağırlıkları veya optimize edilmiş arka uçlar gibi) ayna yapın eğer çevre bağımsız dağıtımlar istiyorsanız.
5. Güvenilir ortamınızda dağıtın: Konteyneri ortama başlatın. NIM mikro hizmetleri, OpenAPI spesifikasyonlu noktalarla web hizmetleri olarak dağıtılır. Kapsama alanını ve en iyi uygulamalarına göre TLS sonlandırma, giriş, yük dengeleme veya ters proxy ayarlarını yapılandırın.
6. Modelin kimliğini doğrulayın: NVIDIA, NGC’de yayımlanan bir dizi model için modül imzaları sunar.
7. Güncellemeleri alın: NIM konteyneri için güvenlik güncellemeleri, düzeltmeler veya özellikler yayınlandığında bildirim almak için NGC Bildirim Servisi’ne abone olun.
8. Güvenlik açığı raporlaması entegre edin: Konteyner için bir VEX kaydı kontrol edin ve indirin. Kendi güvenlik açığı yönetim sisteminizle ilişkilendirin.

Bu yönergeleri takip ederek, kuruluşlar NVIDIA AI Enterprise tarafından desteklenen generatif AI iş yüklerini güvenle dağıtıp yöneten bir yaklaşım benimseyebilirler. Bu yaklaşım, güvenli, güvenilir ve emniyetli AI temellerine dayalı olarak güvenlik, uyum ve operasyonel hedeflerinizi karşılamanızı sağlar. Bu ilkelerin çözümlerimize nasıl uygulandığını görmek için NVIDIA AI Güven Merkezini keşfedin.