Yapay zeka (YZ) ajanları, organizasyonların verimliliğini artırmak, üretkenliği geliştirmek ve yeniliği hızlandırmak için ortaya çıkan en yeni yöntemlerden biridir. Bu ajanlar, önceki YZ uygulamalarından daha gelişmiştir; otonom olarak görevleri analiz edebilir, diğer araçlara bağlanabilir ve hem kurumsal verileri hem de çalışan bilgilerini kullanarak değerli iş sonuçları üretebilirler. Ayrıca, her organizasyonun ihtiyaçlarına göre özelleştirilmiş uygulamalara entegre edilmektedirler.
NVIDIA AI Enterprise’ın en son sürümü, YZ ajanlarının daha güvenli, stabil ve kolay bir şekilde dağıtılmasına yardımcı olan çeşitli yeni özellikler içermektedir.
YZ Ajanı Boru Hatlarının Basit Yönetimi
Yeni piyasaya sürülen NVIDIA NIM Operatörü, Kubernetes üzerinde YZ boru hatlarını dağıtmak için kullanılan NIM mikro hizmetlerini kurulum ve yönetimini basit hale getirir. NIM Operatörü, YZ boru hatlarının dağıtımını otomatikleştirir ve başlangıçtaki tahmin gecikmesini azaltmak ve daha hızlı otomatik ölçeklenme için akıllı model ön belleğe alma gibi yeteneklerle performansı artırır.
CPU, GPU veya NIM’e özgü metrikler, örneğin NIM maksimum talepleri, KVcache gibi ölçütlere göre otomatik ölçekleme seçeneğiniz vardır.
Ayrıca, NIM mikro hizmetinin sürüm numarasını değiştirerek güncelleme sürecini basit hale getirir. NIM Operatörü, kümedeki dağıtımları günceller.
NVIDIA, YZ boru hatlarını üretim için dağıtmak amacıyla NIM mikro hizmetlerini kurmak için aşağıdaki dağıtım yollarını sunmaktadır:
- Helm
- KServe
- NIM Operatörü
YZ Modelleri için Güvenlik ve API Stabilitesi
NVIDIA AI Enterprise, YZ ve veri bilimi yazılımları için her ay güncellemelerle birlikte gelen özellik dalgaları sağlar; bu da en son özellikleri istediklerinde elde etmek isteyen YZ geliştiricileri için idealdir.
Bu yazılım, bir sonraki sürüm yayınlanana kadar NVIDIA tarafından bir ay boyunca korunur ve her sürümden önce mevcut güvenlik düzeltmeleri uygulanır. Bu, en son yeteneklerle önde olmak isteyen müşteriler için harika olsa da, API’lerin her ay değişmeyeceğine dair bir garanti yoktur. Bu durum, güvenli ve zamanla güvenilir olması gereken kurumsal çözümler geliştirmek için zorluk yaratabilir; çünkü geliştiricilerin güncellemeden sonra uygulamalarını ayarlamaları gerekebilir.
Bu ihtiyacı karşılamak için NVIDIA AI Enterprise, YZ yazılımlarının üretim dallarını da içerir. Üretim dalları, API stabilitesini ve düzenli güvenlik güncellemelerini sağlar ve YZ’yi üretimde dağıtmak için idealdir. Üretim dalları her 6 ayda bir yayınlanır ve 9 ay boyunca desteklenir.
Her bir üretim dalının 9 aylık ömrü boyunca, NVIDIA kritik ve yüksek ortak güvenlik açıklarını izler ve aylık güvenlik yamaları yayınlar. Böylece, NVIDIA AI Enterprise içindeki YZ çerçeveleri, kütüphaneler, modeller ve araçlar güvenlik düzeltmeleri için güncellenebilir, bu da API’nin bozulma riskini ortadan kaldırır.
Yeni sürüm ile birlikte, üretim dallarına bu NIM mikro hizmetlerinin eklenmesi beklenmektedir:
- Meta’nın Llama 3.1 modeli ailesi:
- Llama-3.1-Instruct-8B
- Llama-3.1-Instruct-70B
- Llama-3.1-Instruct-405B
- Mistral AI’nın Mistral 7B ve miks uzmanları (MoE) 8x7B ve 8x22B modelleri:
- Mixtral-8x7B
- Mixtral-8x22B
- Mistral-7B
- NVIDIA Nemotron-4-340B aile modeli için sentetik veri üretimi:
- Nemotron-4-340B-Instruct
- Nemotron-4-340B-Reward
- NVIDIA NeMo Retriever QA E5 Gömme v5 metin gömme modeli:
- NV-EmbedQA-E5-v5
Bu mikro hizmetlerle YZ ajanları oluşturabilir ve NVIDIA’nın güvenli bir şekilde koruyacağına ve o üretim dalının ömrü boyunca uygulama bağımlılıklarını bozmadan sürdüreceğine güvenebilirsiniz.
Bu NIM mikro hizmetleri, zaten üretim dalında bulunan birçok diğer YZ kütüphane ve çerçeveleri de katmaktadır:
- PyTorch
- TensorFlow
- RAPIDS
- NVIDIA TensorRT
- NVIDIA Triton Sıklığı Sunucusu
- NVIDIA Morpheus
- NVIDIA Holoscan
Bu sürümle birlikte üretim dalına yeni katılan YZ çerçeveleri arasında şunlar yer alıyor:
- AI tabanlı video ve görüntü anlayışı ve çoklu sensör işlemesi için Deepstream
- Grafik sinir ağlarını eğitmek için DGL ve PyG
Sağlık Sektörü için YZ
Yoğun düzenlemelere tabi olan sektörlerden gelen müşteriler, yazılımın daha uzun süre boyunca desteklenmesini de talep edebilir. Bu müşteriler için NVIDIA AI Enterprise, uzun dönem destek dallarını (LTSB) içermekte olup, 3 yıl boyunca stabil API’lerle desteklenmektedir.
LTSB 1, NVIDIA AI Enterprise’ın 2021’deki ilk sürümüyle başlayarak temel YZ bileşenlerini içermektedir:
- PyTorch
- TensorFlow
- RAPIDS
- TensorRT
- Triton Sıklığı Sunucusu
- Altyapı yazılımı, örneğin vGPU sürücüsü
LTSB 2, bu son NVIDIA AI Enterprise sürümüyle birlikte Holoscan eklenmiştir. Holoscan, NVIDIA’nın AI sensör işleme platformudur; düşük gecikme ile sensör ve ağ bağlantısını, veri işleme ve YZ için optimize edilmiş kütüphaneleri ve gerçek zamanlı akış, görüntüleme gibi uygulamaları çalıştırmak için temel yetenekler sunar.
Holoscan SDK, sensör işleme iş akışları oluşturmak için C++ ve Python API’leri içerir ve sensör girişi, hesaplama, YZ inferansı ve görselleştirmeyi içerirken, NVIDIA GPU hızlandırmasını kullanma imkanı sağlar.
Holoscan’ın en yaygın kullanımlarından biri, medikal görüntüleme ve robotik cerrahi gibi tıbbi cihazlardadır. Tıbbi cihazların uzun süreli desteklenme gereksinimleri olduğundan, Holoscan’ın uzun dönem desteklenmesi, cihaz üreticilerine, daha hızlı pazara sunma süresi ve daha düşük bakım maliyeti ile gelecek nesil akıllı YZ destekli medikal cihazları inşa etme olanağı tanır.
Holoscan platformu, medikal cihazlar dışında, YZ destekli sensör işleme ürünleri oluşturmak için endüstriyel düzeyde üretim hazır bir platforma ihtiyaç duyan diğer sektörler için de etkili bir çözüm sunar.
NIM Mikro Hizmetlerini Dağıtmanın Daha Fazlası
NVIDIA AI Enterprise, hem yerel hem de kamu bulut hizmetlerinde desteklenmektedir. NIM mikro hizmetlerini ve diğer yazılım konteynerlerini, bulut instance’ları üzerinde kendi kendine yönetilen Kubernetes’e dağıtabilirsiniz, fakat birçok kullanıcı, bulut sağlayıcısı tarafından yönetilen Kubernetes’yi tercih etmektedir.
Google Cloud, artık NVIDIA NIM’i Google Kubernetes Engine (GKE) ile entegre ederek, kurumsal müşterilere doğrudan Google Cloud Marketplace’den optimize edilmiş modelleri dağıtmak için basit bir yol sunmaktadır.
Mevcutlık
NVIDIA AI Enterprise’ın bir sonraki sürümü şimdi mevcuttur. Lisans sahipleri, çoğu YZ yazılım konteynerinin üretim dalı sürümlerini hemen indirebilir, ancak NIM mikro hizmetlerinin üretim dalına eklenmesi beklenmektedir. Her zamanki gibi, garanti edilen yanıt süreleri ve zamanlı sorun çözümü için NVIDIA uzmanlarına erişim sağlayan kurumsal destek avantajını da sağlamaktadır.
Daha fazla bilgi için NVIDIA AI Enterprise Başlarken sayfasını ziyaret edebilirsiniz.