NVIDIA NIM Operatörü 2.0: NVIDIA NeMo Mikroservis Desteği ile AI Dağıtımını Geliştiriyor

NVIDIA’nın NIM Operatörü, NVIDIA NIM mikroservislerinin dağıtımını ve yaşam döngüsü yönetimini sadeleştirerek, MLOps, LLMOps mühendisleri ve Kubernetes yöneticileri için iş yükünü azalttı. Bu sistem, Kubernetes kümeleri üzerinde NIM’in kolay ve hızlı bir biçimde dağıtımını, otomatik ölçeklenmesini ve güncellenmesini sağladı. İlk sürüm hakkında daha fazla bilgi edinin.

Müşterilerimiz ve ortaklarımız, chatbotlar, agentic RAG ve sanal ilaç keşfi gibi uygulamalar için NIM Operatörü’nü kullanarak verimli bir şekilde çıkarım boru hatlarını yönetiyor. Bizim ortaklarımızdan olan Cisco Compute Solutions ekibi, NVIDIA AI Blueprint for RAG‘yi Cisco Validated Design kapsamında NIM Operatörü ile dağıtmaktadır.

“Yapay zeka hazır altyapımıza NVIDIA NIM Operatörü’nü Cisco Validated Design (CVD) ile stratejik olarak entegre ediyoruz, bu da kurumsal düzeyde çıkarım arttırıcı nesil (RAG) boru hatlarını geliştirmektedir. NIM Operatörü, NVIDIA NIM’in dağıtımını, otomatik ölçeklendirilmesini ve güncellemelerini önemli ölçüde kolaylaştırmaktadır. NIM Operatörü’nün son derece verimli model önbellekleme süreci, yapay zeka uygulama performansını artırırken, NIMPipeline özel kaynağı birden fazla NIM hizmetinin yönetimini tek bir beyan edici yapılandırma dosyası aracılığıyla birleştirmektedir. Sadelik ve verimli kaynak yönetimi, Cisco altyapısında NIM dağıtımını ve yönetiminde genel operasyonel verimliliği artırmaktadır.” — Paniraja Koppa, teknik pazarlama mühendisliği lideri, Cisco Systems

NVIDIA NIM Operatörü 2.0‘ın sürümü ile birlikte, NVIDIA NeMo mikroservisleri‘nin yaşam döngüsünü yönetme ve dağıtma yeteneği eklendi. NeMo mikroservisleri, Kubernetes kümenizde AI akışlarını oluşturmak için bir dizi araç sunuyor; bu, ister yerel ister bulutta olsun çalışır.

NVIDIA NeMo Mikroservisleri

NVIDIA, üç temel NeMo mikroservisini dağıtmak için yeni Kubernetes özel kaynak tanımları (CRD’ler) tanıtmaktadır:

NeMo Özelleştirici: Büyük dil modellerini (LLM’ler) denetimli ve parametre verimli ince ayar teknikleri kullanarak özelleştirmeye yardımcı olur.
NeMo Değerlendirici: Eğitimsel karşılıklar, özel otomatik değerlendirmeler ve LLM-as-a-Judge yaklaşımını destekleyen kapsamlı değerlendirme yetenekleri sağlar.
NeMo Guardrail: LLM son noktalarına güvenlik kontrolleri ve içerik moderasyonu ekler, yanlış bilgi, zararlı içerik ve güvenlik zafiyetlerine karşı koruma sağlar.

The image depicts a stack diagram highlighting NVDIA NIM Operator, a Kubernetes Operator that is designed to facilitate the deployment, management, and scaling of NVIDIA NIM microservices on Kubernetes clusters. — *Şekil 1. NIM Operatörü mimarisi*

Temel Yetenekler ve Faydalar

Bu sürüm, birkaç yeni ve güncellenmiş özellik içermektedir, bunlar arasında:

Kolay ve Hızlı Dağıtımlar

NIM Operatörü, NIM ve NeMo mikroservislerinin yapay zeka akışları için dağıtımını sadece birkaç adımda sadeleştirir ve iki tür dağıtımı destekler:

Hızlı Başlangıç: Veritabanları ve OTEL sunucuları gibi önceden belirlenmiş bağımlılıkları sunarak yapay zeka akışlarınızı hızlı bir şekilde çalıştırmanızı sağlar. Nasıl başlayacağınızı öğrenin.

A GIF that walks through the deployment of the NVIDIA NIM Operator. — *Şekil 2. NIM Operatörü 2.0 dağıtımı*

Özel Konfigürasyon: NeMo mikroservis CRD’lerini üretim düzeyindeki bağımlılıklarla kişiselleştirmenize olanak tanır ve hangi mikroservislerin dağıtılacağını seçmenizi sağlar. Dokümantasyonla başlayın.

Geliştirilmiş İkinci Gün Operasyonları

NIM Operatörü, İkinci Gün operasyonlarını yönetmeyi kolaylaştırır. Aşağıdakileri içerir:

Kolay Yükseltmeler: NeMo mikroservisleri için kesintisiz yükseltmeler desteği sunar. NeMo mikroservis CRD’lerinin sürüm numarasını değiştirerek, NIM Operatörü kümelerdeki dağıtımları günceller ve herhangi bir veritabanı şeması değişikliğini yönetir.
Konfigüre Edilebilir Erişim Kuralları: Kubernetes erişim kuralları, NeMo mikroservisleri için, API’lere özel ana bilgisayar/yol erişimi sağlar.
Otomatik Ölçeklendirme: NeMo mikroservis dağıtımı ve ReplicaSet için auto-scaling’i destekler; NeMo Özelleştirici, NeMo Değerlendirici ve NeMo Guardrails CRD’leri, tanıdık HPA metrikleri ve ölçeklendirme davranışlarıyla çalışır.

The GIF demonstrates how NVIDIA NIM Operator simplifies Day 2 operations. — *Şekil 3. NIM Operatörü İkinci Gün operasyonları*

Kolay AI akışları yönetimi: NIM Operatörü, AI akışlarının dağıtımını basitleştirebilir. Örneğin, güvenilir bir LLM chatbot dağıtmak için, kullanıcılar gerekli tüm bileşenleri sağlayan tek bir guardaril NIM boru hattını yönetebilir: LLM NIM ve içerik güvenliği, jailbreak ve konu kontrolü için NeMo Guardrails NIM.
Genişletilmiş destek matrisleri: Çeşitli alanlarda, mantıksal, çıkarım, ses ve biyoloji gibi birçok alanda NVIDIA NIM mikroservisleri desteklenmektedir. Geniş bir Kubernetes platformu üzerinde test yapılmakta ve birçok platforma özgü güvenlik ayarları eklenmektedir.

Desteklenen NVIDIA NIM ve NVIDIA NeMo mikroservislerinin listesini sürekli olarak genişletiyoruz. Platform Desteği sayfasında tam desteklenen mikroservislerin listesine göz atabilirsiniz.

Başlarken

NVIDIA NIM ve NVIDIA NeMo mikroservislerinin dağıtımını, ölçeklenmesini ve yaşam döngüsü yönetimini otomatikleştirerek, NIM Operatörü, kurumsal ekiplerin AI akışlarını benimsemesini kolaylaştırmaktadır. Bu çaba, NVIDIA AI Blueprints ile AI akışlarını hızlı bir şekilde üretime almayı kolaylaştırma taahhüdümüzle örtüşmektedir. NIM Operatörü, NVIDIA AI Enterprise’ın bir parçasıdır, böylece kurumsal destek, API istikrarı ve proaktif güvenlik yamanmaları sunmaktadır.

Başlamak için NGC üzerinden veya GitHub deposundan erişim sağlayabilirsiniz. Kurulum, kullanım veya sorunlar hakkında teknik sorularınız için lütfen GitHub deposunda bir sorun oluşturun.