Iguazio ve NVIDIA arasındaki iş birliği, organizasyonların yüksek performanslı, ölçeklenebilir ve gerçek dünya dağıtımına uygun üretim düzeyi AI çözümleri geliştirmesine olanak tanımaktadır.
NVIDIA NIM mikro hizmetleri, bu yetenekler için kritik öneme sahiptir ve her türlü bulut veya veri merkezinde üretken AI dağıtımını hızlandırmak için tasarlanmıştır. NVIDIA AI temeli, topluluk ve özel modeller dahil olmak üzere geniş bir AI modeli yelpazesini destekleyen NIM mikro hizmetleri, sanayi standartlarına dayalı API’ler kullanarak kesintisiz ve ölçeklenebilir AI çıkarımı sağlamaktadır.
Çalışma zamanında, NIM her tür temel model, GPU ve sistem kombinasyonu için en uygun çıkarım motorunu seçmektedir. NIM konteynerleri, aynı zamanda standart gözlemlenebilirlik veri akışları sağlar ve Kubernetes ile birlikte otomatik ölçeklendirme desteği sunar.
MLRun Nedir?
MLRun, ML ve üretken AI uygulamalarını tüm yaşam döngüsü boyunca yönetmek için tasarlanmış, açık kaynaklı bir AI orkestrasyon çerçevesidir. AI ve veri analitiği konusunda uzmanlaşmış bir kuruluş olan Iguazio, artık McKinsey & Company bünyesinde faaliyet gösteren QuantumBlack ile birlikte bu açık kaynak çerçevesini geliştirmektedir.
MLRun, veri hazırlama, model ayarlama, özelleştirme, doğrulama ve ML modelleri ile büyük dil modellerini (LLM) otomatikleştiren süreçleri kolaylaştırır. Ayrıca, hızlı ve ölçeklenebilir gerçek zamanlı sunum ile uygulama boru hatlarının hızlı bir şekilde dağıtımını sağlar; çoklu bulut, hibrit ve yerel ortamları destekleyen esnek dağıtım seçenekleri sunar.
MLRun’un Sağladığı Avantajlar
MLRun, çok çeşitli kullanım durumu dağıtımları göz önüne alındığında şu olanakları sunar:
- Daha hızlı üretim süresi
- Azalmış hesaplama maliyetleri
- Sıfırdan sonuna kadar gözlemlenebilirlik
Şirketler, MLRun’u gerçek zamanlı olarak AI modellerini geliştirmek, bunları altyapı boyunca dağıtmak, üretken AI ile ilgili riskleri azaltmak ve AI odaklı stratejileri güvenli bir şekilde uygulamak için kullanmaktadır. MLRun, ayrıca çağrı merkezi analizi, chatbot otomasyonu, dolandırıcılık tahmini ve gerçek zamanlı öneri motorları gibi birçok kullanım durumu için de tercih edilmektedir.
MLRun ile NVIDIA NIM Kullanarak Çoklu Ajanlı Finansal Chatbot Dağıtımı
Büyük bir banka, MLRun’u kullanarak çoklu ajanlı bir chatbot geliştirdi. Bu chatbot, niyet sınıflandırması, gerçek zamanlı izleme ve dinamik kaynak ölçeklendirme gibi özellikler barındırmaktadır. Finansal kuruluşların AI asistanlarını NVIDIA NIM çıkarım verimliliği ve MLRun’un üretim düzeyindeki gözetimi ile nasıl dağıtabileceğini gösteren bu kullanım durumu, operasyonel etkililik ve düzenlemelere uyumu sağlamaktadır.
Chatbotun tam mimarisi, bankacılık hizmetlerine yönelik üç farklı AI ajanı kullanmaktadır. Kredi ajanı, ipotek ve kredi ile ilgili sorgulara yanıt vermekte; yatırım ajanı, yenilenebilir enerji hisse senedi gibi senaryoları analiz ederek kişiselleştirilmiş portföy tavsiyeleri sunmaktadır. Genel ajan ise şifre sıfırlama veya işlem geçmişi talepleri gibi rutin müşteri hizmetleri görevlerini yönetirken, karmaşık sorguları ilgili uzmanlara yönlendirmektedir.
Kalite kontrolü için, uygulama bir LLM-as-a-Judge mekanizması kullanarak etkileşimleri gerçek zamanlı olarak izlemektedir. Bu değerlendirme mekanizması, sorgu-ajan ilişkisinin geçerliliğini, yanıt doğruluğunu ve düzenlemelere uygunluğu değerlendirerek yönlendirme kararlarını doğrular. Konuşmaları denetim ve ince ayar amacıyla kaydederken, yanlış sınıflandırma oranları, yanıt kalitesi puanları ve uyum ihlali sayıları gibi performans metriklerini de üretir. MLRun, bu gözetimi otomatik değerlendirme boru hatları, gerçek zamanlı metrikler gösteren panolar ve kritik hatalar (düzenleme ihlalleri gibi) durumunda tetiklenen uyarı sistemleri ile işler hale getirir.
Bu çözümün başarısı, gelişmiş AI teknolojilerini operasyonel basitlik ile bütünleştirme yeteneğindedir. NVIDIA NIM konteynerlerini kullanarak ve MLRun orkestrasyon çerçevesi ile birleştirerek, platform AI modellerinin hem verimli hem de etkili olmasını sağlamaktadır.
Sonuç
MLRun ve NVIDIA NIM, kurumsal AI dağıtımı için güçlü bir sinerji oluşturmaktadır. NVIDIA NIM, çeşitli ortamlarda yüksek performanslı model çalıştırmaları için GPU hızlandırmalı, konteynerleştirilmiş mikro hizmetler sunarken, MLRun otomatikleştirilmiş orkestrasyon, güvenli API yönetimi, gerçek zamanlı izleme ve çok daha fazlasını sağlamaktadır. Birlikte, kritik üretim zorluklarını ele alarak, işletmelerin ölçeklenebilir AI asistanları dağıtmasına ve gelişmiş yetenekler ile operasyonel güvenilirlik elde etmesine olanak tanımaktadır.
Devam etmek için MLRun ve NIM ile denemeler yapabilir, dağıtım ve model izleme yetenekleri hakkında daha fazla bilgi edinebilirsiniz. Iguazio’nun MLOps Canlı serisi‘ndeki canlı demoyu ve biraz daha teknik açıklamayı izleyebilirsiniz.
NVIDIA’nın AI girişimlerine nasıl destek verdiğini öğrenmek için lütfen başlangıç sayfasını ziyaret edin.
