Yapay zeka ajanları, büyük dil modelleri tarafından desteklenerek, kurumsal çalışma akışlarını dönüştürüyor. Ancak yüksek tahmin maliyetleri ve gecikmeler, ölçeklenebilirliklerini ve kullanıcı deneyimini sınırlayabiliyor. Bu sorunu çözmek için NVIDIA, Veri Dönüşüm Çarkı için NVIDIA AI Şablonunı duyurdu. Bu, düşük tahmin maliyetleri ile etkinliği artıran verimli modeller bulmak için otomatik deney yapmak amacıyla optimize edilmiş, kuruma hazır bir çalışma akışı sunuyor.
Şablonun merkezinde, gerçek üretim verilerini kullanarak daha küçük modelleri damıtmak, ince ayar yapmak ve değerlendirmek için NVIDIA NeMo ve NIM mikro hizmetlerini kullanan kendini geliştiren bir döngü yer alır.
Veri Dönüşüm Çarkı Şablonunu Uygulamanın Aşamaları
Bu uygulamalı gösterim, Veri Dönüşüm Çarkını kullanarak sanal bir müşteri hizmetleri ajanı için işlev ve araç çağrısı yapabilen modelleri optimize etmenin yollarını gösteriyor. Dönüşüm çarkının, büyük bir Llama-3.3-70b modelini, doğrulukta bir kayıp yaşamadan, çok daha küçük bir Llama-3.2-1b modeli ile nasıl değiştirebileceğini – ancak tahmin maliyetini %98’den fazla azaltarak – açıklıyor.
1. Başlangıç Kurulumu
- NVIDIA Launchable kullanarak gerekli GPU hesaplamasını hızlıca başlatın.
- Model özelleştirme ve değerlendirme döngüleri için NeMo mikro hizmetlerini dağıtın.
- Modelleri API üzerinden sunmak için NIM mikro hizmetlerini kullanın.
- Veri Dönüşüm Çarkı Şablonu’nu GitHub repo’sundan klonlayın.
2. Logları Toplama ve Düzenleme
- Üretim ajan etkileşimlerini OpenAI uyumlu formatta toplayın.
- Logları Elasticsearch içinde depolayın.
- Etiketleme, çiftleme, belirli görevler için veri setlerini düzenleme ve sürekli deneyler yürütmek üzere yerleşik dönüşüm çarkı yöneticisini kurun.
3. Mevcut ve Yeni Modellerle Deney Yapma
- Zero-shot, bağlam içi öğrenme ve ince ayar ayarlarıyla değerlendirmeler yapın.
- Üretim çıktıları ve LoRA kullanarak daha küçük modelleri ince ayar yapın – etiketleme gerektirmeden.
- Doğruluk ve performansı MLflow gibi araçlarla entegrasyon yaparak ölçün.
- Orijinal temel ile eşleşen veya onu aşan modelleri seçin.
4. Devreye Alma ve Sürekli İyileştirme
- Oluşturulan değerlendirme raporlarını görüntüleyin.
- Belirlenen verimli modelleri üretime alın.
- Yeni üretim verilerini toplayın, yeniden eğitin ve sürekli olarak dönüşüm çarkı döngüsünü tekrar edinerek geliştirmeye devam edin.
Veri Dönüşüm Çarkı için NVIDIA AI Şablonu ile başlamanın yolu, bu yeni nasıl yapılır videosunu izlemek veya NVIDIA API Kataloğu’ndan indirmek.