Kuruluşlar, üretkenliği artırmak ve operasyonları düzene sokmak amacıyla AI ajanlarını benimsemeye başladı. Bu ajanların etkisini en üst düzeye çıkarmak için güçlü akıl yürütme yeteneklerine sahip olmaları, karmaşık problemleri çözebilmeleri, gizli bağlantıları ortaya çıkarabilmeleri ve dinamik ortamlarda mantıklı kararlar verebilmeleri gerekmektedir.
Karmaşık problemlere çözüm bulma yetenekleri sayesinde, akıl yürütme modelleri, ajan yapılı yapay zeka ekosisteminin önemli bir parçası haline geldi. Uzun düşünme, Best-of-N veya öz doğrulama gibi teknikler kullanarak, bu modeller akıl yürütmeye dayalı görevleri etkin bir şekilde yerine getirebiliyor.
Akıl yürütme modelleri, müşteri destek otomasyonu, tedarik zinciri optimizasyonu ve finansal stratejilerin yürütülmesi gibi çeşitli uygulamaları güçlendiriyor. Lojistikte, aksamalarda sevkiyatları yeniden yönlendirme gibi “ne olursa” senaryolarını simüle ederek etkinliği artırıyor. Bilimsel araştırmalarda, hipotez üretiminde ve çok aşamalı problem çözmede yardımcı oluyor. Sağlık alanında ise, teşhis ve tedavi planlamasını geliştiriyor. Bu modeller, doğru ve mantıklı akıl yürütme yetenekleri sayesinde, sektörler genelinde daha güvenilir ve ölçeklenebilir yapay zeka çözümleri sağlıyor.
Bu yazıda NVIDIA Llama Nemotron akıl yürütme model ailesini tanıtacağız. Bu gelişmiş model ailesinin nasıl oluşturulduğunu detaylandıracak ve bu modellerin AI ajanlarında ve iş birliği yapan çok ajan sistemlerinde nasıl kullanılabileceğini keşfedeceğiz.
NVIDIA Llama Nemotron Akıl Yürütme Model Ailesi
Bugün NVIDIA, NVIDIA Llama Nemotron adlı, mükemmel akıl yürütme yetenekleri, işlem verimliliği ve kurumsal kullanım için açık bir lisans sunan önde gelen AI modellerinin açık bir ailesini duyurdu.
Bu aile, geliştiricilere kullan case’lerine, işlem kapasitelerine ve doğruluk gereksinimlerine bağlı olarak doğru model boyutunu sağlıyor. Aile, aşağıdaki üç boyutta mevcut:
- Nano: En yüksek doğruluk için PC ve kenar cihazlar üzerinde Llama 3.1 8B’den damıtılmış 8B.
- Super: En yüksek verimlilik ve doğruluk için Llama 3.3 70B’den damıtılmış 49B. Bu model, bu yazının odak noktasıdır.
- Ultra: 253B, Llama 3.1 405B’den damıtılmış en yüksek akıl yürütme doğruluğu için çok GPU’lu veri merkezi sunucuları üzerinde çalışıyor (yakında gelecek).
Llama Nemotron akıl yürütme modelleri, GPQA Diamond, AIME 2024, AIME 2025, MATH 500, BFCL ve Arena Hard gibi endüstri standartlarına dayalı akıl yürütme ve ajanlık benchmark’larında öncü doğruluk sağlıyor. Ayrıca, ticari olarak da geçerli olan bu modeller açık Llama modelleri üzerine inşa edildi ve NVIDIA onaylı veri setleri ile birlikte açık modeller kullanılarak sentetik verilerle eğitildi.
Bu yazıda yer alan tariflerle birlikte, modelin izin verilen lisansla sunulması ile AGI için önemli bir kaynak olmayı amaçlıyoruz. Bunun yanında, eğitim sonrası süreçte kullanılan büyük bir veri miktarını HelpSteer3 veri seti olarak açıkça paylaşıyoruz. Bu veri seti, bilgi, kod, talimat takibi, güvenlik, sohbet ve akıl yürütme yetenekleri üzerine odaklanan yaklaşık 30 milyon yüksek kaliteli veri örneği içeriyor.
Test Zamanı Ölçekleme Üzerine Genel Bir Bakış
NVIDIA’nın bu olağanüstü modelleri nasıl yarattığına girmeden önce, test zamanı ölçekleme ve akıl yürütmenin önemine değinmek gerekir. Yapay zeka ile çalışan kuruluşlar için bu kavramlar kritik öneme sahiptir.
Test zamanı ölçekleme, modelin çeşitli seçenekleri düşünmesi ve akıl yürütmesi için çıkarılan bir yaklaşımı ifade eder. Bu yöntem, modelin alt görevlerdeki performansını iyileştirir ve bunu sağlarken daha fazla işlem gücü kullanır.
Akıl yürütme, karmaşık bir süreçtir ve bu da mevcut akıl yürütme modellerinin etkinliğini arttıran test zamanı hesaplama kaynaklarının önemini artırıyor. Modelin tahmin verimliliği için daha fazla kaynak harcaması, daha geniş olasılıkların keşfedilmesini sağlar. Bu, modelin ihtiyaç duyduğu bağlantıyı kurma olasılığını artırır veya ek zaman olmaksızın ulaşamayacağı bir çözümü bulmasına yardımcı olur.
Akıl yürütme ve test zamanı ölçekleme, ajanlık iş akışlarındaki önemli görevler için büyük faydalar sağlasa da, mevcut akıl yürütme modellerinin yaygın bir sorunu vardır. Geliştiriciler, modelin ne zaman akıl yürüteceğini seçemiyor; yani “akıl yürütme açık” ve “akıl yürütme kapalı” arasında seçim yapamıyor. Llama Nemotron model ailesi, sistem talimatları aracılığıyla akıl yürütmeyi açıp kapatabilmektedir; bu sayede modeller, akıl yürütme gerektirmeyen sorun alanlarında faydalı olma özelliklerini koruyor.
Llama Nemotron’un Akıl Yürütme ile İnşası
Llama 3.3 Nemotron 49B Instruct, temel olarak Llama 3.3 70B Instruct‘dan başladı. Modelin boyutunu azaltmak ve orijinal yeteneklerini korurken geliştirmek için kapsamlı bir eğitim sonrası işlem sürecinden geçti.
Üç ana aşamadan oluşan bir eğitim sonrası süreci kullanıldı:
- Tamlamalar ile Akıl Yürütme: Sinir Ağı Yapı Arama ve Bilgi Tamlaması. Detaylı bilgi için Puzzle: Distillation-Based NAS for Inference-Optimized LLM’ler yazısına göz atabilirsiniz.
- Denetimli ince ayar: Yüksek kaliteli içerik sağlamak için üretilen 60B token’lık sentetik veriler (30M örneğin 4M’i) kullanılarak yapılan ince ayar işlemi. Bu aşamada, NVIDIA NeMo framework’ kullanılarak eğitim sonrası sürecin etkin ve verimli bir şekilde ölçeklenmesi sağlandı.
- Davranışsal öğrenme (RL) aşaması: Chat yeteneklerini ve talimat takibi performansını artırmak için NVIDIA NeMo ile gerçekleştirilen bu aşama, her türlü görev için yüksek kaliteli yanıtlar sağlamaktadır.
Yukarıdaki üç aşama, detaylı olarak Sinir Ağı Yapı Arama (NAS) teknik raporunda anlatılmaktadır. Kısaca ifade etmek gerekirse, bu süreç, her modelin parametre sayısını seçilmiş özel bir sayıya “sağ boyutlandırmaya” yönelik bir dizi damıtma ve NAS yaklaşımı kullanmaktadır.
Eğitim sonrası sürecin ikinci aşamasında (Şekil 1’deki Adım 3 ve 4) sentetik verilerle desteklenen denetimli ince ayar yapıldı. Bu ince ayar, akıl yürütme gerektiren ve gerektirmeyen görevlerde en iyi performansı başarmak için kritik öneme sahipti. Bu aşamada, geliştirilmiş akıl yürütme modelinin yaratılmasında kullanılan veriler çok titiz bir şekilde seçildi ve yalnızca kaliteli verilerle eğitim yapıldı.
Yani, akıl yürütmenin açık ve kapalı olma durumları aynı anda eğitim edildi ve yalnızca sistem talimatlarıyla birbirinden ayrıldılar. Bu, kuruluşların hem akıl yürütme hem de akıl yürütme gerektirmeyen görevler için tek bir doğru boyutlandırılmış modeli kullanabilmesine olanak tanıdı.
Son aşamada, kullanıcı beklentileri ve niyetleri ile uyum sağlamak için güçlendirilmiş öğrenme (RL) yöntemi uygulandı. Bu aşama, REINFORCE algoritması ve her iki görev için de heuristik doğrulayıcılar kullanılarak tamamlandı. Sonrasında, insan geri bildiriminden öğrenme (RLHF) ile, model son çatı kullanım durumları için HelpSteer2 veri seti kullanılarak düzeltildi.
Tüm bu dikkatli eğitim sonrası adımları, akıl yürütme modellerini en iyi performansa taşırken, talimat takibi ve işlev çağırma performansını da güçlendirdi. Bu şekilde, agentik AI iş akışlarının her aşamasında etkinliği artırmak ve optimal parametre sayısını korumak mümkün oldu.
Llama Nemotron Super ile Benchmarklarda Üstün Doğruluk
NVIDIA Llama Nemotron modelleri, DeepSeek-R1 gibi güçlü akıl yürütme yetenekleri ile Meta’nın Llama 3.3 70B Instruct modelinin dünya bilgisine ve güvenilir araç çağırma odaklanmasına sahip olarak, önemli ajans görevlerinde liderliğe ulaştı.
Karmaşık Görevler için Llama Nemotron Super ile Sistem Güçlendirme
Bu bölüm, NVIDIA Llama 3.3 Nemotron 49B Instruct ile desteklenen yeni bir test zamanı ölçekleme yaklaşımını açıklamaktadır. Arena Hard benchmark’ında 92.7 skoru ile en yüksek performansa ulaşmıştır. Daha fazla bilgi için Özel Geri Bildirim ve Düzenleme Modelleri Açık Uçlu Genel Alan Görevleri için Çıkarım Zamanı Ölçeklemesi Sağlamaktadır yazımıza göz atabilirsiniz.
Çoğu test zamanı ölçekleme yöntemi, doğrulanabilir çözümleri olan problemlere yönelik tasarlanmıştır; bunlar arasında matematik problemleri, mantıklı akıl yürütme ve rekabetçi programlama görevleri bulunmaktadır. Ancak, birçok önemli görev doğru çözümler sunmaz; araştırma önerileri oluşturmak, araştırma makaleleri yazmak veya karmaşık yazılım ürünleri geliştirmek gibi.
Llama Nemotron test zamanı ölçekleme sistemi, bu sınırlamayı aşmayı hedefler. Şu adımları içeren daha insana benzer bir yaklaşım sergiler:
- Bir veya daha fazla başlangıç çözümü düşünün
- Çözümler hakkında geri bildirim alın; arkadaşlar, meslektaşlar veya diğer uzmanlardan görüş isteyin
- Sağlanan geri bildirim doğrultusunda başlangıç çözümlerini düzenleyin
- Yapılan değişiklikleri dikkate alarak en umut verici çözümü seçin
Bu yöntem, test zamanı ölçeklemeden faydalanarak kapsamlı genel alan görevlerini gerçekleştirmeyi sağlar.
Bu çok ajan işbirliği sistemini kavramsallaştırmak için iyi bir analoji, problem çözümü için bir araya gelen bir ekip gibi düşünmektir. Uzun düşünme ise bir bireyin uzun bir süre boyunca bir probleme yoğunlaşarak bir çözüme ulaşması gibi düşünülebilir.
NVIDIA Llama Nemotron Modelleri ile Başlayın
Damıtma, sinir ağı yapı arama, güçlendirilmiş öğrenme ve geleneksel hizalama stratejilerinin karmaşık birleşimi, NVIDIA Llama Nemotron akıl yürütme modellerinin en iyi sınıfını oluşturmak için kullanıldı. Bu modeller, yeteneklerini korurken doğru boyutlandırılmış modeller seçmenizi sağlar ve talimat takibi ve fonksiyon çağırma güçlerini koruyarak, bunları ajans yapılı yapay zeka sistemlerinde etkili bir şekilde kullanmanızı sağlar.
Bu modellerin açık kaynak halinde sunulmasının yanı sıra, eğitim sürecinde kullanılan verilerin büyük bir kısmının izinli kullanım için paylaşıldığı not edilmelidir. SFT ve RL kullanarak kendi özel modellerinizi geliştirmenizi sağlayacak tarifler ile birlikte sunuluyor.
Bu model ailesini keşfedin ve prototip oluşturma işlemlerinize build.nvidia.com üzerinden başlayın. Üretim için, herhangi bir GPU destekli sistemde yüksek performans ve güvenilirlik için NVIDIA AI Enterprise tarafından desteklenen özel bir API uç noktası dağıtın. Alternatif olarak, NVIDIA ekosistem ortakları olan Baseten, Fireworks AI ve Together AI ile birkaç tıklama ile özel bir barındırılan NVIDIA NIM uç noktası alabilirsiniz.
Akıl yürütme modellerini özelleştirmenin ve kullanım senaryolarının daha fazlasını öğrenmek için, NVIDIA GTC 2025 oturumu olan Gelişmiş Ajanlık Yapay Zeka Otonomisi İçin Akıl Yürütme Modelleri Oluşturun oturumuna katılabilirsiniz.
