Verimli Metin Eşleştirme ile Bilgiye Erişim
Verimli metin eşleştirme, arama, soru yanıtlama, anlamsal metin benzerliği, özetleme ve ürün önerisi gibi birçok bilgi erişim uygulaması için kritik bir öneme sahiptir. Aynı zamanda, retrieval-augmented generation (RAG) adı verilen ve büyük dil modellerinin (LLM’ler) temel parametrelerini değiştirmeden dış bilgiye erişimini sağlayan bir teknik için de hayati bir rol oynamaktadır.
Çok Dillilikte Bilgi Erişimi Kolaylığı
RAG, LLM’lerin ürettiği yanıtların kalitesini önemli ölçüde artırmasına rağmen, pek çok gömme modelinin hala çok dilli ortamda doğru verileri bulmakta zorlandığını gözlemliyoruz. Bunun nedeni, bu modellerin çoğunun ağırlıklı olarak İngilizce veri setleri ile eğitilmiş olmasıdır. Sonuç olarak, başka dillerde doğru ve bilgilendirici metin yanıtları üretmekte zorluk yaşanmakta, bu da küresel bir kitle ile etkili iletişimi engellemektedir.
Çok dilli bilgi erişimi ise, üretilen metinlerin **doğruluk** ve **tutarlılığını** artırmakta, dil bariyerlerini aşarak yerel, bağlama duyarlı yanıtlar üretmektedir. Bu yetenek, sağlık alanında doktor-hasta iletişimini geliştirmekten teknik sorunların çözümüne kadar pek çok sektörde farklı uygulamaları mümkün kılmaktadır.
Büyük Ölçekli Veri Platformları için Zorluklar
Ancak, büyük ölçekli veri platformları için bu tür sistemleri oluşturmak, **büyük veri hacimlerini yönetme**, düşük gecikmeli eşleştirme sağlama ve çok dilli veri setlerinde yüksek doğruluğu koruma gibi benzersiz zorluklar içermektedir.
Bu yazıda, NVIDIA NeMo Retriever gömme ve yeniden sıralama mikro hizmetleri kullanarak bu karmaşıklıkları nasıl ele alabileceğinizi açıklayacağız. NVIDIA NIM üzerinde inşa edilen NeMo Retriever, çeşitli veri ortamlarında AI uygulamalarının sorunsuz bir şekilde dağıtılmasını sağlamaktadır. Bu sistem, mükemmel doğruluk, ölçeklenebilirlik ve tepki süresi ile çok dilli eşleştirme konusunda olanakları yeniden tanımlamakta ve küresel organizasyonların bilgi ile etkileşimini dönüştürmektedir.
NeMo Retriever ile Gelişmiş Bilgi Erişimi
NVIDIA NeMo Retriever, yüksek doğruluk ve veri gizliliği ile dünyaca ünlü bilgi erişimi sunan bir mikro hizmetler koleksiyonudur ve işletmelere gerçek zamanlı iş içgörüleri oluşturmaları için imkan tanır. NVIDIA NIM, NVIDIA AI Enterprise yazılım platformunun bir parçası olarak, üretken AI modellerinin dağıtımını basitleştirmektedir, böylece ekipler kendi LLM’lerini kendi sunucularında barındırırken uygulama geliştirmek üzere standart API’ler sunmaktadır.
Multilingual Bilgi Erişimi Sistem Gereksinimleri
Çok dilli bir bilgi erişim sistemi geliştirmek, güçlü bilgi edinim bileşenlerini bir araya getirmeyi gerektirir; bu bileşenler, çok dilli bir bilgi tabanından veri alabilmelidir. Alınan veriler daha sonra üretim sürecini desteklemek için kullanılacak ve doğru, bağlama duyarlı yanıtların sağlanmasını sağlayacaktır.
Bilgi erişim sistemlerinin merkezinde, gömme veya yoğun erişim modelleri bulunmaktadır. Bu modeller, sorguları ve içerikleri (yani, geçitler veya belgeler) anlamlarını yakalayan vektör temsilleri olarak semantik bir şekilde kodlar. Son yıllarda, pek çok farklı boyutta ve kapasitede yoğun gömme modeli tanıtılmıştır. Ancak, bu modellerin çoğu çok dilli erişimi etkin bir şekilde gerçekleştirmekte sınırlıdır.
Çok Dilliliği Artırmak için Çok Aşamalı Yaklaşım
Bir çok dilli RAG sistemi oluşturmak için, gömme modellerinin geniş bir dil yelpazesini desteklemesi gerekmektedir. Sorgular ve bağlam, farklı dillerden gelen kaynaklardan doğru bir şekilde ortak bir anlamsal alana yerleştirilmelidir. Daha gelişmiş çok dilli erişim sistemleri için, yalnızca yoğun (dense) bilgileri değil, aynı zamanda çok dilli yanıtları daha doğru bir şekilde sıralayan bir yeniden sıralama modeline sahip bir çok aşamalı bilgi erişim boru hattı gerekli olabilir.
NVIDIA NeMo Retriever ile Veri Platformlarını Devrim Yaratmak
NVIDIA, bu boru hatlarını oluşturmanın zorluklarını ve gereksinimlerini göz önünde bulundurarak, iki yeni toplum tabanlı NeMo Retriever mikro hizmeti tanıtmıştır. Bu micro hizmetler, çok dilli ve çapraz dilli metin erişimini sağlamakta olup, NVIDIA NIM üzerinde inşa edilmiştir.
- NeMo Retriever Llama 3.2 gömme:llama-3.2-nv-embedqa-1b-v2
- NeMo Retriever Llama 3.2 yeniden sıralama:llama-3.2-nv-rerankqa-1b-v2
Bu yeni çok dilli modeller, veri platformları için depolama, performans ve uyumlulukta önemli zorlukları da ele alarak verimlilik ve ölçek sağlıyor.
Verimliliği ve Performansı Artıracak Teknikler
Depolama verimliliğini artırmak ve gerçek zamanlı erişim ile üretim yeteneklerini geliştirmek için şu teknikler uygulandı:
- Uzun bağlam desteği: 8192 token’a kadar olan geniş belgeleri işleyebilme yeteneği ile veri yönetimini geliştirmektedir.
- Dinamik gömme boyutlandırma: Depolama ve erişim süreçlerini optimize etmek için esnek gömme boyutları sunulmakta, boyut azaltılmakta ve doğruluk korunmaktadır.
- Depolama verimliliği: Gömme boyutlarını 384’e düşürerek depolama hacmini 35 kat azaltabilmekte ve tek bir sunucuda daha büyük bilgi tabanları saklanabilmektedir.
- Performans optimizasyonu: Uzun bağlam desteği ile azaltılmış gömme boyutları bir araya getirilerek yüksek doğruluk sağlanmakta ve olağanüstü depolama verimliliği sunulmaktadır.
Gelişmiş Eşleme ve Yeniden Sıralama Modelleri
Peki, bu gömme ve yeniden sıralama modellerimiz çok dilli ve çapraz dilli metin soru yanıtlama görevleri için nasıl optimize edildi?
- Meta-llama/Llama-3.2-1B modelini temel model olarak uyarladık; bu model yalnızca dekoder olarak tasarlanmış olup, bir encoder modeline dönüştürüldü. Llama-3.2-1B modeli resmi olarak İngilizce, Almanca, Fransızca, İtalyanca, Portekizce, Hintçe, İspanyolca ve Tayca dillerini desteklemektedir.
- Modelin dikkat mekanizması, her bir token için sağındaki ve solundaki diğer token’lara erişebilmek amacıyla, tek yönlü (sebep-sonuç) olarak değil, her iki yönde de çalışacak şekilde çift yönlü hale getirildi.
- Modelin mevcut çok dilli kapasitesini artırmak için, kamuya açık İngilizce ve çok dilli veri setlerinin karışımı ile ince ayar yapıldı.
- Gömme ve yeniden sıralama modelleri, pozitif bilgilere dayalı zorlu negatifleri madencilik yaparak kontrastif öğrenme ile ince ayar yapılmıştır.
Yeni 1B parametreli bu retriever modelleri ile, NVIDIA NeMo çok dilli erişimde yüksek doğruluk ile etkin indeksleme hızı ve düşük sunucu gecikmesi arasında mükemmel bir denge sağlamıştır.
Performans Karşılaştırmaları ve Sonuçlar
1B parametreli retriever modellerimiz, 18 MIRACL geliştirme seti, 11 çevrilmiş dil veri seti ve 49 çapraz dilli MLQA veri seti üzerinde değerlendirildi. Aşağıdaki grafikler, tüm modellerin aynı altyapı ve veri setlerinde değerlendirildiğini göstermektedir. Şekil 2’de, NVIDIA Llama 3.2 gömme ve yeniden sıralama modellerinin, birlikte kullanıldıklarında bilgi erişiminde ne denli başarılı olduğunu gösteren bir Recall@5 ölçümü ile doğruluk kazandığını inceleyebilirsiniz.
Şekil 3 ise, hem NVIDIA Llama3.2 1B gömme hem de Llama3.2 1B yeniden sıralama modellerinin, çok dilli ve çapraz dilli metin erişim standartları için üstün doğruluk performansı gösterdiğini vurgulamaktadır.
Son olarak, NVIDIA modellerinin, yalnızca çok dilli ve çapraz dilli yetenekleriyle değil, aynı zamanda yalnızca İngilizce metin tabanlı test veri setlerinde de daha doğru sonuçlar ürettiğini belirtmek gerekir. Bu modeller, NQ, HotpotQA ve FiQA gibi akademik standartlarda değerlendirildi.
Dünya Standartlarında Bilgi Erişimi Sistemleri Geliştirmeye Başlayın
NeMo Retriever mikro hizmetlerini kullanarak ölçeklenebilir ve dünya standartlarında bir bilgi erişim sistemi geliştirmek için NVIDIA API Kataloğu‘na gidin. Orada, organizasyonların özel modellerini çeşitlendirilmiş iş verileri ile temasa geçirmelerine ve yüksek doğrulukta yanıtlar sunmalarına olanak tanıyan bir mikro hizmetler koleksiyonu bulabilirsiniz. Bu koleksiyona llama-3.2-nv-embedqa-1b-v2 ve llama-3.2-nv-rerankqa-1b-v2 dahildir.
NVIDIA Geliştirici Programı üyeleri, araştırma, geliştirme ve test için NIM’e ücretsiz erişim sağlayabilir. Erişim seçeneklerini görmek için kişisel veya kurumsal bir e-posta adresi girmeniz istenecektir. Ayrıca, NVIDIA’nın generatif AI örnekleri üzerinden bu mikro hizmetlerin nasıl entegre edileceğini öğrenebilir ve örnek uygulamalar yazabilirsiniz. Ayrıca, NVIDIA LaunchPad laboratuvarında NeMo Retriever mikro hizmetlerini deneyimleyerek işletme verilerinizi açabilirsiniz.