Yapay zeka destekli arama, yüksek performanslı dizinleme, düşük gecikme süresi ve sorunsuz ölçeklenebilirlik gerektirir. NVIDIA cuVS, geliştiricilere ve veri bilimcilerine GPU hızlandırmalı vektör araması ve kümeleme sunarak daha hızlı dizin oluşturma, gerçek zamanlı güncellemeler ve büyük ölçekli arama için verimli çözümler sunuyor. Bu nesil teknolojiler, retrieval-augmented generation (RAG), öneri sistemleri, keşifsel veri analizi ve anomali tespiti gibi uygulamalarda kullanılmaktadır.
cuVS’in son sürümü, optimize edilmiş dizinleme algoritmalarını, genişletilmiş dil desteğini ve NVIDIA’nın Meta, FAISS, Google Cloud AlloyDB ve Vertex AI gibi ortaklarıyla daha derin entegrasyonları içermektedir. Bunun yanı sıra, Milvus, Apache Lucene, Elasticsearch, OpenSearch, Weaviate, Kinetica ve daha fazlasıyla entegrasyonlarla birlikte gelmektedir.
Mevcut vektör veritabanlarındaki aramayı geliştirmek veya özel yapay zeka destekli geri alma sistemleri oluşturmak için cuVS, performansı bir üst seviyeye taşıyacak hız, esneklik ve entegrasyon kolaylığı sunuyor. Bu yazıda, en yeni özellikleri ve bunların ölçeklenebilir AI destekli aramanın nasıl açığa çıktığını birlikte keşfedeceğiz, ayrıca yeni ölçüm testlerini inceleyeceğiz.
Dizine Hızla Erişim Sağlayın!
NVIDIA cuVS ekibi, yaygın kullanıma sunulan en iyi dizinleme algoritmalarını geliştirmek adına çalışmaktadır. DiskANN ve özellikle bu algoritmanın grafik tabanlı versiyonu Vamana, GPU üzerinde, CPU’ya göre 40 kat veya daha fazla hız artışı ile inşa edilebilir. NVIDIA, önemli müşteri kullanım senaryolarını çözmek için Microsoft ile iş birliği yapmaktadır.
NVIDIA, hızlandırılmış vektör aramayı herkes için erişilebilir kılma hedefindedir. Google Cloud AlloyDB, HNSW için olağanüstü dizin oluşturma performansınıCPU üzerinde pgvector’a göre 9 kat hız artışı ile sunmak için çalışmaktadır. Oracle, cuVS entegrasyonunu Oracle Database 23ai üzerinde prototip olarak denemekte ve HNSW dizin oluşturma sürecinde 5 kat hız artışı sağlamaktadır.
Weaviate, cuVS’i GPU üzerinde optimize etmek için entegre etti. Bu entegrasyonun ilk testleri, GPU’daki CAGRA adlı vektör indeksleme yöntemini kullanarak dizin oluşturma sürelerini 8 kat azaltıyor. Bu, HNSW destekli arama için CPU’lara hızlı bir geçiş sağlıyor.
CPU ve GPU’un Birlikteliği
Çok sayıda RAG iş akışında, LLM çıkarımı için gecikme süresi, vektör veritabanı sorgulama sürelerinden daha fazladır. Ancak, bu iş akışlarındaki veri hacimleri hızla artmaktadır ve uzun dizin oluşturma süreleri yaratmakta ve maliyetleri yükseltmektedir. Böyle bir ölçek için ideal çözüm, dizin oluşturma işlemlerinde GPU’ları kullanmak, sorgulama işlemlerinde ise CPU’ları kullanmaktır.
cuVS, GPU ve CPU arasında uyumluluğu olan dizinler sunarak, yapay zeka sistemlerinin mevcut CPU altyapısını kullanmasını ve modern GPU altyapısından faydalanabilmesini sağlar. Dizin uyumluluğu, yapay zeka uygulamalarının daha hızlı dizin oluşturma süreleri elde etmesini sağlarken, vektör arama işlemlerini CPU tabanlı vektör veritabanlarında gerçekleştirebilir.
CPU ve GPU arasındaki bu dizin uyumluluğu, cuVS’in en popüler özelliklerinden biridir. Kütüphane esasen GPU hızlandırmalı yeteneklere odaklansa da, GPU’da dizin oluşturarak bunları CPU uyumlu formatlara dönüştürmek için bir eğilim ortaya çıkmaktadır.
Daha Fazla Dil Desteği ve Geliştirilmiş Özellikler
cuVS, Rust, Go ve Java API’lerini ekleyerek hızlandırılmış vektör aramayı daha da erişilebilir hale getirdi. Bu yeni API’ler, aynı kod tabanından oluşturulabilir. Ekip, bu API’leri daha fazla dizin türü ve kümeleme, ön işleme gibi gelişmiş özellikleri ekleyerek geliştirmeye devam etmektedir.
Binary ve scalar kuantizasyon, vektörlerin izini 4 kat ve 32 kat küçültmek için yaygın kullanılan ön işleme teknikleridir (32 bit kayan nokta türlerinde). Her ikisi de cuVS’le desteklenmektedir ve sırasıyla CPU üzerinde 4 kat ve 20 kat performans artışı gösterir.
Özel amaçlı vektör veritabanları söz konusu olduğunda, Milvus, cuVS’i benimseyen ilk sistemlerden biridir. Küçük grafikleri doğrudan ikili kuantize vektörler üzerinde inşa etmek gibi yeni özelliklerle, GPU desteklerini sürekli olarak geliştirmektedir.
Yüksek Verimli Arama
cuVS, daha dinamik bir batching API sunmaya başladı. Bu, GPU üzerinde yüksek hacimli çevrimiçi arama latansını 10 kat iyileştirebilir. Yüksek hacimli çevrimiçi arama işlemleri, örneğin ticaret ve reklam sunumları gibi, yeni CAGRA sürekli arama özelliği sayesinde 8 kat veya daha fazla hız artışı sağlarken bireysel işlem sürelerini düşük tutabilir. Microsoft Reklam, bu entegrasyonu incelemektedir.
Yerel GPU hızlandırmalı grafik tabanlı CAGRA algoritmasının ön filtreleme yeteneklerindeki son geliştirmeler, yüksek hatırlama oranları sağlayarak, çoğu vektör (örneğin %99) arama sonuçlarından dışlandığında bile etkili sonuçlar almanızı sağlar.
Son olarak, kNN grafik yapıları, veri madencili işlemlerinde oldukça yaygın olarak kullanılmaktadır. Manifold öğrenme tekniklerinde ve kümeleme tekniklerinde temel yapı taşı olarak yer alır. cuVS’teki nn-descent en yakın komşu algoritması güncellemeleri, kNN grafiklerinin dış bellekte inşa edilmesine olanak tanımaktadır. Böylece, veri setiniz yalnızca sisteminizin RAM belleği miktarıyla sınırlıdır. Bu, CPU için yönetilebilir olmayan büyük ölçekli keşifsel veri analizi iş akışlarına olanak tanır.
Bu hız artışlarını RAPIDS cuML kullanarak deneyimleyebilirsiniz. Adoreboard ve Studentpulse gibi şirketler tarafından aktif olarak kullanılmaktadır. Konu modelleme, manifold öğreniminin ve kümeleme tekniklerinin yaygın bir kullanımıdır ve BERTopic kütüphanesi, GPU üzerinde büyük ölçekli iş akışlarını uygun hale getirmektedir. Tek hücre genomu analizi de başka bir alandır ve rapids-singlecellhem cuVS’e hem de cuML’e dayanarak çığır açan bir performansa ulaşmaktadır.
NVIDIA cuVS ile Tanışın
NVIDIA cuVS, GPU hızlandırmalı vektör aramasını yeniden tanımlamayı sürdürüyor ve performansı optimize eden, maliyetleri düşüren ve yapay zeka uygulama geliştirmeyi kolaylaştıran yenilikler sunuyor. Yeni özellikler, genişletilmiş dil desteği ve yapay zeka ekosisteminin derin entegrasyonları ile birlikte, cuVS, kuruluşların arama ve geri alma iş yüklerini hiç olmadığı kadar ölçeklendirmesine yardımcı olmaktadır.
cuVS ile başlayın; rapidsai / cuvs GitHub kütüphanesini içeren uçtan uca örneklerle birlikte keşfedin ve otomatik bir ayar rehberi bulun. Ayrıca, GPU ve CPU ortamları arasında ANN arama uygulamalarını karşılaştırmak ve değerlendirmek için cuVS Bench‘i kullanabilirsiniz.
cuVS, bağımsız bir kütüphane olarak ya da FAISS, Milvus, Weaviate, Lucene, Kinetica gibi entegrasyonlar aracılığıyla kullanılmak üzere tasarlanmıştır. NVIDIA’nın yapay zeka destekli arama alanındaki sınırları genişletmeye devam etmesini bekleyin.
