Günlük ve haftalık bültenlerimize katılarak, sektördeki en son güncellemeler ve özel içeriklere ulaşın. Daha Fazla Bilgi
Kurumsal verilerin büyük dil modellerine (LLM’ler) dahil edilmesi, kurumsal yapay zeka uygulamalarının başarılı bir şekilde hayata geçirilmesi için kritik bir adımdır.
Retrieval Augmented Generation (RAG) Nedir?
Bu noktada retrieval augmented generation (RAG) devreye giriyor. Birçok sağlayıcı farklı çözümler sunarken, AWS re:Invent 2024 etkinliğinde Amazon, kurumsal verilerin hem yapılandırılmış hem de yapılandırılmamış verilerinin RAG boru hatlarına dahil edilmesini kolaylaştıracak yeni hizmetler ve güncellemeler duyurdu. Yapılandırılmış verilerin RAG için erişilebilir hale getirilmesi, yalnızca bir tablodaki bir satırın sorgulanmasından daha fazlasını gerektiriyor. Doğal dil sorgularını karmaşık SQL sorgularına çevirerek, verileri filtrelemek, tabloları birleştirmek ve verileri toplamak gerekiyor. Yapılandırılmamış verilerde ise, verinin tanımı gereği herhangi bir yapı olmadığından zorluklar daha da artıyor.
AWS’nin Yetenekleri
AWS, yapılandırılmış veri alım desteği, yapılandırılmamış veriler için ETL (veri çıkarma, dönüştürme ve yükleme), veri otomasyonu ve bilgi tabanı desteği sağlayacak yeni hizmetler açıkladı. AWS AI ve Veri Başkan Yardımcısı Swami Sivasubramanian, “RAG, verilerinizi özelleştirmek için çok popüler bir tekniktir; ancak RAG’nin tarihi çoğunlukla metin verileri için olduğu bir gerçektir,” diyerek, kurumsal verilerin çoğunun, özellikle operasyonel verilerin, veri göllerinde ve veri ambarlarında bulunduğu için bu durumun RAG için uygun olmadığını belirtti.
Amazon Bedrock Bilgi Tabanı ile Yapılandırılmış Veri Alımının İyileştirilmesi
Peki, yapılandırılmış veriler neden RAG için hazır değil? Sivasubramanian, doğru ve güvenli bir sistem oluşturmak için şemayı anlamanın, özel bir şema yerleştirmenin ve tarihsel sorgu kayıtlarını takip etmenin önemine dikkat çekti.
Amazon Bedrock Bilgi Tabanı hizmeti, kuruluşların bağlamsal ve ilgili verilerle özelleştirilmiş yanıtlar almasını sağlayan tamamen yönetilen bir RAG yeteneği sunuyor. Bu hizmet, veri kaynaklarınızı entegre etmek ve sorguları yönetmek için özel kod yazma ihtiyacını ortadan kaldırarak, RAG iş akışını otomatikleştiriyor.
Karmaşık Veriyi Yönetmek: GraphRAG
AWS’nin çözmeye çalıştığı bir diğer önemli sorun ise RAG için veri kaynaklarının sayısını artırarak doğruluğu artırmaktır. Yeni GraphRAG yeteneği, verilerin nasıl birbirine bağlı olduğunu göstermek için bilgileri birleştirirken, aynı zamanda açıklanabilir RAG sistemleri oluşturma hedefine hizmet ediyor.
Bilgi grafiklerinin oluşturulması, birden fazla veri kaynağı arasında ilişkiler kurarak ve farklı bilgi parçacıklarını birbirine bağlayarak, kurumsal verileri bütünsel bir düzlemde anlamamıza yardımcı oluyor.
Yapılandırılmamış Verilerle Baş Etme: Amazon Bedrock Veri Otomasyonu
Bunun yanı sıra, bir diğer kritik zorluk ise yapılandırılmamış verilerin işlenmesidir. PDF, ses veya video dosyası gibi verilerin RAG kullanımı için dizine eklenmesi, verinin içeriğinin anlaşılması açısından oldukça önemlidir. Sivasubramanian, “Yapılandırılmamış veriler zordur ve kullanılabilir hale getirilmeleri için işlenmesi ve dönüştürülmesi gerekir,” dedi.
Amazon Bedrock Veri Otomasyonu, bu sorunun üstesinden gelmek için hazırlanmış bir çözümdür. Bu yeni teknoloji, çoklu model içeriğini otomatik olarak yapılandırılmış veriye dönüştürerek gen AI uygulamalarını destekliyor.
