Loglar, modern sistemlerin can damarıdır. Ancak uygulamalar büyüdükçe, loglar genellikle gürültü dolu, tekrarlayıcı ve bunaltıcı metinler haline gelir. Bir zaman aşımının veya yanlış yapılandırmanın kök nedenini bulmak, samanlıkta iğne aramak gibi bir his uyandırabilir.
İşte bu noktada AI destekli log analizi çözümümüz devreye giriyor. NVIDIA’nın Generative AI referans iş akışları‘nda tanıtılan log analizi ajansı, veri getirme temelli üretim (RAG) pipeline’ı ile grafik tabanlı çoklu ajan iş akışı birleştirerek logları otomatik olarak analiz etme, alaka derecesini derecelendirme ve kendini düzeltme sorguları yapma yeteneğine sahiptir.
Bu yazıda, çözümün mimarisini, ana bileşenlerini ve uygulama detaylarını keşfedeceğiz. Geliştiriciler ve operatörler, log dökümlerinin içinde kaybolmak yerine, hataların “neden”ini doğrudan elde edebilirler.
Kimlerin log analizi ajansına ihtiyacı var?
- QA ve test otomasyon ekipleri: Test süreçleri büyük miktarlarda log oluşturur ve bu logları çözümlemek zordur. AI sistemimiz, log özetleme, kümeleme ve kök neden tespiti destekleyerek QA mühendislerinin kısa sürede hatalı testleri veya beklenmedik davranışları belirlemesine yardımcı olur.
- Mühendislik ve DevOps ekipleri: Mühendisler, farklı formatlarda olan uygulama, sistem ve hizmet logları ile ilgilenmek zorundadır. AI ajanlarımız bu akışları birleştirerek, hibrit getirme (anlam ve anahtar kelime) işlemleri yapar ve en alaka derecesi yüksek parçaları öne çıkarır. Sonuç: daha hızlı kök neden keşfi ve daha az gece yarısı kriz yönetimi.
- CloudOps ve ITOps ekipleri: Bulut ortamları dağıtılmış hizmetler ve yapılandırmalarla daha fazla karmaşıklık getirir. AI log analizi, hizmetler arası alma, merkezi analiz ve yapılandırma hataları ya da darboğazlar için erken anomali tespiti sağlar.
- Platform ve gözlemlenebilirlik yöneticileri: Gözlemlenebilirliği artırmak isteyen liderler için görünürlük her şeydir. Ham veri akıntıları yerine, çözümümüz net, eyleme geçirilebilir özetler sunar ve bu da düzeltme önceliklerini belirlemeyi ve ürün deneyimlerini geliştirmeyi kolaylaştırır.
Log analizi ajansı mimarisine giriş
Log analizi ajansı, loglardan içgörüler elde etmek için büyük dil modelleri (LLM) kullanan, kendini düzeltici bir çoklu ajan RAG sistemi olarak tasarlanmıştır. Bu sistem, bir LangGraph iş akışını yönetir ve aşağıdaki bileşenleri içerir:
- Hibrit alma: BM25 ile sözcüksel eşleşme + NVIDIA NeMo Retriever gömme kullanarak FAISS vektör deposu ile anlamsal benzerlik.
- Yeniden Sıralama: NeMo Retriever sonuçları yeniden sıralayarak en alaka derecesi yüksek log satırlarını öne çıkarır.
- D derecelendirme: Aday parçalar, bağlamsal alaka açısından puanlanır.
- Üretim: Ham log dökümleri yerine bağlama duyarlı yanıtlar üretir.
- Kendini düzeltme döngüsü: Sonuçlar yeterli değilse, sistem sorguları yeniden yazar ve tekrar dener.
Çoklu ajan zekası: böl ve yönet
Çözüm, her bir düğümün özel bir ajan olduğu yönlendirilmiş bir grafik uygulamaktadır: alma, yeniden sıralama, derecelendirme, üretim veya dönüşüm. Kenarlar, iş akışını dinamik olarak yönlendirmek için karar mantığını kodlar.
- Ajanlar, belirli alt görevler üzerinde otonom olarak çalışır.
- Koşullu kenarlar sistemin uyum sağlamasını garanti eder ve gerektiğinde kendini düzeltmek için geri döner.
Temel bileşenler:
| Bileşen | Dosya | Amacı |
| StateGraph | bat_ai.py | LangGraph ile iş akış grafiğini tanımlar |
| Düğüm | graphnodes.py | Alma, yeniden sıralama, derecelendirme, üretim ve sorgu dönüşümünü gerçekleştirir |
| Kenarlar | graphedges.py | Geçiş mantığını kodlar |
| Hibrit Alıcı | multiagent.py | BM25 ve FAISS alımını birleştirir |
| Çıktı Modelleri | binary_score_models.py | Derecelendirme için yapılandırılmış çıktılar sağlar |
| Yardımcı Programlar | utils.py ve prompt.json | Gömme ve NVIDIA AI uç noktası entegrasyonu için istemler sağlar |
Tüm kaynak dosyaları GenerativeAIExamples GitHub deposunda bulabilirsiniz.
Arka plan: alma, yeniden sıralama ve kendini düzeltme
Hibrit alma:
HybridRetriever sınıfı, multiagent.py dosyasında aşağıdakileri birleştirir:
- BM25Retriever, hassas sözlük puanlaması sağlar.
- FAISS Vektör deposu, NVIDIA NeMo Retriever modelinden gömmeler kullanarak anlamsal benzerliği sağlamakta.
Bu iki strateji, hem anahtar kelime eşleşmelerini hem de anlamsal olarak ilişkili log parçalarını kapsayarak, doğruluk ve geri çağırma arasında dengeli bir yaklaşım sunar.
LLM entegrasyonu ve yeniden sıralama:
İstem şablonları prompt.json dosyasından yüklenir ve her LLM görevini yönlendirmek için kullanılır. NVIDIA AI uç noktaları aşağıdaki işlemleri güçlendirir:
- Gömmeler: llama-3.2-nv-embedqa-1b-v2
- NeMo Alıcı yeniden sıralama: llama-3.2-nv-rerankqa-1b-v2
- Üretim: nvidia/llama-3.3-nemotron-super-49b-v1.5
Bu modeller, alma, yeniden sıralama ve yanıt üretimi işlemlerini sorunsuz bir şekilde gerçekleştirmek üzere iş akışı düğümleri içinde yer alır.
Kendini düzeltme döngüsü:
Eğer başlangıç alma sonuçları zayıfsa, transform_query düğümü kullanıcının sorusunu yeniden yazarak aramayı hassaslaştırır. decide_to_generate ve grade_generation_vs_documents_and_question gibi koşullu kenarlar sonuçları değerlendirir. Derecelendirmeye bağlı olarak, iş akışı ya son yanıt üretimine geçer ya da yeni bir geçiş için yeniden alma akışına döner.
Hızlı başlangıç rehberi
Depoyu kopyalayın:
git clone https://github.com/NVIDIA/GenerativeAIExamples.git
cd GenerativeAIExamples/community/log_analysis_multi_agent_rag
Bir örnek sorgu çalıştırın:
python example.py --log-file /path/to/your.log --question "Zaman aşımı hatalarına ne sebep oldu?"
Sistem, Alma → Yeniden Sıralama → Derecelendirme → Üretim işlemlerini gerçekleştirerek, hatanın kaynağını net bir şekilde açıklayacaktır.
Onu kendinize uygun hale getirin: özelleştirmeniz ve genişletmeler
- İnce ayar: Özelleşmiş LLM’leri kullanabilir veya loglarınız için istemleri ayarlayabilirsiniz.
- Sektöre yönelik uyarlamalar: Benzer çoklu ajan iş akışları siber güvenlik pipeline’ı ve kendi kendini onaran IT sistemlerini zaten desteklemektedir.
- Alanlar arası potansiyel: QA, DevOps, CloudOps ve gözlemlenebilirlik gibi alanlarda fayda sağlayabilir.
Loglardan çıkarımlara: neden önemli?
Log analizi ajansı, çoklu ajan RAG sistemlerinin yapılandırılmamış logları eyleme geçirilebilir içgörülere dönüştürebileceğini göstermektedir; bu da ortalama sorun çözme süresini (MTTR) azaltır ve geliştirici verimliliğini artırır:
- Daha hızlı hata ayıklama: Problemleri saniyeler içinde tanımlayın, saatler değil.
- Daha akıllı kök neden tespiti: Ham dökümler değil, bağlamsal yanıtlar alın.
- Alanlar arası değer: QA, DevOps, CloudOps ve siber güvenlik gibi alanlara uyarlanabilir.
Log analizinin ötesi
Bu, yalnızca başlangıç. Log analizini destekleyen aynı çoklu ajan iş akışı, aşağıdaki alanlarda da genişletilebilir:
- Hata tekrarı otomasyonu: Logları test vakalarına dönüştürmek.
- Gözlemlenebilirlik panelleri: Loglar, metrikler ve izler arasında entegrasyon sağlamaktır.
- Siber güvenlik boru hatları: Anomali ve zayıflık kontrollerini otomatikleştirmek.
Siz de deneyin: Loglarınız üzerinde örnek sorguyu çalıştırın ve çoklu ajan RAG’nin hata ayıklama iş akışınızı nasıl değiştirebileceğini keşfedin. Kendi ajanlarınızı geliştirin, genişletin ve katkıda bulunun; sistem, modüler bir tasarıma sahiptir.
Üretken AI ve NVIDIA NeMo Retriever’ın nasıl kullanıldığı hakkında daha fazla bilgi edinmek için ek örnekler ve uygulamalar‘ı keşfedin.
Kaynaklar
- GitHub kodu: NVIDIA GenerativeAI Örnekleri – Log Analizi Çoklu Ajans RAG
- DeepWiki: Log analizi ajansı belgeleri
- NVIDIA Sözlüğü: Çoklu ajan sistemleri
Daha Fazla Bilgi Edinin
Uygulamalı öğrenme, ipuçları ve püf noktaları için Nemotron Laboratuvarları canlı yayınlarına katılın.
- NVIDIA Nemotron’u Hugging Face‘de deneyin.
- Sorularınızı Nemotron geliştirici forumu‘nda veya Discord’daki Nemotron kanalı‘nda sorabilirsiniz.
Agentik AI, Nemotron ve daha fazlası hakkında en son haberlerden haberdar olmak için NVIDIA haber bültenine abone olun, topluluğu katılın ve NVIDIA AI’yı LinkedIn, Instagram, X ve Facebook‘da takip edin.
Daha fazla çevrimiçi video eğitimi ve canlı yayınlar için buradan ulaşabilirsiniz.
