NVIDIA’da, Satış Operasyonları ekibi, Satış ekibine keskin teknolojik donanım ve yazılımı pazara sunmak için ihtiyaç duyulan araçlar ve kaynaklar sunuyor. Bu süreç, NVIDIA’nın farklı teknolojileri arasında yönetim sağlamak karmaşık bir zorluk yaratırken, birçok işletmenin de karşılaştığı ortak bir challenge.
Satış ekibi ile yaptığımız iş birliği sayesinde, iç ve dış belgelerden faydalandıklarını ve gerekli bilgiyi bulmak için çeşitli havuzlar arasında dolaştıklarını öğrendik. Şimdi ise hayal edin, bu tüm süreci sizin için gerçekleştiren bir yapay zeka satış aracı!
Bu yazıda, NVIDIA’nın büyük dil modelleri (LLM’ler) ve retrieve-augmented generation (RAG) teknolojileri kullanarak satış iş akışlarını nasıl hızlandırdığını, karşılaşılan zorlukları ana çözüm bileşenlerini ve edinilen önemli dersleri keşfedeceğiz. Daha fazla bilgi için Keşif: Retrieve Modelleri‘ne göz atabilirsiniz.
Önemli Öğrenimler
İşte harika bir AI satış asistanı oluşturma yolları:
Kolay Kullanımlı Bir Sohbet Arayüzü ile Başlayın
Bir çoklu adım sohbet platformunu kapsamlı bir LLM ile başlayarak oluşturun, örneğin Llama 3.1 70B. RAG ve Perplexity API’si ile gelişmiş işlevsellik katarken, erişilebilirliği de etkileyin.
Belge Alımını Optimize Edin
Kapsamlı bir ön işleme uygulanarak, kural tabanlı deterministik metin işleme ve LLM tabanlı mantık ile çeviri ve düzenleme gerçekleştirerek, retrieved belgelerin değerini artırın. Bu yaklaşım, performansı önemli ölçüde iyileştirir.
Kapsamlı Kapsama için Geniş RAG Uygulayın
Farklı iş akışlarını karşılamak ve kapsamlı bilgi sunmak için, hem iç döküman ve medya veritabanından hem de şirketin web sitesinde halka açık içeriklerden elde edilen belgeleri kullanın.
Gecikme ve Kaliteyi Dengeleyin
Cevap hızı ve alaka düzeyini optimize etmek için, uzun süren görevler sırasında ilk arama sonuçlarını gösterme ve yanıtların oluşturulma ilerlemesine görsel geri bildirim sağlama gibi stratejiler kullanın.
Veri Yeniliğini ve Çeşitliliğini Önceliklendirin
Pazarlama belgeleri ve medya veritabanından günlük güncellemeler gerçekleştirerek, yapılandırılmış verilere gerçek zamanlı bağlantılar da ekleyin.
PDF’ler, slayt gösterisi, sesli ve video kaydı gibi farklı veri formatları ile entegre olma zorluklarına hazırlanarak, NVIDIA Multimodal PDF Alımı ve Riva Otomatik Konuşma Tanıma ile etkili biçimde işlem yapın.
AI Satış Asistanı Geliştirmek
NVIDIA’nın çeşitli portföyü, u003ca href=”https://build.nvidia.com/nim?q=LLM” data-wpel-link=”internal” target=”_blank” rel=”follow noopener”>LLM’ler, fizik simülasyonları, 3D renderleme ve veri bilimi gibi inovasyonlar, Satış ekibinin dinamik AI pazarında bilgi sahibi olmasını zorlaştırıyor.
Bu zorluğu aşmak için, satış iş akışlarına entegre edilen bir AI satış asistanı geliştirdik. Bu asistan, hem iç hem de dış verilere anında erişim sağlayarak, gelişmiş LLM’ler ile güçlendiriliyor, örneğin Llama 3.1 70B ve RAG kullanıyor. Bu sayede, içgörüler ve dış verilerle zenginleştirilmiş birleşik bir sohbet arayüzü sunuyor.
Satış ekipleri, asistanı kullanarak “NVIDIA RTX’in veri bilimi için ana faydaları nelerdir?” veya “Son CRM güncellemelerini özetleyin.” gibi sorulara hızla yanıt bulabiliyor. Ayrıca, “NVIDIA sağlık alanında AI eğitim boru hatlarını nasıl optimize ediyor?” gibi müşteri spesifik sorulara da özelleştirilmiş yanıtlar üretebiliyor.
Asistan, belge özetleme, düzenleme ve düzeltme gibi işlevlere de sahip. İlk kullanıcılar, geleneksel bellek sistemlerine kıyasla, bu sohbet arayüzünü benimsemiş ve prospecting, raporlama ve müşteri etkileşimini geliştirdiğini takdir ettiler.
Önemli Faydalar
- Birleşik bilgi erişimi: İç NVIDIA verilerini Perplexity API ve genel arama ile daha geniş içgörülerle birleştirir.
- Kurumsal düzeyde sohbet:Spelling kontrolü, özetleme, kodlama ve analiz gibi çeşitli sorguları Llama-3.1-405B-instruct gibi modellerle yönetir.
- Akıcı CRM entegrasyonu: SQL sorgularının otomatik olarak yaratılmasını sağlar ve müşteri ilişkileri yönetimi sistemindeki satış verilerini doğrudan özetleyerek verimliliği artırır.
Mimari ve İş Akışları
AI satış asistanı, ölçeklenebilirlik, esneklik ve yanıt verebilirlik için tasarlanmıştır ve şu ana mimari bileşenleri içerir:
- LLM destekli belge alım hattı
- Geniş RAG entegrasyonu
- Olay odaklı sohbet mimarisi
- İlk ilerleme göstergeleri
LLM Destekli Belge Alım Hattı
Belge alım süreci (Şekil 1), belge çevirisinin, PDF ayrıştırmanın ve tutarsız formatların bulunması gibi zorlukları ele almaktadır.
Tüm metin, bir LLM kullanılarak işlenir ve standart bir Markdown formatına dönüştürülür. Adımlar arasında PDF’lerin NVIDIA Multimodal PDF Alım Şeması ile ayrıştırılması, ses dosyalarının NVIDIA Parakeet NIM kullanılarak transkribe edilmesi ve Llama 3.1 70B ile düzenlenmesi ve çevrilmesi yer alır.
NVIDIA ürün isimleri, örneğin NVIDIA RTX veya NVIDIA NeMo, bir lookup tablosundan elde edilen kısa açıklamalarla otomatik olarak zenginleştirilerek, belge kullanımını ve anlaşılabilirliğini artırır.
Geniş RAG Entegrasyonu
AI satış asistanı, kullanıcının sorgularına Milvus içinde vektör alımı, NVIDIA web sitesi ve Perplexity API gibi çeşitli kaynaklardan gelen sonuçları birleştirerek yanıt verir (Şekil 2). Bu yanıtlar genellikle on veya daha fazla kaynak referansı içermektedir ki bu da LLM için uzun URL’ler veya ayrıntılı yazar bilgileri içeren referanslarla çalışma açısından zorluk oluşturur.
Doğruluğu sağlamak amacıyla, metin üretimi sırasında referansları kısa alfanümerik anahtarlarla değiştiren istemler kullanıyoruz. Sonrasında bir post işleme aşamasında, bu anahtarlar tam referans detaylarıyla değiştirilerek, çok daha güvenilir ve kesin referanslar elde ediliyor.
Olay Odaklı Sohbet Mimarisi
Chainlit context manager ile desteklenmektedir. Bu, kullanıcı deneyimini artırarak, kullanıcı arayüzü içinde görsel ilerleme göstergeleri sağlar ve hata tespiti ile hata ayıklamayı kolaylaştırır.
Kompleks akıl yürütme gerektiren görevler için yapılandırılmış üretim ve zincirleme düşünce mantığı kullanılarak, CRM verileri için üretilen sorguların kalitesi önemli ölçüde artırılır.
Şekil 3, AI satış asistanının mantıksal akışını gösteriyor; sorgu yönlendirmesi ve etiketleme ile başlayarak, döküman tabanlı RAG veya Text2SQL yaklaşımını kullanacak şekilde farklı yolları ayırıyor. Mimari diyagram, çözümün CRM verileri, telefon görüşmesi transkriptleri ve özelleştirilmiş belgeler gibi çeşitli veri girişlerini etkili bir şekilde işleyerek nasıl özelleştirilmiş çıktılar sunduğunu vurguluyor.
Bu iş akışı, kullanıcının sorgusunun yönlendirilmesine bağlı olarak farklı yollar sunarak, sistemin verileri takip etmeden nasıl bir yanıt ürettiğini anlamayı zorlaştırabilir.
Aşağıda, LlamaIndex iş akışı adımlarının Chainlit ile nasıl entegre edildiğini ve görsel ilerleme takibinin yanı sıra yapılandırılmış üretimi gösteren örnek kod verilmiştir:
from llama_index.llms.nvidia import NVIDIA
from chainlit import Step
from pydantic import BaseModel, Field
from llama_index.core.workflow import Event, Workflow, step
class SelectedTables(BaseModel):
"""SQL sorguları için tablo seçimi için Pydantic modeli"""
reasoning_steps: list[str] = Field(
description="Bu tabloların seçilme nedeninin açıklaması"
)
tables: list[str] = Field(
description="Sorguyu yanıtlamak için ilgili tablo isimlerinin listesi"
)
class TableSelectEvent(Event):
"""Tablo seçiminin temsil edildiği LlamaIndex WorkFlow olayı"""
tables: list[str]
class AssistantFlow(Workflow):
llm = llm = NVIDIA("meta/llama-3.1-70b-instruct")
...
@step
def select_tables(self, query_event):
with Step(name="Table Selector") as step:
selected = self.llm.structured_predict(
SelectedTables,
table_selection_prompt,
query=query_event.query
)
# Çıktıyı Chainlit UI'sinde görünür kılar
step.output = {
"selected_tables": selected.tables,
"reasoning_steps": selected.reasoning_steps,
}
return TableSelectEvent(selected.tables)
# Sonuçlar daha sonraki adımlarda SQL veri sorgulamak için kullanılır
Daha fazla bilgi için, çoklu veri kaynakları ile RAG tabanlı soru ve cevap iş akışlarını oluşturmaya dair teknik bir derin dalışta, detayları bulabilirsiniz. Ayrıca bu konuda önemli işlevselliği örnekleyen GitHub kodu da bulunmaktadır.
İlk İlerlemenin Göstergeleri
Alıntı kartları (Şekil 4), uzun süren üçüncü parti API çağrıları sırasında gerçek zamanlı geri bildirim sağlayarak, kullanıcı deneyimini artırır ve yanıtlar oluşturulurken kullanıcıyı bilgilendirilmiş ve meşgul tutar.
Tüm AI satış asistanı sistemi, temel mimari bileşenlerinin birleşmesini teşkil eden Şekil 5 ile görselleştirilmiştir. Veri kaynakları, alım hatları ve CRM ile ilgili yapılandırmalar üzerinde nasıl işlediğini göstermektedir.
Yanlışlar ve Takaslar: Yenilik ile Kullanılabilirliği Dengelemek
AI satış asistanı geliştirirken, yeniliği ve kullanıcı deneyimini dengelerken birkaç zorlukla karşılaştık:
- Gecikme ve alakalılık
- Veri güncelliği
- Entegrasyon karmaşıklığı
- Dağıtılmış iş yükleri
Gecikme ve Alakalı Olma
Hızlı yanıt vermek, kullanıcı deneyimi açısından kritik öneme sahiptir ama doğru ve ilgili yanıtlar oluşturmak zaman alıcı olabilir.
Buna karşılık olarak, web sayfalarının alımı ve ayrıştırılması için maksimum 8 saniye, Perplexity API’den gelen sonuçlar için ise 15 saniye şeklinde katı zaman limitleri getirdik.
Ayrıca, yanıtlar oluşturulurken RAG kaynaklarının gerçek zamanlı özetlerini veren UI unsurları ekledik; böylece kullanıcılar bilgilendirilmiş ve meşgul kaldı.
Veri Güncelliği
Güncel bilgi tabanı sağlamak kaynak yoğun bir süreçtir. Şu anda bir yıllık bir geriye dönük süreç uygulamakta ve daha iyi tanımlayıcı ve eski içerikleri kaldırma stratejileri araştırmaktayız.
Entegrasyon Karmaşıklığı
PDF’ler, sunumlar, sesli ve video dosyalarını da içeren çeşitli veri kaynakları ve formatları ile entegrasyon sağlamak, özel çıkarım ve işleme iş akışları gerektirdi. Bu çaba, kapsamlı ve doğru bilgi sağlamak açısından kritik öneme sahipti.
Dağıtılmış İş Yükleri
Uzun süren görevler, SQL sorguları gibi, kısmen dağıtılmış bir yaklaşım ve mesaj kuyruğu aracılığıyla yönetilmektedir. Bu, performansta bir düşüş olmadan gerçek zamanlı etkileşimler sağlamaktadır.
Özet
NVIDIA Satış ekibi için AI satış asistanı oluşturmak, hem teknik açıdan hem de öğrenim açısından ödüllendirici bir zorluktu. RAG tabanlı bir mimari kullanarak, çeşitli bilgi kaynaklarını entegre ettik, sorgu yönetimini optimize ettik ve dinamik, veri yoğun bir ortamın taleplerine uygun yüksek performans ve doğruluk sağladık.
Gelişmiş LLM’ler, yapılandırılmış iş akışları ve gerçek zamanlı veri alımını bir araya getirerek, AI satış asistanı Satış ekibine anında ve özel içgörüler sunarken, iş akış verimliliğini ve kullanıcı etkileşimini de önemli ölçüde artırdırıyor. Bu proje, hızlı tempolu alanlarda karmaşık karar destek sistemleri ile başa çıkmak isteyen geliştiriciler için bir model niteliğindedir.
Gelecek iyileştirmelerimiz arasında ise gerçek zamanlı veri güncellemeleri için stratejilerin geliştirilmesi, yeni sistemler ve formatlarla entegrasyonun genişletilmesi, veri güvenliğinin artırılması ve multimedya içeriğinin daha etkili bir şekilde yönetimi bulunmaktadır. Ayrıca bireysel kullanıcı ihtiyaçlarına daha iyi şekilde yanıt vermek için gelişmiş kişiselleştirme özelliklerini araştırmaktayız.
Hikayemizden ilham almak ister misiniz? NVIDIA, kendi AI çözümlerinizi tasarlayıp uygulamanız için kapsamlı bir yaratıcı AI araçları ve kaynakları sunmaktadır. Benzer fikirleri paylaşmak ve öğrenmek üzere geliştirici topluluğumuza katılın!