“NVIDIA NIM ile Vanna’da Hızlı Analiz İçin Metin- SQL Çıkarma Sürecini Hızlandırma”

from pymilvus import MilvusClient, model
from vanna.milvus import Milvus_VectorStore
from vanna.openai import OpenAI_Chat
from openai import OpenAI

# NVIDIA API anahtarını ayarlayın
nvidia_api_key = '...'

# Vanna Sınıfını tanımlayın
class VannaMilvus(Milvus_VectorStore, OpenAI_Chat):
    def __init__(self, llm_client, config=None):
        Milvus_VectorStore.__init__(self, config=config)
        OpenAI_Chat.__init__(self, client=llm_client, config=config)

def get_openai_client():
    client = OpenAI(
        base_url = "https://integrate.api.nvidia.com/v1",
        api_key = nvidia_api_key
    )
    return client

llm_client = get_openai_client()

class EmbeddingWrapper:
    def __init__(self, embedder):
        self.embedder = embedder

    def encode_documents(self, texts):
        result = self.embedder.embed_documents(texts)
        return [np.array(r) for r in result]

    def encode_queries(self, texts):
        embeddings = []
        for text in texts:
            embeddings.append(self.embedder.embed_query(text))
        return embeddings

vanna_embedder = EmbeddingWrapper(nvidia_embedder)

milvus_uri = "./milvus_nvidia.db"
milvus_client_nvidia = MilvusClient(uri=milvus_uri)

# SQL üretimi için kullanılacak LLM'i belirtin
model_name = "nvidia/llama-3.1-70b-instruct"

# Vanna örneği için yapılandırmayı belirleyin
config_nvidia = {
        "model": model_name,
        "milvus_client": milvus_client_nvidia,
        "embedding_function": vanna_embedder,
        "n_results": 2,  # Milvus'tan dönecek sonuç sayısı.
    }

vn_nvidia = VannaMilvus(llm_client, config=config_nvidia)

import sqlite3
import pandas as pd

# SQLite veritabanına uzantıyı belirtin
sqlite_path = 'steam_data.db'

# SQLite veritabanına bağlanın
sql_connect = sqlite3.connect(sqlite_path)
c = sql_connect.cursor()

# Tabloları oluşturun
init_sqls = """
CREATE TABLE IF NOT EXISTS games (
    app_id INTEGER PRIMARY KEY,
    name TEXT,
    release_date TEXT,
    price REAL,
    short_description TEXT,
    positive INTEGER,
    negative INTEGER,
    min_owners INTEGER,
    max_owners INTEGER,
    hltb_single REAL
);

CREATE TABLE IF NOT EXISTS categories (
    app_id INTEGER,
    categories TEXT,
    FOREIGN KEY (app_id) REFERENCES games(app_id)
);

CREATE TABLE IF NOT EXISTS tags (
    app_id INTEGER,
    tags TEXT,
    tag_frequencies TEXT,
    FOREIGN KEY (app_id) REFERENCES games(app_id)
);
"""

for sql in init_sqls.split(";"):
    c.execute(sql)

# CSV dosyalarını okuyun
games_df = pd.read_csv('processed_dataset/games.csv')
categories_df = pd.read_csv('processed_dataset/categories.csv')
tags_df = pd.read_csv('processed_dataset/tags.csv')

# Verileri tablolara ekleyin
games_df.to_sql('games', sql_connect, if_exists='append', index=False)
categories_df.to_sql('categories', sql_connect, if_exists='append', index=False)
tags_df.to_sql('tags', sql_connect, if_exists='append', index=False)

sql_connect.commit()

# SQLite veritabanına bağlanın
vn_nvidia.connect_to_sqlite(sqlite_path)

# Mevcut eğitim verilerini kaldırın
existing_training_data = vn_nvidia.get_training_data()
if len(existing_training_data) > 0:
    for _, training_data in existing_training_data.iterrows():
        vn_nvidia.remove_training_data(training_data["id"])

# SQLite veritabanının DDL'sini alın
df_ddl = vn_nvidia.run_sql("SELECT type, sql FROM sqlite_master WHERE sql is not null")

# Modeli DDL verisi ile eğitin
for ddl in df_ddl["sql"].to_list():
    vn_nvidia.train(ddl=ddl)

# İş terminolojisi veya tanımları hakkında belge ekleyin.
vn_nvidia.train(
    documentation="""
    Bu veri seti, oyun trendleri hakkında soruları yanıtlamak için kullanılmaktadır.
    """
)

# Tablo hakkında belgeler ekleyin
vn_nvidia.train(
    documentation="""
    games tablosu, oyunlar hakkında bilgileri içermektedir.
    app_id, oyunun benzersiz tanımlayıcısıdır. Bu bir birincil anahtardır.
    adı, oyunun adıdır.
    release_date, oyunun yayımlandığı tarihtir.
    fiyat, oyunun fiyatıdır. USD cinsindendir, ücretsizse 0.0'dır.
    kısa_ açıklama, oyunun kısa bir tanımıdır.
    olumlu, olumlu yorum veya oy sayısıdır.
    olumsuz, olumsuz yorum veya oy sayısıdır.
    min_owners, en az sahip sayısıdır. max_owners ile birlikte kullanılarak oyuncu tabanını tahmin etmek için kullanılır.
    max_owners, en fazla sahip sayısıdır. min_owners ile birlikte kullanılarak oyuncu tabanını tahmin etmek için kullanılır.
    hltb_single, oyunun ortalama oyun süresidir. Bu bir tahmindir.
    """
)

vn_nvidia.train(
    documentation="""
    categories tablosu, oyunların kategorileri hakkında bilgileri içermektedir.
    app_id, oyunun benzersiz tanımlayıcısıdır.
    kategoriler, oyunun kategorileri.
    app_id, games tablosuna bir yabancı anahtardır.
    """
)

vn_nvidia.train(
    documentation="""
    tags tablosu, oyunların etiketleri hakkında bilgileri içermektedir.
    app_id, oyunun benzersiz tanımlayıcısıdır.
    etiketler, oyunun etiketleri. Bunlar kullanıcı tanımlıdır.
    etiket_frekansları, etiketlerin sıklıklarıdır.
    app_id, games tablosuna bir yabancı anahtardır.
    """
)

training_data = vn_nvidia.get_training_data()
training_data

sql = vn_nvidia.generate_sql("Hangi 5 oyun en çok olumlu yoruma sahip ve sayısı nedir?")
vn_nvidia.run_sql(sql)

sql = vn_nvidia.generate_sql("Hangi bağımsız oyun en büyük oyuncu tabanına sahip?")
vn_nvidia.run_sql(sql)