Yapay Zeka (YZ), merkezileşmiş bulut sistemlerinden ve veri merkezlerinden hızla çıkıyor ve artık güçlü bir araç olarak profesyonel iş istasyonlarında doğrudan kullanılabilir hale geliyor. İleri düzey donanım ve optimize edilmiş yazılımlar sayesinde, karmaşık YZ modelleri üzerinde masa başında veya hareket halindeyken çalışabilir, deneyler yapabilirsiniz. Yerel YZ geliştirme dünyasına hoş geldiniz!
Bir iş istasyonunda YZ’yi yerel olarak çalıştırmanın geliştiriciler ve organizasyonlar için birçok avantajı bulunmaktadır – bu avantajlar arasında artan veri gizliliği ve güvenliği, hassas verilerin kurum içinde kalması, sürekli bulut kullanımına kıyasla maliyet tasarrufu, uygulamalar için çevrimdışı çalışma yetenekleri ve uygulama geliştirme sürecinde eşsiz bir deneyim yer alıyor. Güçlü ve erişilebilir yerel YZ’ye olan bu kayış, NVIDIA RTX PRO Blackwell serisi gibi yüksek performanslı donanımlar ve onların yeteneklerini kullanmak için geliştirilmiş optimize edilmiş yazılım ekosistemiyle destekleniyor.
Bu blog yazısında, profesyonel iş akışları için tasarlanmış NVIDIA ekosistemini kullanarak yönetilebilir bir yerel YZ projesi seçmek için rehberlik edeceğiz.
NVIDIA RTX PRO İş İstasyonunuzu Anlayın
Profesyonel YZ hızlandırmasının merkezinde, NVIDIA RTX profesyonel GPU’ları bulunuyor. Bu grafik kartları, her biri 96 GB’a kadar VRAM, kurumsal düzey sürücüler, ISV sertifikaları ve geliştirilmiş NVIDIA Tensor Core performansı ile YZ için saniyede 4,000 trilyon işlem gerçekleştirebiliyor.
Bu özellikler, daha büyük veri setlerini işlemek, daha karmaşık modelleri eğitmek ve sofistike YZ sonuçlarını çalıştırmak için idealdir. Düşük hassasiyet türlerinden FP4 ve INT8’e kadar, daha yüksek hassasiyet olan FP16 ve FP32 gibi bir dizi gelişmiş veri formatını desteklemesi, YZ modellerinin verimli çalışabilmesi için çok önemlidir. Bu, hızlı geliştirme döngüleri için kritik bir unsurdur.
Projenizi Tanımlayın
RTX PRO iş istasyonunuzla, sıradaki adım yönetilebilir bir proje seçmektir. Dikkate almanız gereken bazı faktörler şunlardır:
- Odak alanı: Gelişmiş metin analizi, yüksek çözünürlüklü görüntü işleme veya belirli veri türleri üretimi gibi bir temel YZ yeteneğini ustalıkla geliştirmeye odaklanın.
- Hedeflerinizi belirleyin: Veri analizi otomasyonu, görsel iş akışlarını geliştirme veya özel içerik oluşturma gibi ilgi alanlarınıza, işinize veya sektöre uygun bir alan seçin.
- Kaynak değerlendirmesi: Proje hedeflerinizin, kullanmakta olduğunuz iş istasyonunun (özellikle GPU VRAM, CPU gücü ve depolama) yetenekleri ile uyumlu olmasını sağlayın ve mevcut YZ beceri seviyenizi göz önünde bulundurun. Tamamlayıp öğrenebileceğiniz bir projeyle başlayın.
NVIDIA RTX PRO iş istasyonlarıyla başlayabileceğiniz bazı proje fikirlerini aşağıda bulabilirsiniz.
Proje 1: YZ Destekli Chatbot
Yerel YZ chatbot projeniz için doğru başlangıç noktasını seçmek önemlidir. Bu chatbotların belirli veriler için faydalı olmasını sağlayan temel teknoloji Retrieve-Augmented Generation (RAG)’dir. RAG, chatbotun altyapısındaki büyük dil modelinin (LLM) belirli belgeleri veya bilgi tabanlarını erişmesini ve referans göstermesini sağlar ve böylece cevaplarınızın doğru, alakalı ve bağlamınıza dayalı olmasını sağlar. Bu, LLM’nin genel eğitim verilerinin ötesindedir.
NVIDIA ChatRTX ile no-code (kod yazmadan) bir RAG chatbot oluşturabilirsiniz. Tek yapmanız gereken uygulamayı indirmek, yerel dosya klasörlerinize (proje belgeleri veya notlar gibi) yönlendirmek, menüsünden uyumlu bir model seçmek ve sorular sormaya başlamaktır. ChatRTX, ilgili parçaları bulup LLM’ye iletme işlemini otomatik olarak yönetir.
Hazır bir şekilde daha özelleştirilmiş RAG chatbot’u oluşturmak istediğinizde, AI Workbench gelişim ortamınızı ayarlamanıza yardımcı olacaktır. Windows veya Linux sisteminiz için AI Workbench kurulum dosyasını indirin. Gerekli bağımlılıkların (Git gibi), konteyner yazılımlarının (Docker veya Podman gibi) ve hatta Linux işletim sisteminde GPU sürücülerinin yönetimini sağlar. Windows kullanıcıları sürücüleri NVIDIA Sürücüleri sayfasından manuel olarak indirmelidir.
Gelişimi hızlandırmak için, çoklu mod sanal asistan projesi gibi önceden oluşturulmuş örneklerden yararlanabilirsiniz. Bu projeyi AI Workbench içinde klonlayarak, özel belgelerinizi, görüntülerinizi veya videolarınızı entegre etmeye başlayabileceğiniz işlevsel bir RAG hattına başlangıç yapmış olursunuz. Bu şekilde özel veri alma yöntemlerini tanımlayıp, farklı LLM’leri yönetebilir ve tasarımı özelleştirerek gerçekten kişiselleştirilmiş bir konuşma YZ deneyimi elde edebilirsiniz.
Yerel olarak çalıştırılan YZ chatbotlarının belirli uygulamaları, çeşitli sektörlerde ortaya çıkıyor. Mimarlık, mühendislik ve inşaat (AEC) alanında, firmalar tarihi teklif talepleri (RFP’ler) ve proje belgeleri üzerinde eğitim almış özel chatbotlarla yeni RFP’leri özetleme veya geçmiş yanıtlar içinde hızlıca yanıt bulma süreçlerini kolaylaştırıyor. Finans hizmetleri sektöründe ise, uyum ekipleri, geniş düzenleyici arşivler ve iç politika belgeleri ile eğitim almış yerel chatbotlar kullanarak gereksinimleri hızlıca sorgulayıp doğrulama yapabiliyor ve hassas verilerini yerel ortamda tutabiliyor.
Proje 2: PDF’den Podcast’e Dönüşüm
PDF belgelerinizi, örneğin araştırma makaleleri veya kılavuzları, etkileyici sesli içeriklere dönüştürün. Bu PDF’den podcast’e dönüşüm özelliği, çeşitli alanlarda yerel olarak bir iş istasyonunda çalışır ve birçok avantaj sunar. Örneğin, hukuki profesyoneller, uzun, gizli dava dosyalarını veya keşif belgelerini sesli hale getirerek gözden geçirebilir. Böylece hassas müşteri verileri yerel makinede güvenli kalır.
Mühendislik veya ilaç araştırma ve geliştirme ekipleri, yoğun teknik spesifikasyonları, araştırma belgelerini veya iç kılavuzları sesli formatlara dönüştürebilir. Böylece uzmanlar, karmaşık bilgileri multitasking yaparak veya ekranlarından uzakken daha rahatlıkla tüketebilir. Tüm bu süreç, mülkiyetin korunmasını sağlar.
AI Workbench arayüzü içinde bu projeyi GitHub deposundan klonlayarak başlayabilirsiniz. AI Workbench, konteyner ortamının yapılandırılmasını ve GPU erişiminin otomatik yapılandırılmasını kolaylaştırır.
Varsayılan uygulama, bulut tabanlı NVIDIA NIM uç noktalarını kullanır. Ancak, AI Workbench, NIM mikro hizmetleri dahil olmak üzere, temel bileşenleri doğrudan yerel RTX PRO iş istasyonunuzda çalıştırma esnekliği sunar. Bu yöntem, mülkiyetinize ait PDF verilerinin güvenli ve özel kalmasını sağlar; böylece tüm işleme yerel makinenizde gerçekleşir ve buluta gönderilmez.
Bu şablon esnek ve özelleştirilebilir; branding, analiz, gerçek zamanlı çeviri veya dijital insan arayüzü gibi ek işlevsellikler ekleyerek etkileşimi derinleştirebilirsiniz. PDF’den podcast’e dönüşüm hattını, güçlü donanımınız üzerinde doğrudan test edebilir, prototipleştirebilir ve özelleştirebilirsiniz.
Proje 3: Video Arama ve Özetleme Ajanı
Otomatik olarak video içeriği arama ve özetleme yeteneği son derece değerlidir. Spor özetlerinin, güvenlik görüntülerinin, toplantı arşivlerinin veya eğitim derslerinin bulunduğu devasa kayıt kütüphanelerindeki daha önce saklı kalmış bilgileri ortaya çıkarmak, sayısız manuallll inceleme süresinden tasarruf sağlar.
Kendi video arama ve özetleme (VSS) ajanınızı yerel olarak RTX PRO iş istasyonunuzda oluşturabilirsiniz. Bu, NVIDIA AI Blueprint’ı kullanarak yapılabilir. Bu şablon, video alma, görsel-dil anlama, LLM mantığı ve RAG gibi ana işlevler için NIM mikro hizmetlerini kullanan kapsamlı bir referans mimarisi sağlar.
Şablonun varsayılan yapılandırması, meta/llama-3.1-70b-instruct LLM modelini kullanır. Bu 70B parametreli modelin yerel olarak çalıştırılması, 140 GB VRAM veya daha fazlasını gerektirir ve bu, RTX PRO iş istasyonunun kapasitesini aşabilir. RTX PRO GPU’ları üzerinde pratik yerel dağıtım için, şablon yapılandırmasını değiştirmeli ve daha küçük olan meta/llama-3.1-8b-instruct sürümünü kullanmalısınız. Bu model, doğrudan iş istasyonunuzda çalışan ilginç cezalarım yapılması gereken daha düşük bellek gereksinimleri ile uyumludur.
Yeni YZ Projeleriyle Başlayın
İlk YZ projenize başlamak için, profesyonel ihtiyaçlarınıza uygun bir proje seçin, yönetilebilir adımlarla ilerleyin ve mevcut NVIDIA kaynaklarını, özellikle Geliştirici programını kullandığınızdan emin olun.
İlk yerel YZ projenize başlamak, cutting-edge (öncü) teknolojiden faydalanmak isteyen geliştiriciler için stratejik bir adımdır. NVIDIA PRO RTX iş istasyonları, NVIDIA AI Workbench ve üretim kalitesinde araçlar ve destek sunan NVIDIA AI Enterprise yazılımları ile kendinizi tam anlamıyla donanmış hissedeceksiniz.
