Yapay zeka geliştirme, modern yazılım mühendisliğinin temel bir parçası haline gelmiştir. NVIDIA, yapay zeka denemelerine başlamak isteyen her geliştiriciye optimize edilmiş hızlandırılmış hesaplama sunma konusunda kararlıdır.
Bunun için, NVIDIA Launchables adı verilen hızlandırılmış hesaplama yığınını daha erişilebilir hale getirmeye çalışıyoruz. Launchables, referans iş akışlarını yaygın kullanıma sunarak hemen inşa etmeye başlamanızı sağlayan yapılandırılmış GPU hesaplama ortamlarıdır.
NVIDIA Launchables Nedir?
NVIDIA Launchables, önceden belirlenmiş yapılandırmalara sahip bir tıklama ile dağıtılabilen GPU geliştirme ortamlarıdır. Bu şablonlar, ihtiyacınız olan tüm temel bileşenleri içermektedir:
- NVIDIA GPU’ları
- Python
- CUDA
- Docker konteynerleri
- NVIDIA NIM, NVIDIA NeMo ve NVIDIA Omniverse gibi geliştirme çerçeveleri
- SDK’lar
- Bağımlılıklar
- Çevre yapılandırmaları
Ayrıca, Launchables, otomatik olarak ayarlanmış ve bir GPU örneğine eklenmiş GitHub depo veya Jupyter not defterleri de içerebilir.
Launchables’ın Avantajları
Takımların projelerde iş birliği yaparken veya çoklu ortamlar arasında çalışan bireysel geliştiriciler için Launchables, manuel yapılandırma ve ek yük olmaksızın tutarlı ve yeniden üretilebilir kurulumlar sağlar:
- Talep üzerine NVIDIA GPU’larına erişim: Belirli bir GPU olmadan bile bir referans iş akışını değerlendirmeye başlayabilirsiniz.
- Topluluk: Başkalarının kolaylıkla dağıtabileceği bir ortam yapılandırın. Bu, demoların paylaşımı, eğitim ve referans kod örnekleriyle öğretim için faydalıdır. Yaratıcılar, bir Launchable’ın ne kadar görüntülendiği veya dağıtıldığı hakkında metrikler alır.
Launchable Örnekleri
Aşağıda, Launchables’ın nerelerde kullanışlı olduğunu gösteren bazı senaryolar bulunmaktadır:
- GPU optimizasyonu için Megatron-LM kurulumunun yapılması
- Çeşitli multimodal PDF veri çıkarımı için NVIDIA AI Blueprint’ın çalıştırılması
- NVIDIA TensorRT-LLM ile inference için Llama3-8B’nin dağıtılması
Megatron-LM İçin GPU Optimizasyonu Kurulumu
Farklı paralellik teknikleri ile deneylere başlamadan önce, PyTorch, CUDA ve güçlü bir GPU kurulumuna ihtiyacınız vardır.
Megatron-LM Launchable’ı ile, PyTorch, CUDA ve Megatron-LM kurulumu yapılmış bir bulut ortağına ait 8xH100 GPU düğüm ortamına erişim sahibi olursunuz. Artık farklı parametreleri, örneğin --tensor-model-parallel-size ve --pipeline-model-parallel-size, ayarlayarak hangi paralellik tekniğinin model boyutunuza ve ön eğitim gereksinimlerinize en uygun olduğunu belirleyebilirsiniz.
Multimodal PDF Veri Çıkarma İçin NVIDIA AI Blueprint Çalıştırılması
Yapısal olmayan PDF kaynakları genellikle metin, tablolar, grafikler ve görüntüler içerir. Bu verilerin çıkarılması, RAG gibi yenilikçi yapay zeka uygulamaları için önemlidir.
pdf-ingest-blueprint Launchable’ı ile, işletme ortakları için bir PDF veri çıkarım hattı kurabilirsiniz. NVIDIA-Ingest mikroservisi ve diğer çeşitli NIM mikroservisleri, bu Launchable ile dağıtılarak, büyük PDF veri kümesi üzerinde belge ayırma işlemlerini paralelleştirmek için üretim kalitesinde bir pipeline oluşturabilirsiniz.
Tensorrt-LLM ile Llama3-8B’nin İnferansı İçin Dağıtım
Run Llama3 Inference with TRT-LLM Launchable’ı, düşük gecikmeli inference için TensorRT-LLM ile Llama3’ü dağıtma yöntemini gösteren bir Jupyter not defteri kılavuzu içerir. Modeli, ONNX ara temsiline dönüştürerek, optimize edilmiş plugin’ler kullanarak yapılandırma oluşturur ve TensorRT motorunu deploy ederek veri girişi üzerinde inference gerçekleştirir.
Reproduktivite Sağlayarak Daha İyi Sonuçlar Elde Etme
Erken kullanıcı geri bildirimlerini topladıktan sonra, Launchables’ın geliştirme süreçlerinde sunduğu bazı önemli teknik yetenekler bulunmaktadır:
- Gerçek bir tıklamayla dağıtım
- Ortam tutarlılığı
- Esnek yapılandırma seçenekleri
- İş birliği için tasarlanmış
Gerçek Bir Tıklamayla Dağıtım
Geliştirme ortamı kurulumları genellikle bağımlılıkları debug etmek, GPU sürücülerini yapılandırmak ve çerçevelerin uyumluluğunu test etmek için saatler sürebilir.
Launchables, önceden yapılandırılmış ortamlar sunarak bunu sadece bir tıklama sürecine indirger. Artık hemen kod yazmaya başlayabilir, altyapıyla uğraşmanıza gerek kalmaz.
Ortam Tutarlılığı
Ortam farklılıkları, yapay zeka geliştirme ekipleri için başlıca hata ayıklama nedenlerinden biridir.
Launchables, CUDA sürücülerinden çerçeve sürümlerine kadar geliştirme yığınınızı tek bir versiyona alınmasını sağlayarak bu sorunu çözmektedir. Bir Launchable URL’si paylaştığınızda, son kullanıcıların aynı geliştirme ortamını almak için garanti altına alıyorsunuz, böylece “Benim bilgisayarımda çalıştı” durumlarının önüne geçmiş oluyorsunuz.
Esnek Yapılandırma Seçenekleri
Farklı yapay zeka iş yükleri, farklı donanım ve yazılım yapılandırmaları gerektirir.
Launchables, ortamın kişiselleştirilmesine olanak tanıyarak bu durumu destekler:
- VRAAM ihtiyaçlarınıza bağlı olarak belirli NVIDIA GPU’larını (T4’ten H100’e) seçin.
- Özelleşmiş Python ve CUDA sürüm gereksinimlerine sahip konteyner yapılandırmalarını tanımlayın.
- Belirli GitHub depolarını veya Jupyter not defterlerini, GPU örneğinizde otomatik olarak eklemek için içe aktarın.
İş Birliği İçin Tasarlanmış
Launchables, her birinin tek bir URL ile tam geliştirici ortamlarını paylaşmalarına olanak tanıyarak iş birliğini kolaylaştırır. Açık kaynak yöneticileri, eğitimciler veya dahili bir projeyi paylaşan ekip arkadaşları, kullanım metriklerini takip ederek başkalarının ortamı nasıl kullandığını anlayabilirler.
Ayrıca bu, araştırma ortamlarında yeniden üretilebilirliği sağlamak ve dağıtılmış ekipler arasında tutarlı eğitim ortamları oluşturmak için oldukça değerlidir.
Bir Launchable Oluşturma
Bir Launchable oluşturmak oldukça basittir:
- Hesaplama kaynaklarınızı seçin: Çeşitli NVIDIA GPU’larından birini seçin ve kaynaklarınızı özelleştirin.
- Ortamınızı yapılandırın: Belirli Python ve CUDA sürümleriyle bir sanal makine veya konteyner yapılandırmasını seçin.
- Kodunuzu ekleyin: Jupyter not defterlerinizi veya GitHub depolarınızı GPU ortamınıza ekleyin.
- Paylaşın ve dağıtın: Diğerlerinin hemen aynı ortamı dağıtabilmesi için paylaşılabilir bir bağlantı oluşturun.
Bunu gerçekleştirdikten sonra kazanacaklarınız:
- Paylaşılabilir bir URL: Bunu başkalarıyla paylaşın veya bir YouTube video gibi bir varlık aracılığıyla paylaşın.
- Bir rozet için Markdown kodu: GitHub README’sine, Jupyter defterinize entegre edebileceğiniz bir tıkladığınızda dağıtım sağlar.
URL’yi başkalarıyla paylaştıkça, toplamda kaç kez görüntülendiğine ve dağıtıldığına dair metrikleri de görüntüleyebilirsiniz.
Bugün Tek Tıklamayla Dağıtımlara Başlayın
Launchables; GPU geliştirme ortamlarını paylaşmanın ve yeniden üretmenin geleneksel zorluklarını azaltarak, tam yapılandırmaları paketleme, versiyonlama ve anında dağıtma imkanı tanır. Ekipler, altyapı kurulumlarına daha az zaman harcayarak yapay zeka uygulamaları geliştirmeye daha fazla odaklanabilirler.
NVIDIA, yeni NIM mikroservisleri ve diğer yazılımlar, SDK’lar ve kütüphaneler piyasaya sürüldükçe build.nvidia.com üzerinde daha fazla Launchables sağlamaya devam etmektedir. Hadi, bunları keşfedelim!
