Yapay zeka tabanlı uygulamaların dönemi başladı. Geliştiriciler, ileri düzey otonom ve fiziksel yapay zeka sistemleri inşa ediyor, ancak coğrafi farklılıklar ve GPU sağlayıcıları arasında ölçeklenme hala bir zorluk teşkil ediyor.
NVIDIA, bu sorunu çözmek için DGX Cloud Lepton platformunu geliştirdi. Bu entegre AI platformu ve hesaplama pazarı, geliştiricilerin dünya genelindeki bulut sağlayıcılarından on binlerce GPU’ya erişim sağlamasına olanak tanıyor. Artık erken erişim için mevcut.
DGX Cloud Lepton, AI geliştiricilerinin verimliliğini artırmak için kritik bir ihtiyacı karşılıyor; NVIDIA hesaplama ekosistemindeki GPU kapasitesine ve AI hizmetlerine birleşik erişim sunarak hız kazandırıyor. Bu platform, NVIDIA yazılım yığınıyla —NVIDIA NIM ve NVIDIA NeMo dahil olmak üzere— mükemmel bir şekilde bütünleşiyor ve yakında NVIDIA Blueprints ve NVIDIA Cloud Functions (NVCF) desteğiyle entegre olacak. Geliştiricilerin AI uygulamaları inşa etmesini, eğitmesini ve dağıtmasını hızlı ve ölçeklenebilir hale getiriyor.
Geliştiriciler, build.nvidia.com kullanarak AI geliştirme sürecine hızlıca başlayabilirler. Anında NVIDIA NIM mikro hizmetlerine ve önceden hazırlanmış iş akışlarına erişim sağlar. Eğitim, ince ayar veya çıkarım aşamalarını coğrafyalar ve sağlayıcılar arasında ölçeklendirmeye geldiğinde, NVIDIA DGX Cloud Lepton güvenilir bir üretim hesaplama altyapısı ve orkestrasyon sunar.
Ayrıca, global bulut sağlayıcıları —Amazon Web Services, Firebird, Fluidstack, Mistral AI, Nebius, Nscale, Scaleway ve Together AI— DGX Cloud Lepton içinde NVIDIA Blackwell ve diğer GPU’ları sunmaya başladılar. Hugging Face, AI araştırmacılarının model eğitimi için ölçeklenebilir hesaplamaya erişimini genişletmek amacıyla DGX Cloud Lepton’u Eğitim Kümesi Hizmetine entegre etmeyi planlıyor. Bu şirketler, CoreWeave, Crusoe, Firmus, Foxconn, GMI Cloud, Lambda ve Yotta Data Services gibi mevcut ortakları da kapsıyor. Yakında daha fazlasını göreceğiz.
Geliştiriciler, ortaklardan kendi kapasitelerini getirerek hesaplama kaynaklarına erişebilirler. Bu esneklik, sözel AI girişimleri ve stratejik veri yereliliği gereksinimlerini destekler.
Bu yazıda, NVIDIA DGX Cloud Lepton’un geliştiricilere AI uygulamaları oluşturup ölçeklendirme süreçlerini nasıl kolaylaştırdığı açıklanmaktadır.
Geliştiriciler için Temel Faydalar
Büyük dil modelleri eğitmek ya da gerçek zamanlı çıkarım sağlamak istiyorsanız, DGX Cloud Lepton ile altyapınızı yönetmek için daha az zaman harcayıp, daha fazla yaratım yapabilirsiniz.
1. Basit GPU keşfi: Tek bir platform üzerinden bulut sağlayıcılar arasında GPU kaynaklarını keşfedin ve tahsis edin. Bölgeye, maliyete ve performansa dayalı olarak optimal iş yükü yerleşimini belirleyin ve tanıdık AI araçları üzerinde standardize edin.
2. Tutarlı geliştirme ortamları: Temel altyapıdan bağımsız olarak standart bir geliştirme ortamında çalışmanın keyfini çıkarın.
3. Basitleştirilmiş çoklu bulut yönetimi: DGX Cloud Lepton, operasyonel silo ve sürtüşmeleri azaltarak izahı ve ölçeklenmeyi çoklu bulut sağlayıcıları arasında sorunsuz hale getirir.
4. Çoklu bölge ve veri egemenliği desteği: Veri ikamet gereksinimlerini karşılamak için belirli bölgelerde GPU’lara erişim sağlayın. İş yüklerinin tüketim noktasına yakın bir şekilde dağıtılması performansı artırırken gecikmeyi azaltır.
5. Otomatik güvenilirlik ve dayanıklılık: DGX Cloud Lepton, stabil ve öngörülebilir performansı sağlamak için GPU sağlığını sürekli izleyen, akıllı iş yükü takibi ve hata yalıtımı sağlayan GPUd kullanmaktadır.
DGX Cloud Lepton Özellikleri
Temel Yetenekler
- Geliştirme Podları: Geliştirici podları, Jupyter not defterleri, SSH ve Visual Studio Code ile etkileşimli AI/ML geliştirme desteği sunar. Prototipleme, hata ayıklama ve model deneyleri için idealdir.
- Toplu İşlemler: Toplu işlemler, birden fazla düğümde model eğitimi ve veri ön işleme gibi büyük ölçekli, etkileşim dışı iş yüklerini çalıştırmak için uygundur. CPU, GPU ve bellek gereksinimlerini belirtebilir, düğüm gruplarını seçebilir ve GPU kullanım durumu, bellek tüketimi ve GPU sıcaklığı gibi gerçek zamanlı metrikleri gözlemleyebilirsiniz.
- Çıkarma Uç Noktaları: Temel modeller, ince ayar yapılmış modeller ve özel olarak oluşturulmuş modeller dahil geniş bir model yelpazesini dağıtabilir ve yönetebilirsiniz. Çıkarma uç noktaları, NVIDIA NIM’i destekleyebilir veya kendi konteynerinizi getirebilir, bu da esnek dağıtım seçenekleri sunar. Sistem, talebe bağlı olarak model kopyalarını otomatik olarak ölçeklendirerek yüksek erişilebilirlik ve performans sağlar.
İzleme ve Gözlemleme
- Sağlık İzleme: GPU ve sistem sağlığını gerçek zamanlı olarak, GPUd, NCCL benchmarkları ve proaktif uyarılar ile devamlı takip edin. Tüm düğümler, NCCL testi ve GPU yanma testi gibi titiz doğrulama süreçlerinden geçmektedir. Platform, sağlıksız düğümleri zamanlayıcıdan izole ederek bozulmayı önler. Gerçek zamanlı telemetri ve özelleştirilebilir otomatik kurtarma iş akışları, operasyonel istikrarı ve iş yükü dayanıklılığını sürdürmeye yardımcı olur.
- Özel çalışma alanı ayarları: Kurumsal gereksinimleri karşılamak için kota, erişim kontrolleri, gizli yönetimi, faturalandırma ayarları ve konteyner kayıt defterlerini kolayca yapılandırın.
- Gözlemleme Araçları: Gerçek zamanlı olarak günlükleri akıtın, iş döngülerini yönetin ve platform genelinde operasyonel kontrol ve görünürlük sağlamak için API etkinliğini güvenli bir şekilde inceleyin.
DGX Cloud Lepton ile Başlangıç
Tasarımlarınızın ve uygulamalarınızın yapısını oluştururken, tüm bu süreçleri web kullanıcı arayüzleri, komut satırı arayüzleri ve SDK’lar ile tutarlı bir deneyim üzerinden yürütebilirsiniz. İlk kez giriş yaptığınızda, her müşteri bir çalışma alanı alır; bu, GPU kaynaklarını yönetmek ve yükleri çalıştırmak için güvenli bir ortamdır.
Yönetimciler, kullanıcı erişim kontrolleri, gizli bilgilerin yönetimi, konteyner kayıt defterleri ve kullanım kotaları gibi ayarları yapılandırır. GPU kaynakları, hesaplama iş yüklerinin temeli olan düğüm gruplarına yerleştirilir.
Bundan sonra:
- Geliştirme Podları başlatın ve etkileşimli geliştirmeyi gerçekleştirin.
- Toplu İşlemler göndererek model eğitimi veya veri işleme yapın.
- Çıkarma Uç Noktaları ile gerçek zamanlı veya toplu model hizmeti sunun.
DGX Cloud Lepton, kapsayıcı AI ve makine öğrenimi iş yüklerinin dağıtımını kolaylaştırır. Herhangi bir OCI uyumlu konteyner kayıt defterinden, kendi iş yüklerinizi konteyner görüntüleri olarak getirmenize olanak tanır; NVIDIA NGC konteyner kayıt defteri dahil.
DGX Cloud Lepton Erken Erişim Programına Katılın
DGX Cloud Lepton’u Erken Erişim (EA) kapsamında keşfedin ve geliştirme sürecinizi nasıl iyileştirebileceğini ilk elden deneyimleyin. Eğer seçilirseniz, DGX Cloud Lepton ürün ekibi, sizin kullanım senaryolarınızı ve hesaplama gereksinimlerinizi anlamak için sizinle irtibat kuracaktır. Bu yeni yeteneklerle hangi yenilikçi uygulamaları oluşturduğunuzu görmeyi sabırsızlıkla bekliyoruz!
Daha fazla bilgi için belgelere başvurabilirsiniz.
