Yaygın hale gelen üretken yapay zeka, dünya genelinde hızlandırılmış hesaplama donanımına olan talebi artırdı. Bu durum, işletmelerde hızlandırılmış özel bulut altyapıları uygulamalarını hızlandırdı. Bölgesel düzeyde ise, bu hesaplama altyapısına olan ihtiyaç, AI iş yükleri için hızlandırılmış hesaplama (GPU) kapasitesi sunan yeni nesil bulut sağlayıcılarını doğurdu. Bu tür bulut sağlayıcıları, NVIDIA’nın belirlediği NVIDIA Cloud Partner (NCP) gereksinimlerini karşılayabiliyorlar.
Bu bulut sağlayıcıları, hem GPU hızlandırılmış donanım sunmakta hem de yerel müşteri tabanlarına özel yapay zeka hizmetleri sağlamaktadır. Hem işletme özel bulutları hem de bulut sağlayıcılara yönelik temel hedef, yapay zeka altyapısını daha erişilebilir kılmak ve hizmet verdikleri bölgelerdeki işletmelerin özel ihtiyaçlarına yönelik çözümler sunmaktır.
Bu yazıda, hizmet olarak platform (PaaS) modelinin zorunlu kıldığı bazı teknik gereksinimler ve zorluklar ele alınacak ve bu zorlukların NVIDIA’nın ortaklarından Rafay platformı ile nasıl aşılabileceği üzerinde durulacaktır.
Kendi Kendine Hizmet Veren AI Altyapısının Önemi
Günümüz geliştiricileri ve veri bilimcileri, kesintisiz ve talep üzerine hesaplama kaynaklarına erişim talep etmektedir. Bu geliştirme ekibi, geleneksel talep sistemlerini geçmekte gecikme yaşamak istemez. Bulut sağlayıcıları için kendi kendine hizmet akışları sunmak, sadece kullanıcı memnuniyetini artırmakla kalmaz; aynı zamanda değerli GPU altyapısının kullanımını optimize etmek için de gereklidir.
Bu nedenle, GPU destekli ortamlar için bir PaaS modelinin uygulanması, yararlı olmanın ötesinde bir zorunluluk haline gelmektedir. NVIDIA AI Enterprise, kullanıcıların kendilerine hizmet sunan ortamlarında modelleri dağıtma ve ölçeklendirme sürecini hızlandırarak AI iş yüklerine yardımcı olur.
GPU PaaS Çözümleri Kurmanın Zorlukları
Açık kaynak araçlar kullanarak bir GPU PaaS kavram kanıtı oluşturmak basit görünse de, üretime hazır bir platform geliştirmek önemli zorluklar içerir. Bu süreç, sürekli özellik geliştirme, sürekli destek ve bakım, düzenli güvenlik güncellemeleri ve açık kaynak altyapı araçlarını yönetme konusunda uzman takım gerektirir.
Burada, altyapı yazılımı satıcıları (ISV) olan Rafay gibi firmalar kritik bir değer sunar. Bu firmalar, özel bulutları ve bulut sağlayıcılarını, GPU destekli ortamlar için hazır şekilde dağıtılabilen PaaS çözümleri sunarak son kullanıcıları için yeniliği hızlandırmada yardımcı olurlar.
Kendi Kendine Hizmet Sunan Bir Platformla AI Benimsemeyi Hızlandırma
Geliştiriciler ve veri bilimcileri için özel bulut deneyimini sunmak adına üç temel bileşen gereklidir:
Hızlandırılmış Hesaplama Altyapısı
Geliştiricilerin NVIDIA hızlandırılmış hesaplama altyapısına erişimi olması gerekir. NVIDIA’nın AI bulutları için referans mimarisi, bu hızlandırılmış altyapının en iyi şekilde dağıtım ve yapılandırmasına dair kılavuzluk sağlar.
PaaS Katmanı
Kendi kendine hizmet sunma yeteneği sağlayan bir PaaS katmanı, hızlandırılmış hesaplama altyapısı ve AI uygulamalarının sunulmasında önemli rol oynar. Rafay Platformu, geliştiricilere ve veri bilimcilerine kurumsal düzeyde kontrollerle AI deneyimleri sunan PaaS yetenekleri sağlar. Bu platform, envanter yönetimi, çoklu kiracı desteği, kendi kendine hizmet akışları gibi olanaklar sunarak pazar sunma süresini kısaltır.
AI Modelleri ve Çerçeveleri
Geliştiriciler, jeneratif AI uygulamaları oluşturmak veya modelleri eğitmek ve ince ayar yapmak için en son AI modelleri ve çerçevelerine erişim talep eder. NVIDIA AI Enterprise, kullanıcıların üretim kalitesinde AI çözümleri geliştirme ve dağıtma süreçlerini kolaylaştıran bir bulut yerel yazılım platformu sunar.
NVIDIA AI Enterprise, NVIDIA NIM gibi bir dizi kullanım kolaylığı sunan mikro hizmetleri içerir. Bu, modeli performansını optimize eden, kurumsal güvenlik, destek ve kararlılık sunarak şirketlerin AI üzerinden işler yürütmelerini sağlamak için sorunsuz bir geçiş süreci sağlar.
Rafay Platformu, kuruluşların NVIDIA AI Enterprise çözümlerini kendi altyapı ayak izleri üzerinde operasyonelleştirmesini sağlayan orkestrasyon ve çevre yönetim katmanını sunar.
Rafay Platformu
Rafay Platformu, müşterilere kendi kendine hizmet veren bir PaaS için kurumsal düzeyde kontroller sağlayarak AI altyapısı sunma yeteneği kazandırır. NVIDIA hızlandırılmış hesaplama için tasarlanmış olan Rafay, işletmelere ve bulut sağlayıcılarına AI geliştirme ve model eğitimi için kendi kendine hizmet sunan bir platform sunmaktadır. Platform, NVIDIA AI Enterprise ve geniş bir AI modelleri ve çerçeveleri yelpazesini destekler.
Rafay Platformu, yatırım getirisi açısından en hızlı sonucu sunarak, AI uygulamaları ile birlikte tam donanım ve yazılım yelpazesi ile bulut deneyimi sağlar.
Bölgesel bulut sağlayıcıları, örneğin Endonezya’daki Lintasarta, Rafay Platformunu kullanarak son kullanıcılarına AI tahmin, ince ayar ve eğitim iş yükleri için PaaS yetenekleri sunmayı planlamaktadır.
Lintasarta’nın bağlı olduğu Indosat Ooredoo Hutchinson’ın başkanı Vikram Sinha, “Rafay ve NVIDIA ile işbirliği yapmaktan gurur duyuyoruz, bir AI uygulaması için PaaS katmanı gereksinimlerini değerlendirdik ve tanımladık.” diyerek şu ifadeleri ekledi: “Indosat grubunun parçası olan Lintasarta, yalnızca AI’ya dayalı bir teknoloji şirketi haline gelmemizi sağlamakla kalmayacak, aynı zamanda AI devrimini doğru bir yöne sürüklemede sektörde liderlik rolü üstlenmektedir.”
NVIDIA AI Enterprise Entegrasyonu
Rafay ile, işletmeler ve bulut sağlayıcıları, formlandırmaya yönelik araçlar sunarak NVIDIA NIM, NVIDIA NeMo, NVIDIA Blueprints gibi araçlar sunabilir. Bu araçlar, üretime hazır dağıtımlar için önemli unsurlardır. Rafay Platformu, aynı zamanda bulut sağlayıcıların üçüncü taraf uygulamalarına dayalı katma değerli AI hizmetleri sunmasını kolaylaştıran Çevre Yönetim katmanını sağlar.
Sıfırdan Anahtar Teslim AI Bulutları
Bulut sağlayıcıları ve işletmeler, Rafay Platformunu kullanarak altyapılarını tamamen otomatik bir şekilde yönetebilir ve müşteri tabanlarına kendi kendine hizmet sunma biçiminde hesaplama hizmetleri ve jeneratif AI, AI araçları ve uygulamalar sunabilirler. Rafay Platformu şu yetenekleri dağıtabilir:
- İşletim sistemi
- Sanalizasyon katmanı
- Kubernetes veya SLURM
- Çoklu kiracı kontrolleri
- Envanter yönetimi ve yönetişim yetenekleri
- SSO, RBAC, Faturalama, İzleme, Görünürlük ve diğer yönetişim ile ilgili yetenekler
- AI uygulamaları
- Kendi kendine hizmet tüketim platformu
Bulut sağlayıcıları ve işletmeler, yukarıdaki yeteneklerden ihtiyaçlarına göre seçerek dağıtım yapabilirler.
Hibrit Ortamlarda AI İş Yükleri
Rafay, veri merkezlerinde ve AWS, Azure veya Google Cloud gibi genel bulutlarda hızlandırılmış hesaplama donanımının kendi kendine hizmete sunulmasını sağlar. Rafay ile, bulut sağlayıcıları ve işletmeler, on-premises altyapılarından kamu bulut ortamlarından kaynakları birleşik olarak kullanarak müşteri tabanlarına genişletilmiş hesaplama yetenekleri sunabilirler.
Kurumsal Düzeyde Platform Özellikleri için GPU Altyapı Yönetimi
Rafay, müşterilerine güvenli, kurumsal düzeyde çok kiracı bir platform sunmak için geniş bir özellik yelpazesi sağlar. Bu yetenekler arasında:
- SKU otomasyonu ve yönetimi: Müşteriler, GPU, CPU, AI uygulamaları veya bunların bir kombinasyonunu içeren SKU’ları programatik olarak tanımlayabilirler.
- Geliştiriciler ve veri bilimcileri için kendi kendine hizmet portalları: Müşteriler, geliştiricilere ve veri bilimcilerine talep üzerine hesaplama ve AI uygulamalarına erişim sağlamak için kendi kendine hizmet portalları sunabilirler.
- Kurumsal düzeyde kullanıcı yönetimi: Müşteriler, güvenli tüketim sağlamak için kurumsal tek oturum açma (SSO) ve rol tabanlı erişim kontrolü (RBAC) destekleyebilirler, ayrıca derin denetim kayıtlarıyla entegrasyon sağlayabilirler.
- Kurumsal yönetim: Müşteriler, işletmelere belirli hesaplama blokları satabilir ve onların allocated compute block’larını yönetmesine olanak tanıyabilirler.
- Kubernetes küme yaşam döngüsü yönetimi: Müşteriler, veri merkezlerinde veya genel bulut ortamlarında Kubernetes kümelerinin filolarını kolayca yönetebilirler.
- Kubernetes platform yönetimi: Müşteriler, sanal kümeler, ağ segmentasyonu, RBAC, güvenli uzak erişim ve daha fazlası ile kurumsal güvenlik gereksinimlerini karşılayan güvenli, çok kiracı ortamlara sahip olabilirler.
- Kullanım ve faturalama verileri: Müşteriler, faturalama sistemlerine kolayca entegre edilebilen faturalama verilerine erişim sağlarlar.
- Alt yapı otomasyonu: Müşteriler, talep üzerine çok sayıda GPU gereksinimi olan kullanıcılar için programatik olarak ağ katmanını (örneğin, anahtarlar) yapılandırarak en yüksek performansı sağlamayı hedeflerler.
Sonuç
AI iş yüklerinin talepleri, altyapı dağıtımı ve yönetimi konusunda yeni bir yaklaşımı gerektirir. Rafay Platformu, bu ihtiyacı karşılayarak işletmelere ve bulut sağlayıcılara üretime hazır bir PaaS çözümü sunar. NVIDIA hızlandırılmış hesaplama altyapısı ve AI yazılımını Rafay’ın platform yetenekleri ile birleştirerek, organizasyonlar AI girişimlerinin pazara sunma süresini önemli ölçüde azaltabilirler ve aynı zamanda müşterilerinin talep ettiği güvenlik, kontrol ve ölçeklenebilirliği sürdürebilirler.
AI altyapı dönüşümünüzü başlatmak için Rafay Referans Mimarisini inceleyin. Ayrıca NVIDIA AI Enterprise hakkında daha fazla bilgi edinin.
