NVIDIA DOCA çerçevesi, sonraki nesil AI altyapısının kritik bir bileşeni haline gelmiştir. İlk sürümünden, büyük bir heyecanla beklenen NVIDIA DOCA 3.0‘e kadar her versiyon, NVIDIA BlueFieldDPUs ve ConnectXSuperNICs için olağanüstü ölçeklenebilirlik ve performans sunan yeteneklerini artırmıştır.
DOCA, BlueField DPUs ve SuperNICs’i zengin bir kütüphane ve hizmet ekosistemi aracılığıyla kullanarak, 100.000’den fazla GPU’yu aşan hiperskal dağıtımları desteklerken sıkı kiracı izolasyonu ve optimize edilmiş kaynak kullanımı sağlar. DOCA’nın güvenlik özellikleri, performans cezaları olmaksızın konteynerleştirilmiş AI iş yükleri için donanım düzeyinde tehdit tespiti sunar. DOCA’nın akıllı veri hızlandırma yetenekleri, AI veri boru hatlarındaki kritik darboğazları giderirken, orkestrasyon özellikleri, karmaşık DPU hızlandırmalı hizmetlerin dağıtımını kolaylaştırır.
Bu yazı, bu ilerlemelerin bir birleşimi olan DOCA 3.0’ı tanıtmaktadır. AI fabrikaları için yeni ve geliştirilmiş altyapı hizmetleri ve AI veri merkezi altyapısı için optimize edilmiş bir çerçeve sunan DOCA 3.0, geliştiricilerin güvenli ve verimli AI altyapısı oluşturmak için gerekli araçları sağlar. Geniş ve dinamik bir geliştirici topluluğu şu anda DOCA’dan yararlanmakta; bu teknoloji, organizasyonların geleceğin AI inovasyonlarını destekleyen altyapıyı dağıtma, yönetme ve orkestre etme şeklini dönüştürmeye devam etmektedir.
DOCA 3.0’ın Ortaya Çıkışı
Günümüzün hızla gelişen AI ortamında, büyük ölçekli AI dağıtımlarını destekleyen altyapı, modellerin kendisi kadar kritiktir. Organizasyonlar, deneysel AI projelerinden üretim hazır dağıtımlara geçerken, arka planda bulunan hesaplama, ağ ve depolama altyapısının da benzeri görülmemiş talepleri karşılamak üzere evrilmesi gerekmektedir. DOCA, geliştiricilerin yeni nesil AI platformları inşa etmelerine, dağıtmalarına ve yönetmelerine devrim niteliğinde bir yaklaşım sunmaktadır.
DOCA 3.0, NVIDIA BlueField DPUs ve Connect-X SuperNIC’ler için yüksek performanslı uygulamalar ve hizmetler oluşturmak üzere geniş bir kütüphane, sürücü ve API seti sunar. Bu yenilikçi çerçeve, CPU’lardan kaynak yoğun görevleri özel donanım hızlandırıcılarına aktararak AI iş yükleri boyunca performans, güvenlik ve verimlilikte önemli iyileştirmeler sağlar.
DOCA 3.0’ın Öne Çıkan Özellikleri
DOCA 3.0’ın öne çıkan özellikleri şunlardır:
- DOCA’nın InfiniBand Quantum-X800 ve ConnectX-8 SuperNIC desteği (GA)
- Konteyner tehdit tespiti için yeni DOCA Argus Hizmeti
- DOCA Platform Çerçevesi (DPF) güvenilir host kullanım durumu (GA)
- DOCA SNAP Virtio-fs (Beta) File System Emülasyonu; BlueField-3 kullanımı
- AI hesaplama kümeleri için DOCA Perftest (GA) RDMA benchmark aracı
Tüm detaylar için DOCA 3.0 sürüm notlarına göz atabilirsiniz.
Hiperskal GPU Hesaplama: Çok Kiracılı AI Fabrikalarının Ölçeklenmesi
Daha fazla parametre ve eğitim verisi ile daha büyük AI modelleri inşa etme yarışı, hesaplama gereksinimlerini gözlemlenmemiş seviyelere çıkarmıştır. Modern AI fabrikaları, on binlerce GPU’yu aşan büyük ölçekli dağıtımları desteklerken, kiracılar arasında sıkı performans izolasyonu sağlamalıdır.
DOCA, çok kiracılı ortamlar için etkili kaynak kullanımı ve iş yükü izolasyonu sağlayan ağ kütüphaneleri ile bu zorluğu ele almaktadır. Özellikle, DOCA RDMA Kütüphanesi, büyük ölçekli dağıtılmış AI eğitimi için gerekli olan yüksek performanslı ve düşük gecikmeli iletişim yeteneklerini sağlar. Bu kütüphane, düğümler arasında CPU katılımı olmaksızın doğrudan bellek erişimi (DMA) ile iletişim kurarak, çoklu GPU sistemlerinde iletişim üzerindeki yükü önemli ölçüde azaltır.
DOCA GPUNetIO Kütüphanesi, GPU’lar arasındaki iletişimi geliştirerek, kamuya açık alan iletişimlerine olanak tanır. Bu kütüphane, GPU’lar arasındaki ağ üzerindeki doğrudan veri yolları sağlayarak, dağıtılmış antrenman algoritmaları için kritik olan etkili toplu işlemleri mümkün kılar. DoCA Ethernet, DOCA RDMA veya DOCA DMA ile çalışarak, 100K’dan fazla GPU’yu destekleyebilen yüksek performanslı bir ağ temeli oluşturur.
AI İş Yükleri için Çok Kiracı İzolasyonu
DOCA mimarisi, farklı kiracıların iş yüklerinin güvenli bir şekilde ayrılmasını sağlamak için sağlam izolasyon mekanizmaları sağlar. Bu hizmet, Host Tabanlı Ağ servisi aracılığıyla, farklı kiracıların uygulamalarının güvenli bir şekilde ayrılmasını sağlamaktadır. Bu hizmet, donanım düzeyinde yüksek özgüven sunarak yetkisiz erişimi önlerken, AI çalıştırmalarını sorunsuz hale getirmektedir.
Gerçek Zamanlı Tehdit Tespiti: AI İş Yüklerini Korumak
AI sistemleri iş operasyonları için kritik hale geldikçe, bunları tehditlere karşı korumak bir öncelik haline gelir. DOCA, BlueField DPUs ve SuperNIC’lerin siber güvenlik potansiyelini açığa çıkararak, şifreleme, dağıtım ateş duvarları, saldırı tespiti ve ağ mikro segmentasyonu gibi güvenlik görevlerini hızlandırma ve dışlama uygulamalarının hızlı bir şekilde oluşturulması ve entegrasyonunu sağlar.
DOCA kütüphanelerinin kombinasyonu ile NVIDIA siber güvenlik AI platformu, ağ trafiği ve sistem davranışları üzerine derinlemesine bakış sağlamak için donanım düzeyinde denetim sağlar. Geleneksel güvenlik çözümleri, yazılım ajanlarına dayanırken, BlueField DPUs kritik siber güvenlik görevlerini geleneksel CPU’lardanоми kaldıran ve akıllı saldırı tespiti sunan birer gömülü güvenlik işlemcisi gibi çalışır. Bu yaklaşımlar, sistem performansını etkilemeden gerçek zamanlı izleme ve koruma sağlar.
DOCA destekli güvenlik uygulamaları:
- Telemetri verilerini sürekli olarak analiz ederek potansiyel tehditleri gösteren kalıpları ve anormallikleri belirleyebilir
- AI destekli anomali tespiti ile gerçek zamanlı tehdit tespiti yapabilir
- Büyük güvenlik olaylarının kötüleşmeden önce proaktif risk azaltması sağlar
- AI bileşenleri arasında güvenli iletişim sağlamak için sağlam şifreleme uygulamalarını kullanabilir
AI iş yükleri için bu güvenlik mimarisi önemli avantajlar sunar. AI modelleri ve eğitim verileri, değerli fikri mülkiyet olarak kabul edildiğinden, saldırılara açık hedeflerdir. DOCA; algoritmaların, AI model ve verilerinin gizliliğini koruyarak gizli bilgi işlem yetenekleri sağlar.
Ayrıca DOCA’nın güvenlik özellikleri, AI tabanlı ortamlardaki IT ve OT sistemlerinin birleşmesiyle oluşan karmaşık tehdit manzarasını hedef almaktadır. Donanım hızlandırmalı güvenlik işlevleri sunarak, DOCA güvenlik önlemlerinin AI uygulamaları için bir performans darboğazı haline gelmesinin önünü alır.
Son Dalga AI için Veri İşleme Hızlandırma
Veri işleme, modern AI iş akışlarındaki en büyük zorluklardan biridir. AI modellerinin en son nesli, önceki görülmemiş eğitim veri hacimlerini gerektirerek, depolama ve ağ altyapısını büyük bir baskı altına almaktadır.
DOCA, kapsamlı veri hızlandırma yetenekleri aracılığıyla bu zorluğun üstesinden gelmektedir. Çerçevenin veri yolu hızlandırıcısı, iletişime yönelik kullanıcı kodunu özel DPA işlemcileri üzerinde çalıştırmak için BlueField-3 DPA programlama alt sistemini kullanır. Bu offloading yeteneği, CPU üzerinden sağladığı yükü önemli ölçüde azaltırken, DPU hızlandırması ile performansı artırır.
Ayrıca, AI boru hatlarındaki veri sıkıştırmasının optimize edilmesi için DOCA Compress Kütüphanesi, donanım hızlandırmalı sıkıştırma ve açma yetenekleri sağlar. Bu işlev, CPU’lara veya GPU’lara ek hesaplama yükü getirmeden veri transfer sürelerini ve depolama gereksinimlerini azaltır. Benzer şekilde, DOCA Erasure Coding Kütüphanesi, değerli AI veri setlerini korumak için kritik olan dayanıklı veri depolama yeteneklerini sağlar.
Modern AI iş akışlarıyla ilgili zorlukları daieklerinden, AI veri boru hatları için yüksek performanslı ağ olan DOCA Flow Kütüphanesi, ağ üzerindeki veri hareketini optimize etmek için karmaşık paket işleme yeteneklerini sunmaktadır. DOCA Rivermax Kütüphanesi ise depolama sistemleri ile hesaplama düğümleri arasındaki veri aktarımını hızlandırmak için geliştirilmiş ileri düzey özellikler sağlar.
AI Veri Boru Hatları için Ağ Performansını Optimize Etme
DOCA Host Tabanlı Ağ (HBN) 3.0, denetimsiz VPC ağları için önemli ölçeklenebilirlik iyileştirmeleri sunar. 8.000 VTEP ve 80.000 Type-5 rotaları desteklerken, destek sunma planları daha da artırmayı hedeflemektedir. DOCA 3.0, HBN için ek özellikler sunarak bağlantı izleme ile hızlı yol birleştirmesi sağlayan Bidirectional Forwarding Detection (BFD) desteği ve daha hızlı devreye alınma ile minimal kesinti sunan ECMP failover iyileştirmelerini içermektedir.
Tüm bu özellikler, HBN’nin metal üzerine yükleme uygulamaları için ideal olmasını sağlarken, AI platformlarının depolama sistemleri, hesaplama düğümleri ve dış veri kaynakları arasında büyük veri akışlarını yönetmesini sağlayacaktır.
AI geliştiricileri için DOCA’nın akıllı veri platformu yetenekleri:
- Eğitim ve çıkarım boru hatları için veri işleme gecikmelerini azaltır
- Veri yoğun AI işlemleri için daha yüksek verim sağlar
- Hesaplama ve depolama altyapısında daha verimli kaynak kullanımı sunar
- Görsel AI uygulamaları için IPMX gibi yeni standartları destekler
Geliştirilmiş DOCA FireFly hizmeti, yüksek düzeyde hassas senkronizasyon sağlaması için donanım hızlandırması ile donatılmıştır ve bu özellik, dağıtılmış AI eğitim iş yükleri için kritik öneme sahiptir. Bu özellik, genişletilmiş parti eğitimi ve model parçalama gibi teknikler için GPU kümeleri arasında daha verimli bir koordinasyon sağlar.
DPU Güçlü Altyapı Servis Yönetimi
Modern AI altyapısının karmaşıklığı, sofistike orkestrasyon yetenekleri gerektirir. DOCA Platform Çerçevesi (DPF), DOCA 3.0 için güvenilir konaklar üzerinde Kubernetes kontrol düzleminin işlevselliğini genişleterek, yöneticilerin hem NVIDIA DOCA hizmetlerini hem de üçüncü taraf uygulamaları dağıtmasına ve orkestre etmesine olanak tanır.
DOCA hizmetleri, BlueField DPUs üzerinde hızlı ve basit dağıtım için kapsüllenmiş DOCA tabanlı ürünlerdir. Bu hizmetler, telemetri, zaman senkronizasyonu, ağ çözümleri ve daha fazlası gibi alanlarda DPU yeteneklerini kullanır ve NGC kataloğu aracılığıyla erişilebilir hale gelir.
Özel, ikinci bir Kubernetes kontrol düzlemi tanıtarak, DPF, yöneticilerin BlueField DPUs üzerinde dağıtılmış DOCA hizmetlerini verimli bir şekilde yönetmelerini sağlar. Çerçeve, DPU yönetimini basit hale getirirken, yöneticilere tanıdık Kubernetes yapı taşlarıyla etkileşim imkanı sunar. Bu yaklaşım, AI altyapısı hizmetlerinin dağıtımını ve işletimini önemli ölçüde kolaylaştırır.
DPF’nin hizmet fonksiyonu zincirleme yetenekleri, hızlandırılmış ağ, yüksek performanslı veri hizmetleri ve güvenlik işlevlerini tek bir DPU üzerinde entegre etme imkanı sunar. Bu orkestrasyon yeteneği, AI uygulamalarına hızlandırılmış ağ hizmetleri sunmak için çoklu sağlayıcı ekosistemleri oluşturur.
Gerçek dünyadaki uygulamalar, bu yaklaşımın somut yararlarını göstermektedir. NVIDIA DOCA Platform Çerçevesi’nin Red Hat OpenShift ile entegrasyonu, RDMA testlerinde ortalama 383.72 Gb/sn bant genişliği ile önemli performans iyileştirmeleri sağlamıştır. Bu düzeydeki ağ performansı, veri yoğun AI iş yükleri için hayati önem taşımaktadır.
AI platformu operatörleri için DOCA altyapı hizmeti orkestrasyon yetenekleri:
- Karmaşık, AI optimize edilmiş altyapının dağıtımını ve yönetimini basitleştirir
- Kesintisiz hizmet güncellemeleri, ölçeklendirme ve geri alımlar için sağlam yaşam döngüsü yönetimi sunar
- Uyum ve gerekliliklerin karşılandığından emin olmak için ön dağıtım doğrulaması sağlar
- Yüksek güvenilirlik için gerçek zamanlı izleme ve hata ayıklama imkanları sunar
NVIDIA NIM Mikroservislerini ve AI İş Yüklerini Hızlandırma ve Güvence Altına Alma
DOCA Platform Çerçevesi’nin ileri düzey orkestrasyon özelliklerinden yararlanarak, DOCA HBN, OVS-DOCA, DOCA SNAP Virtio-fs ve en yeni hizmet olan NVIDIA DOCA Argus, NVIDIA NIM mikroservislerini ve AI iş yüklerini hızlandırmak ve güvence altına almak için bir araya getirilmektedir. Bu durum, DOCA’nın evriminin değerini vurgulamakta ve gelecekteki çözümlerin bu çerçeveden nasıl ortaya çıkacağına dair bir bakış açısı sunmaktadır.
DOCA Argus, AI fabrikalarını korumak için tasarlanmış bir siber güvenlik çerçevesidir ve BlueField DPUs üzerinde agen yönetsiz, gerçek zamanlı tehdit tespiti sağlanmaktadır. Ana sistemden bağımsız olarak çalışan Argus, geleneksel çözümlerden 1.000 kat daha hızlı saldırıları tespit ve yanıt verebilir ve bu süreç, performansı etkilemeden gerçekleştirilir.
Argus, işletme güvenlik sistemleri ile entegre çalışarak sürekli izleme ve otomatik tehdit azaltma sunar. Gelişmiş bellek adli tıbbı ve eyleme geçirilebilir istihbarattan faydalanan Argus, kapsayıcı ve çok kiracılı AI iş yüklerini büyük ölçekle güvence altına almak için optimize edilmiştir.
OVS-DOCA ve DOCA SNAP Virtio-fs ile birlikte DOCA Argus, NVIDIA BlueField DPUs üzerindeki AI iş yükleri için yenilikçi bir güvenlik çözümü oluşturmaktadır. Bu durum, farklı altyapı katmanlarını ele almakla birlikte, bileşenler arası tehdit azaltma olanağı tanımaktadır.
DOCA Argus (hesaplama katmanı), AI iş yüklerini DPU düzeyinde bellek ve işlem analizleri aracılığıyla izler, OVS-DOCA ağ trafiğini dışlama ve izole etme işlemini üstlenirken (ağ katmanı), DOCA SNAP Virtio-fs ise (depolama katmanı) DPU’nin simüle ettiği Virtio cihazları aracılığıyla dosya sistemi erişimini sanallaştırarak, depolama IO’larını ana çekirdeklerden izole eder ve Argus’a olağandışı erişim kalıplarının denetim verilerini sunar.
Bu entegre çerçeve, güvenliği hesaplama, ağ ve depolama katmanlarına entegre ederek NIM mikroservisleri için alt milisaniye tehdit yanıtı sağlar ve kapsayıcı AI boru hatları için ölçeklenebilirliği korumaktadır.
DOCA 3.0 ile Başlayın
AI, endüstrileri dönüştürmeye devam ettikçe, bunu destekleyen altyapının da kendini geliştirmesi gerekmektedir. NVIDIA DOCA Çerçevesi, geliştiricilerin AI platformları oluşturma ve dağıtma biçiminde köklü bir değişim sunarak, kapsamlı kütüphaneler ve hizmetler seti ile olağanüstü performans, güvenlik ve verimlilik sağlar.
DOCA SDK, BlueField DPUs’nin yeteneklerinden yararlanmak için tasarlanmış farklı DOCA kütüphanelerinin etrafında oluşturulmuştur. 20’den fazla özel kütüphane ile, geliştiriciler optimize edilmiş AI altyapıları oluşturmak için güçlü bir araç setine erişim sağlamaktadır.
DOCA Hizmetleri, bu kütüphaneleri tamamlayarak belirli kullanım durumları için kapsüllenmiş çözümler sunmaktadır. Bu hizmetler, AI işlemleri için kritik altyapı bileşenlerinin hızlı dağıtımını ve yönetim kolaylığını sağlar. Devam eden DOCA evrimi, düzenli çerçeve güncellemeleri ve yeni yeteneklerle geliştiricilerin AI altyapısı inovasyonunun ön saflarında kalmasını sağlar. Binlerce geliştirici şu anda DOCA’dan yararlanmakta ve ekosistemin büyümesi yeni AI uygulama geliştirimi olasılıklarını artırmaktadır.
Geleceğin AI platformlarını inşa etmek isteyen geliştiriciler için NVIDIA DOCA, BlueField DPUs ve Connect-X SuperNICs’nin tüm potansiyelinden yararlanarak, yarının AI iş yüklerinin taleplerini karşılayacak altyapıyı yaratmak için gerekli kapsamlı araç setini sağlar. DOCA’yı benimseyerek, organizasyonlar kendilerini AI altyapısı inovasyonunun en ön saflarında konumlandırarak, yeni AI sınırlarını güçlendirmeye hazır hale getirebilirler.
NVIDIA DOCA 3.0, hem AI hesaplama altyapısında hem de bulut bilişim altyapısında önemli ilerlemeleri temsil eder. NVIDIA DOCA’yı indirerek, DOCA’nın sunduğu tüm avantajlarla geliştirme yolculuğuna başlayın.
