Üretken yapay zeka ve yapay zeka ajanları için çıkarım yapılması, yapay zeka hesaplama altyapısının kenardan merkezi bulutlara kadar dağıtılma ihtiyacını artıracaktır. IDC’ye göre, “Tüketici dışında kalan iş yapay zekası, 2030 yılı itibarıyla küresel ekonomiye 19.9 trilyon dolar katkıda bulunacak ve %3.5’lik bir GSYİH payı alacak.”
5G ağlarının da bu yeni gelen yapay zeka trafiğine hizmet edebilecek şekilde evrim geçirmesi gerekiyor. Aynı zamanda, telekom şirketleri, veri gizliliği ve egemenlik gereksinimlerini karşılayarak, kurumsal yapay zeka iş yüklerini barındırmak için yerel yapay zeka hesaplama altyapısı olma fırsatına sahip. Bu noktada hızlandırılmış bir hesaplama altyapısı devreye giriyor; hem radyo sinyal işleme hem de yapay zeka iş yüklerini hızlandırma yeteneğine sahip. En önemlisi, aynı hesaplama altyapısı, yapay zeka ve radyo erişim ağı (RAN) hizmetlerini işlemek için kullanılabiliyor. Bu kombinasyon, telekomünikasyon endüstrisi tarafından AI-RAN olarak adlandırılmıştır.
NVIDIA, AI ve RAN iş yüklerini eşzamanlı bir şekilde ortak bir hızlandırılmış altyapıda sunan ilk AI-RAN dağıtım platformu olan Aerial RAN Computer-1’i tanıtıyor.
T-Mobile tarafından başlatılan AI-RAN İnovasyon Merkezi, AI-RAN’ı gerçeğe dönüştürüyor. Telekom şirketlerinin dünya genelinde benimseyebileceği, küçük, orta veya büyük yapılandırmalarda hücre yerlerinde, dağıtılmış veya merkezi alanlarda dağıtım için kullanılabiliyor. Bu, ağı ses, video, veri ve yapay zeka trafiğini yöneten çok amaçlı bir altyapıya dönüştürüyor.
Bu dönüşümsel çözüm, yapay zekayı kablosuz ağları yeniden tasarlamak ve bununla birlikte geliştirmek için bir fırsat sunuyor. Özellikle, telekom şirketleri, dağıtılmış ağ altyapısını, düşük gecikme süresini, garantili hizmet kalitesini ve veri gizliliğini, güvenliğini ve yerelleşmesini koruyarak yapay zeka işlemi ve ajans yapay zeka uygulamaları için bu özelliklerden faydalanabilir.
AI-RAN, AI Aerial ve Aerial RAN Computer-1
AI-RAN, çok amaçlı ve yapay zeka yerleşik ağlar oluşturmak için bir teknoloji çerçevesidir. Telekom şirketleri, AI-RAN’ı benimsedikçe ve geleneksel tek amaçlı ASIC tabanlı RAN hesaplama ağlarını çok amaçlı hızlandırılmış hesaplama tabanlı ağlara dönüştürdükçe, yeni yapay zeka ekonomisine katılabilirler. Aynı zamanda, ağların verimliliğini artırmak için yapay zekayı kullanma imkanına sahip olurlar.
NVIDIA AI Aerial, 5G ve 6G kablosuz ağlarını tasarlamak, simüle etmek, eğitmek ve dağıtmak için üç bilgisayar sistemi içerir. Aerial RAN Computer-1, NVIDIA AI Aerial’ın temelini oluşturur ve AI-RAN için ticari dereceli bir dağıtım platformu sağlar.
Aerial RAN Computer-1, RAN ve yapay zeka iş yüklerini çalıştırmak için ortak, ölçeklenebilir bir donanım temeli sunmaktadır. Yazılım tanımlı 5G, NVIDIA veya diğer RAN yazılım sağlayıcılarından gelen özel 5G RAN, kapsayıcı ağ işlevleri, NVIDIA veya ortaklarından yapay zeka mikro hizmetleri veya iç ve dış geliştiriciler için jeneratif yapay zeka uygulamaları barındırılır. Aerial RAN Computer-1, modüler tasarımı sayesinde kırsal alandan yoğun kentsel kullanıma kadar D-RAN’dan C-RAN mimarilerine kadar ölçeklenebilir.
NVIDIA CUDA-X Kütüphaneleri, hızlandırılmış hesaplamanın merkezindedir. Hız, doğruluk ve güvenilirliği artırırken, aynı güç bütçesi içinde daha fazla iş yapılmasını sağlar. Önemli olan, telekomünikasyon özel adaptasyonları dahil olmak üzere alan spesifik kütüphaneler, Aerial RAN Computer-1’in telekom dağıtımları için uygun hale gelmesinde anahtar rol oynar.
NVIDIA DOCA, telco iş yükleri için performans iyileştirmelerini önemli ölçüde artırabilecek bir araç ve kütüphane seti sunar. Bu setler arasında RDMA, PTP/zamanlama senkronizasyonu, Ethernet tabanlı fronthaul (eCPRI) ile modern ağ altyapısı için kritik öneme sahip olan yapay zeka iş yükleri bulunmaktadır.
Bu toplam yapı, yüksek performanslı AI-RAN’ı ekosistem ortakları ile bir araya getiren ölçeklenebilir donanım, ortak yazılım ve açık bir mimarinin sağlanmasına olanak tanır.
Aerial RAN Computer-1’in Faydaları
Aerial RAN Computer-1 ile kablosuz ağlar, yapay zeka ve RAN veri merkezlerinin büyük ölçüde dağıtılmış bir ağına dönüşüyor. Bu, telekom şirketleri için yeni gelir kaynakları açarak 6G’ye geçiş yolunu açıyor.
Aerial RAN Computer-1’in telekom hizmet sağlayıcıları için sunduğu avantajlar şunlardır:
- Yapay zeka ve jeneratif yapay zeka uygulamaları ile gelir elde edin, edge’de yapay zeka çıkarımı yaparak ya da GPU Hizmeti sunarak.
- Aynı altyapıyı kullanarak tek amaçlı baz istasyonlarına kıyasla %200-300’e kadar artan verimlilik ile altyapı kullanımını artırın. İç jeneratif yapay zeka iş yüklerini ve diğer kapsayıcı ağ işlevlerini barındırabilirsiniz.
- AI öğrenimi ile yerel baz istasyonu performansını geliştirin; spektral verimlilikte %200’e kadar kazanç elde edin. Bu, elde edilen spektrum başına doğrudan maliyet tasarrufu demektir.
- Son olarak, gelecek nesil uygulamalar için yüksek performanslı RAN ve AI deneyimlerini sağlayın. Aerial RAN Computer-1, RAN modunda 170 Gb/sn’ye kadar, AI modunda ise 25K token/sn’ye kadar verim sağlayabilir. Bunların bir kombinasyonu ise geleneksel ağlara kıyasla üstün performans sunar.
Aerial RAN Computer-1’in Bileşenleri
Aerial RAN Computer-1’in ana donanım bileşenleri şunlardır:
- NVIDIA GB200 NVL2
- NVIDIA Blackwell GPU
- NVIDIA Grace CPU
- NVLink2 C2C
- Beşinci nesil NVIDIA NVLink
- Anahtar-değer önbelleği
- MGX referans mimarisi
- Gerçek zamanlı ana akım LLM çıkarımı
NVIDIA GB200 NVL2
NVIDIA GB200 NVL2 platformu, Aerial RAN Computer-1’de, veri merkezi ve kenar bilgisaymasını devrim niteliğinde bir şekilde geliştiren, ana akım büyük dil modelleri (LLM), sanal RAN (vRAN), vektör veri tabanı aramaları ve veri işleme için karşılaştırılamaz bir performans sunmaktadır.
İki NVIDIA Blackwell GPU ve iki NVIDIA Grace CPU ile güçlendirilen ölçeklenebilir tek düğüm mimarisi, hızlandırılmış hesaplamayı mevcut altyapının içine entegre etmektedir.
Bu çok yönlülük, veri merkezleri, kenar ve hücre kampüsü lokasyonları için AI’nın ve kablosuz 5G bağlantısının gücünü kullanmak üzere ideal bir seçenek sunmaktadır.
NVIDIA Blackwell GPU
NVIDIA Blackwell, geliştirilmiş performans, verimlilik ve ölçek sunan devrimsel bir mimaridir. NVIDIA Blackwell GPU’ları, 208B transistör içerir ve özel olarak inşa edilmiş TSMC 4NP süreçleri ile üretilmiştir. Tüm NVIDIA Blackwell ürünleri, tek bir GPU içinde 10 TB/sn chip-to-chip bağlantılı iki tekel sınırlı die içermektedir.
NVIDIA Grace CPU
NVIDIA Grace CPU, yapay zeka, sanal RAN, bulut ve yüksek performanslı hesaplama (HPC) uygulamalarını yürüten modern veri merkezleri için tasarlanmış çığır açıcı bir işlemcidir. Günümüzün en ileri sunucu işlemcilerinin iki katı enerji verimliliği sunarak etkileyici performans ve bellek bant genişliği sağlar.
NVLink2 C2C
GB200 NVL2 platformu, NVIDIA Grace CPU ile NVIDIA Blackwell GPU arasındaki devrim niteliğindeki 900 GB/s bağlantı için NVLink-C2C’yi kullanmaktadır. Beşinci nesil NVLink ile birleştiğinde, hızlandırılmış AI ve vRAN performansını artıran devasa 1.4-TB koheren bellek modeli sunar.
Beşinci Nesil NVIDIA NVLink
Her GPU’nun, sunucu kümesinde sorunsuz ve hızlı bir şekilde iletişim kurması için, exaskal hesaplamaların ve trilyon parametreli yapay zeka modellerinin gücünü tam olarak kullanmak gerekir.
Beşinci nesil NVLink, GB200 NVL2 platformundan hızlandırılmış performans sağlamak için yüksek performanslı bir bağlantı sunmaktadır.
Anahtar-Değer Önbelleği
Anahtar-değer (KV) önbelleği, LLM yanıt hızlarını artırarak sohbet geçmişi ve bağlamı saklar.
GB200 NVL2, NVLink-C2C ile bağlantılı tamamen koheren NVIDIA Grace GPU ve NVIDIA Blackwell GPU belleği ile KV önbelleğini optimize ederek PCIe’den 7 kat daha hızlı işlem yapmaktadır. Bu, LLM’nin kelime tahminini x86 tabanlı GPU uygulamalarından daha hızlı bir şekilde yapmasını sağlar.
MGX Referans Mimarisi
MGX GB200 NVL2, CPU C Bağlantıları ve GPU NVLink’u ile bağlantılı 2:2 konfigürasyon sunar.
HPM aşağıdaki bileşenleri içermektedir:
- NVIDIA Grace CPU’lar (2 adet)
- GPU kutucukları ve G/Ç kartları için bağlantı noktaları
- 2U AC Sunucuda bulunan GPU modülleri (2 adet)
Gerçek Zamanlı Ana Akım LLM Çıkarımı
GB200 NVL2 platformu, iki NVIDIA Grace CPU ve iki NVIDIA Blackwell GPU arasında paylaşılan 1.3 TB’lık büyük koheren bellek tanıtıyor. Bu paylaşılan bellek, beşinci nesil NVIDIA NVLink ve yüksek hızlı, çipler arası (C2C) bağlantılar ile birleştirildiğinde, ana akım dil modelleri için 5 kat daha hızlı gerçek zamanlı LLM çıkarım performansı sunar.
256’lık bir giriş dizi uzunluğu, 8000’lik bir çıkış dizi uzunluğu ve FP4 hassasiyeti ile GB200 NVL2 platformu, saatte 25K token üretebilmektedir ki bu da günlük 2.16 milyar token demektir.
Aerial RAN Computer-1 İçin Destekleyici Donanım
Aerial RAN Computer-1’in destekleyici donanımı, NVIDIA BlueField-3 ve NVIDIA Spectrum-X ağıdır.
NVIDIA BlueField-3
NVIDIA BlueField-3 DPUs, fronthaul eCPRI trafiği için gereken hassas 5G zamanlaması ile gerçek zamanlı veri iletimini mümkün kılar.
NVIDIA, en zorlu PTP profillerini karşılamak üzere tasarlanmış bir IEEE 1588v2 Hassas Zaman Protokolü (PTP) yazılım çözümü sunmaktadır. NVIDIA BlueField-3, 20 nanosekondan daha az hassasiyetle cihazın zamanlama yeteneklerini etkin bir şekilde sağlamak için entegre PTP donanım saati (PHC) içerir.
NVIDIA Ağı Spectrum-X
Kenar ve veri merkezi ağları, AI ve kablosuz gelişmelerin ve performansın artmasında önemli bir rol oynar. Dağıtılmış AI model çıkarımı, jeneratif AI ve dünya standartlarında vRAN performansı için temel unsurlardır.
NVIDIA BlueField-3 DPUs, optimal uygulama performansı için yüzlerce ve binlerce NVIDIA Blackwell GPU arasında verimli bir ölçeklendirme sağlar.
NVIDIA Spectrum-X Ethernet platformu, AI bulutları için Ethernet tabanlı yüksek verimliliği artıracak şekilde tasarlanmış olup, 5G zamanlama senkronizasyonu için gerekli tüm işlevsellikleri içerir. Geleneksel Ethernet’e kıyasla 1.6 kat daha iyi AI ağ performansı sunar ve çok kiracılı ortamda tutarlı, öngörülebilir performans sağlar.
Aerial RAN Computer-1 Üzerindeki Yazılım Yığınları
Aerial RAN Computer-1 üzerindeki ana yazılım yığınları şunlardır:
- NVIDIA Aerial CUDA-Hızlandırmalı RAN
- NVIDIA AI Enterprise ve NVIDIA NIM
- NVIDIA Cloud Functions
NVIDIA Aerial CUDA-Hızlandırmalı RAN
NVIDIA Aerial CUDA-Hızlandırmalı RAN, Aerial RAN Computer-1 üzerinde çalışan 5G ve özel 5G için, NVIDIA tarafından oluşturulmuş ana RAN yazılımıdır. Bu, AI bileşenleri ile kolayca değiştirilebilen ve genişletilebilen GPU hızlandırmalı PHY ve MAC katmanı kütüphaneleri içerir. Bu sağlam RAN yazılım kütüphaneleri, diğer yazılım sağlayıcıları, telekom şirketleri, bulut hizmet sağlayıcıları ve işletmeler tarafından özel ticari sınıf, yazılım tanımlı 5G ve gelecekteki 6G radyo erişim ağlarını oluşturmak için de kullanılabilir.
NVIDIA AI Enterprise ve NVIDIA NIM
NVIDIA AI Enterprise, kurumsal jeneratif yapay zeka için bir yazılım platformudur. NVIDIA NIM, jeneratif AI uygulamaları için temel modellerin dağıtımını basitleştiren mikro hizmetlerden oluşan bir koleksiyondur.
Birlikte, üretim sınıfı yardımcı pilotlar ve diğer jeneratif yapay zeka uygulamalarının geliştirilmesini ve dağıtımını hızlandıracak şekilde kolay kullanımda mikro hizmetler ve planlar sunmaktadır. İşletmeler ve telekom şirketleri, yönettiği NVIDIA Elastic NIM hizmetine abone olabilir veya NIM’i kendileri dağıtıp yönetebilir. Aerial RAN Computer-1, NVIDIA AI Enterprise ve NIM ile ilgili yapay zeka ve jeneratif yapay zeka iş yüklerini barındırabilir.
NVIDIA Cloud Functions
NVIDIA Cloud Functions, güvenlik, ölçeklenebilirlik ve güvenilirlik sağlayan GPU hızlandırmalı AI iş yükleri için sunucusuz bir platform sunar. Çeşitli iletişim protokollerini destekler:
- HTTP sorgulaması
- Akış
- gRPC
Cloud Functions, çıkarım ve ince ayar gibi daha kısa süreli, öncelikli iş yükleri için idealdir. Bu, AI iş yüklerinin zamanında değişiklik gösterdiği Aerial RAN Computer-1 platformunda mükemmel bir şekilde uyum sağlamak için uygundur.
Dağıtım Seçenekleri ve Performans
Aerial RAN Computer-1, radyo erişim ağındaki tüm noktalara yayılma seçenekleri sunar:
- Radyo baz istasyonu hücre alanı
- Temas noktaları
- Mobil anahtarlama ofisleri
- Temel bant otelleri
Özel 5G için işletme yerinde de yer alabilir. Aerial RAN Computer-1, özel, genel veya hibrit bulut ortamlarını destekleyebilir ve lokasyon veya arayüz standartından bağımsız olarak aynı yazılımı sağlar. Bu yetenek, tek amaçlı RAN bilgisayarlarına kıyasla benzersiz bir esneklik sunmaktadır.
Ayrıca, çeşitli ağ teknolojilerini desteklemektedir:
- Açık Radyo Erişim Ağı (Open-RAN) mimarileri
- AI-RAN
- 3GPP standartları
- Diğer endüstri lideri spesifikasyonlar
GB200 tabanlı Aerial RAN Computer-1, RAN işlemlerinde, AI işlemlerinde ve enerji verimliliğinde önceki NVIDIA H100 ve H200 GPU’larına kıyasla sürekli performans iyileştirmeleri sunmaktadır.
Sonuç
AI-RAN, telekom endüstrisini devrim niteliğinde değiştirecek ve telekom şirketlerinin, yapay zeka, robot teknolojileri ve otonom uygulamalar yoluyla yeni gelir kaynakları elde etmelerini sağlayacaktır. NVIDIA AI Aerial platformu, AI-RAN’ı hayata geçirir ve bunu, kablosuz ağların yapay zeka yerleşik hale gelmesi konusunda NVIDIA’nın daha geniş vizyonu ile birleştirir.
Aerial RAN Computer-1 ile telekom şirketleri, AI-RAN’ı bugün ortak bir altyapı üzerinde dağıtabilir. RAN ve AI iş yüklerini eşzamanlı olarak çalıştırarak, verimliliği artırabilir ve AI algoritmaları ile RAN performansını iyileştirebilir. En önemlisi, bu ortak bilgisayar ile, yerel hesaplama ve veri egemenliği gereksinimleri olan işletmeler için yapay zeka altyapısı olma fırsatına sahip olursunuz. Yapay zeka öncelikli bir yaklaşımla başlayabilir ve sonraki aşamada yazılım güncellemesi ile RAN’ı dahil edebilirsiniz. Bu durum, yatırım geri dönüşünüzü maksimum düzeye çıkarmanıza olanak tanır.
T-Mobile ve SoftBank, AI-RAN’ı öncü RAN yazılım sağlayıcıları ile birlikte ticarileştirme planlarını zaten duyurdular. Mobil Dünya Kongresi’nde, Vapor IO ve Las Vegas Şehri, NVIDIA AI Aerial kullanarak dünyanın ilk özel 5G AI-RAN dağıtımını duyurdular.
Yapay zekayı kablosuz ağları dönüştürmede yeni bir dönüm noktasındayız. NVIDIA AI Zirvesi’nde detayları öğrenmek için Washington, D.C.’de ve NVIDIA 6G Geliştirici Günü‘nde yer alın.
