Yapay zeka (AI) alanındaki büyüme, hesaplama gücünün hızla artmasını ve her birkaç yılda bir ağ hızlarının iki katına çıkmasını sağlıyor. Ancak, bu gelişimle birlikte depolama alanında da yeni talepler ortaya çıkıyor.
Yeni modellerin eğitimi, petabaytlarca veriye yüksek bant genişliğine sahip ağ erişimi gerektirirken, en son türdeki retrieve augmented generation (RAG) ile yapılan çıkarımlar, yüzlerce terabayt depolama alanına düşük gecikmeli erişim talep ediyor. Ayrıca, bu yeni yapay zeka modelleri zengin görüntü ve video verileri üzerinden eğitim, indeksleme ve erişim gerçekleştiriyor. Yeni AI çıkarım indeksleri ve arama araçları, vektör veritabanları üzerine inşa ediliyor ve gömülü içerik hakkında kapsamlı metadata koruma ihtiyacı da doğuyor.
Geleneksel dosya depolama çözümleri, bu yeni iş yükleri için yeterince uygun değil ve geleneksel depolama donanımları, yapay zeka altyapısını desteklemek adına en verimli veya performanslı şekilde çalışmıyor. Genellikle, büyük veri setleri için nesne depolama mimarisi en iyi çözüm olarak öne çıkıyor. Yeni depolama çözümleri, fiyat ve enerji tüketimi açısından daha iyi performans ve verimlilik sunmalıdır.
Depolama İçin DPU Dönemi Başlıyor
Supermicro, uzun süredir doğrudan bağlı depolama veya ağ üzerinden dosya ya da nesne depolama çözümleri sunuyor. Şimdi ise NVIDIA’nın BlueField veri işleme birimi (DPU) ile güçlendirilmiş yeni bir JBOF (sadece bir yığın flaş) sunmaya hazırlanıyor.
Geleneksel depolama sunucu tasarımı yerine, DPU, yazılımı çalıştırmak, ağ bağlantısını sağlamak, uzaktan yönetimi desteklemek ve kritik ağ, depolama ve güvenlik işlevlerini hızlandırmak için özel bir silikon kullanıyor. Bu yeni JBOF, CPU, bellek, ağ kartları, CPU PCIe anahtarı, kripto hızlandırıcılar ve uzaktan yönetim portunu DPU kartı ile değiştiriyor. Dış PCIe anahtarları, SSD’lere bağlantı sağlamak için hala gerekebilir.
BlueField, NVIDIA’nın lider DPU’su olup, ağ, depolama, güvenlik ve yönetim özelliklerini hızlandırmak ve yükünü azaltmak için optimize edilmiştir. DPU, ağ, CPU, bellek denetleyicileri, PCIe anahtarı ve trafik hızlandırıcıları gibi bileşenleri tek bir çipte birleştirerek, verilerin SSD’ler ile yüksek hızlı ağ portları arasında dış CPU’ya ihtiyaç duymadan doğrudan akmasını sağlar. Bu durum, düşük gecikmeli depolama erişimini mümkün kılarken, maliyet, performans ve enerji verimliliği açısından sistemi daha verimli hale getirir.
Yeni Supermicro JBOF Modeli
Supermicro’nın yeni 2RU JBOF modeli, ya 36 E3.S SSD ya da 24 U.2 SSD’yi destekleyen esnek bir tasarım sunarak, brüt kapasiteyi 1.44 PB’a kadar çıkarıyor; yakın gelecekte 60 TB SSD’lerle bu kapasite 2 PB’a kadar yükselebilecek. İki kontrol ünitesi barındıran sistem, her biri iki BlueField-3 DPU ve bir NVIDIA GPU’yu destekleyebiliyor.
JBOF, her bir ünite için aktif-aktif veya aktif-pasif yüksek kullanılabilirlik sunmak üzere iki kontrol ünitesi ile ya da yazılımlar tarafından sağlanan yedeklilik ve hata toleransı nedeniyle maksimum verimlilik için bir kontrol ünitesi ile yapılandırılabiliyor.
Şekil 2’de görüldüğü üzere, her kontrol ünitesi, iki NVIDIA BlueField-3 DPU ve bir NVIDIA GPU kartı barındırıyor. Müşteriler, JBOF başına iki kontrol ünitesi kullanarak yüksek kullanılabilirlik sağlayabilirken, bir kontrol ünitesi ile daha fazla maliyet verimliliği ve azaltılmış enerji tüketimi elde edebilir.
Yoğun tasarımı, hem ölçeklenebilir hem de ölçeklenebilir dosya ve nesne depolama için idealdir; ayrıca JBOF başına 800 Gb/s’ye kadar ağ performansı ile AI eğitimi ve HPC iş yüklerinin ihtiyaçlarını karşılamaktadır.
Supermicro JBOF modelinin testleri, bir BlueField DPU kurulu olduğunda, 400 Gb/s’lik ağ bağlantılarının %100 oranında doygunluğa ulaştığını göstermektedir. BlueField tabanlı JBOF, küçük blok (4 KB) rastgele okuma iş yükünde %13 daha düşük bir gecikme sunarak, geleneksel bir X86 tabanlı JBOF’a kıyasla 86 μs değerine ulaşmıştır.
DPU kartının, CPU, bellek, ağ kartı ve BMC’yi değiştirmesi, non-SSD alt sistemi için %50’e kadar güç tasarrufu ve tüm JBOF (SSD’ler dahil) için %10-15 güç tasarrufu sağlamaktadır. Büyük ölçekli depolama dağıtımlarında, bu durum veri merkezi genelinde kilovatlarca enerji tasarrufu anlamına gelebilir.
Çözüm Ortakları
Bu JBOF, bulut dağıtımları ve nesne depolama için idealdir. Bu nedenle, Supermicro, Cloudian, Hammerspace, Kioxia ve Micron gibi çeşitli ortaklarla iş birliği yapmaktadır.
Cloudian, videolar, sesler, fotoğraflar ve vektör veritabanları gibi büyük içeriğe hızlı erişim için optimize edilmiş ölçeklenebilir yüksek performanslı nesne depolama çözümleri sunuyor. Cloudian yazılımı, hem depolama istemcilerinde hem de Supermicro JBOF’taki BlueField DPU üzerinde çalışarak, JBOF’ta daha hızlı performans ve daha yüksek verimliliği sağlamaktadır.
Hammerspace, petabaytlarca veri ve milyarlarca dosya için optimal paylaşım koşulları sağlayan ölçeklenebilir bir paralel dosya sistemi sunmaktadır. Birçok AI ve HPC iş yükü dosya depolamaya ihtiyaç duyar ve Hammerspace çözümü, küresel bir ad alanı, daha yüksek performans için paralel erişim ve veri yönetim hizmetleri sunarak, veri akışını otomatikleştirmektedir. Hammerspace yazılımının sunucu tarafı, Supermicro JBOF içindeki BlueField DPU üzerinde çalışır.
Kioxia ve Micron, farklı kapasiteleri, performans seviyelerini ve maliyet noktalarını destekleyen, hem U.2 hem de E3.S form faktörlerinde yenilikçi SSD’ler sunmaktadır. Supermicro, her müşterinin depolama iş yükü için en uygun SSD türünü sunmaktadır.
Supermicro, bu yeni JBOF’u daha fazla ölçeklenebilir depolama çözümlerine entegre etmek için ek yazılım, SSD ve sistem ortaklarıyla çalışmalarını sürdürmektedir.
OCP Küresel Zirvesi’nde Görün
Yeni Supermicro BlueField destekli JBOF, 2024 OCP Küresel Zirvesi’nde, 15-17 Ekim tarihlerinde Kaliforniya, San Jose’de bulunan Supermicro standında (B21) sergilecektir. Ayrıca, Supermicro ve NVIDIA, 16 Ekim Çarşamba günü saat 13:10’da DPU destekli AI depolama konulu bir oturum gerçekleştirecekler (Concourse Level, 210DH).
Daha fazla bilgi ve NVIDIA ile ilgili oturumların tamamı için NVIDIA OCP Zirvesi 2024 sayfasını ziyaret edebilirsiniz.
