“`html
Bu ayın başlarında, ExaAILabs’ın Exacluster’ından bahsetmiştik. Bu sistem, 144 Nvidia H200 GPU ile donatılmış 18 makineden oluşuyor ve bu işlemcilere dayanan ilk kümelerden biri olarak dikkat çekiyor. O zamandan beri, bu kümeyi kuran Hydra Host şirketi, sistem hakkında ek bilgiler sağladı. Kümeyi oluşturan makineler, Hydra Host tarafından önemli ölçüde özelleştirilmiş Lenovo sistemleri kullanıyor. Ayrıca, makine kullanıma sunulmadığında, Hydra’nın Brokkr platformu aracılığıyla kiralanabiliyor.
Yüksek Hesaplama Gücü
Kümenin omurgasını, 144 Nvidia H200 GPU ve 20TB HBM3E bellek ile donatılmış 18 Lenovo düğümü oluşturuyor. Her sistemde sekiz GPU bulunuyor ve AI için 570 FP8 PetaTOPS hesaplama kapasitesine sahip. 16 düğüm, büyük hesaplama ve bellek performansı gerektiren eğitim için HydraHost tarafından yapılandırılmışken, kalan iki düğüm ise çıkarım amacıyla kullanılıyor. Ayrıca, Hydra Host, GPU’ların yönetimi ve uzaktan kiralanması için Brokkr platformunu kurmuştur.
Hydra Host, kümenin ihtiyaçlarına göre özelleştirilmiş yüksek performanslı bir ağ mimarisi oluşturmak için Computacenter ile iş birliği yaptı. Bu sistem, doğu-batı trafiği için 3.2Tbps InfiniBand ve kuzey-güney iletişimi için 400Gbps Ethernet kullanıyor. Her sunucu için Çift 200Gbps bağlantı ve 400Gbps Dell Ethernet anahtarları mevcut. Computacenter’ın ağ mühendisleri, tüm bileşenlerin Nvidia’nın referans mimarisiyle uyumlu olmasını sağladı.
En İyi Fiyatla En İyi Performans
Exacluster’ın toplam maliyeti 5 milyon dolar olup, makine başına ortalama 277,777 dolar olarak hesaplanıyor. Bu fiyat, tam bir sunucudan ziyade tek bir 8 yollu H200 ana kartına benzer. Peki, bu fiyatı nasıl oluşturdu?
Bir yandan, Hydra Host, Nvidia’nın yakın bir iş ortağıdır ve sadece Nvidia GPU’ları hizmeti sunmaktadır. Ayrıca, Brokkr yazılımı esasen CUDA için optimize edilmiştir. Öte yandan, ExaAI, Nvidia tarafından desteklenen bir şirket olarak, muhtemelen öncelikli fiyatlar alabilmektedir.
Ryan Horjus, Hydra’nın Kıdemli Satış Mühendisi, “Müşterilerimize ihtiyaçlarına uygun en iyi GPU’yu en uygun fiyatla sağlamakta en iyiyiz.” dedi. “Bu küme, mimari tasarım ve Nvidia’nın Inception programı tarafından desteklendi. Hydra, bu projeyi Exa için gerçekleştirdiği gibi diğer şirketler için de gerçekleştirmektedir.”
Brokkr’ın Avantajları
Hydra, başlangıç şirketleri için özel çözümler geliştirme konusunda da uzmanlaşmıştır ve kullanılmadıklarında makineleri monetize ederek gelir sağlamaktadır. Horjus, “Hydra, başlangıçların kendi kümelerine daha iyi fiyatlarla girmelerine yardımcı oldu.” şeklinde ekledi. “Ağımız aracılığıyla ideal fiyatlandırma elde edebiliyorlar. Ayrıca, Brokkr yönetim platformu sayesinde kullanılmadıkları zaman sunucuları kiralayabiliyorlar.”
Brokkr, GPU yönetimi ve sağlama yazılımı ile GPU’lar için bir monetize platformudur. Veritabanları ve başlangıçlar için, donanımlarını müşterilerine ulaştırmak ve onlardan ödeme almak üzere anahtar teslim bir yazılım çözümü sağlıyor. Ariel Deschapell, Hydra‘nın CTO’su, “Ana özelliklerinden biri otomatik çıplak metal sağlama ve yaşam döngüsü yönetimidir.” diye belirtti. “Bu, platformun sunucu işletim sistemi ve firmware’ini yapılandırma, sürücüleri ve diğer destekleyici yazılımları kurma işlemlerinin tümünü gerçekleştiriyor. Bu, teslimat sürecini önemli ölçüde hızlandırarak sunucu ve GPU’ların boşta kalma süresini azaltıyor.” şeklinde devam etti.
“`
