Enerji sektöründe dijital dönüşüm, HPC (Yüksek Performanslı Hesaplama) iş yükleri ve uygulamaları için önemli bir hesaplama talebi artışı gerektiriyor. Bu durum, özellikle ters zaman göçü (RTM) ve tam dalga tersiyerlemesi (FWI) gibi gelişmiş sismik görüntüleme yöntemlerinde net bir şekilde görülüyor. Maksimum frekansı iki katına çıkarmanın, hesaplama iş yükünü 16 kat artırabileceği bilgisi dikkat çekici. Ayrıca, rezervuar simülasyonlarında, üç boyutta ızgara ayrıştırmasında iki kat azalma ile hesaplama gereksinimlerinin sekiz kat artabileceği de bu gelişmelerin bir parçası.
Bu gelişmeler, enerji sektöründeki HPC taleplerine yanıt verebilecek esnek ve ölçeklenebilir hesaplama kaynaklarına olan acil ihtiyacı vurguluyor. Bulut bilişim ise artan hesaplama gereksinimlerini karşılayabilmek için uygun bir çözüm sunuyor. Ancak, bulut bilişimde optimal performans ve maliyet elde edebilmek için mevcut HPC uygulamalarını modernleştirmek adına önemli mühendislik çalışmaları gerekmektedir.
AWS Enerji HPC Orkestratörü, bu zorlukların üstesinden gelmek için entegre bir ortam sağlayarak dikkat çekiyor. AWS ile birlikte önde gelen enerji şirketleri tarafından geliştirilen bu açık endüstri platformu ve pazar yeri ekosistemi, işlem modülleri arasında interoperabilite sağlayarak optimize edilmiş ölçeklenebilirlik, esneklik ve ekonomik faydalar sunmayı hedefliyor. Ayrıca, modernizasyon mühendislik çabalarını kolaylaştırmak ve her katılımcının farklı teknolojilerine odaklanabilmesi için, önceden optimize edilmiş bulut yerel HPC şablonları sunmaktadır.
AWS Enerji HPC Orkestratörü Tasarımı
AWS Enerji HPC Orkestratörü referans mimarisi aşağıdaki temel bileşenleri içeriyor:
- Farklı türde HPC uygulamalarının ortak bir depolama sistemi kullanarak orkestrasyonunu sağlayan bir sistem.
- AWS Enerji HPC Orkestratörü ile uyumlu olan ve pazar yeri üzerinden dağıtılan HPC uygulamaları ekosistemi.
- HPC uygulamaları arasında veri değişimi için gerekli veri standartlarını içeren bir set.
Uzantılar
Uzantılar, sistemin alan özel yeteneklerini sağlayan eklentilerdir. Örneğin, RTM veya FWI gibi algoritmaların farklı uygulamalarını sağlayan uzantılar bulunabilir. Uzantılar, temel şartlar tarafından tanımlanan olay tabanlı protokolleri uygulamak için gereklidir.
RTM Şablonu
Şablonlar, bir algoritma sınıfı için yeniden kullanılabilir ve bu algoritmaların AWS’de çalıştırılmasına dair en iyi uygulamaları kapsar.
RTM şablonu, geleneksel bir RTM sismik işlem uygulamasını modernleştirilmiş, bulut yerel bir uygulamaya dönüştürmek üzere tasarlanmıştır. Bu tasarım, yüksek kaliteli sismik görüntüleme algoritmalarının ölçeklenebilirliğini, dayanıklılığını ve operasyonel verimliliğini artırmak için güçlü AWS hizmetlerinden faydalanır.
RTM algoritmasının yürütülmesi, dört ayrı ve bağımsız mikro hizmetten oluşan dinamik bir arka planda gerçekleşir. Bu mikro hizmetler, RTM algoritmasının belirli bir görevine yönelik özel olarak tasarlanmıştır:
- Analiz
- Göç
- Azalma
- Dönüştürücü
Analiz Servisi
Bu mikro hizmet, genellikle bir sismik dosyanın konumunu belirten bir çalışma maddesini giriş veri kuyruğundan satın alarak iş akışını başlatır. Ardından, dosyanın başlık bilgilerini veya meta verilerini tarayarak içerdiği atış sayısını tespit eder.
Daha sonra, her bir atış için Analiz Servisi, bireysel çalışma madde ayrıntılarını oluşturarak bu meta verileri göç kuyruğuna yönlendirir ve görevi daha küçük, bağımsız işleme birimleri haline getirir.
Göç Servisi
Göç Servisi, göç kuyruğundan çalışma madde ayrıntılarını alır. Modelleri yükler ve giriş sismik veri dosyasından verileri okur. Ardından, ileri dalga denklemini çözer ve karşıt dalga denklemini kullanarak 3D bir görüntü oluşturur. Elde ettiği görüntüyü nesne havuzuna yükledikten sonra, stacking için azalma kuyruğuna uygun bir çalışma maddesi gönderir.
Azaltma Servisi
Bu servis, azalma kuyruğundan iki çalışma maddesini alarak işler. Nesne havuzundan iki ilgili görüntüyü alır ve bunları tek bir görüntü olarak yığar. Yığılmış görüntü daha sonra nesne havuzuna yeniden yüklenir ve bir çalışma maddesi yeniden azalma kuyruğuna gönderilir.
Bu döngü, azalma kuyruğunda yalnızca tek bir bileşik çalışma maddesi kaldığında, yani tüm veri kümesi için RTM işleminin tamamlandığı belirtilir.
Dönüştürücü Servisi
Bu servis, son yığılmış görüntüyü uygun son formata dönüştürür.
Kuyruklama ve Ölçeklendirme
Mikro hizmetler arasındaki dolaylı etkileşim, bir kuyruklama sistemi üzerinden sağlanır. Bu, sistemin dayanıklılığını ve hata toleransını artırmakla birlikte her hizmetin özerk bir şekilde ölçeklenmesini sağlar. Otomatik ölçeklendirme grubu sayesinde, hizmetler sıralanan iş maddelerine veya sismik atış sayısına göre dinamik olarak ölçeklendirilir ve kaynakların optimal tahsisini sağlar.
Bulut yerel hizmetler kullanarak, sunucusuz hesaplama için gerçek zamanlı izleme ve olay tabanlı işlemlerle bu mimari, geleneksel HPC orkestrasyon yöntemleri olan MPI veya Slurm gibi yöntemleri terk eder, yerine bulutta RTM uygulamalarını daha çevik ve sağlam bir şekilde uygulamayı mümkün kılar.
Her hizmetin iş akışı asenkron olarak çalışır, böylece tek bir arıza veya işlem, bir darboğaz oluşturmaz. Kuyruk tabanlı iletişim, hizmetlerin ayrılmasını sağlayarak hata toleransını artırır ve yüksek asenkron atış işleme sistemini teşvik eder. Asenkronluk, ölçeklenebilirliği güvence altına alır ve sistemin hata toleransını daha da güçlendirir.
Her mikro hizmet özerk olarak çalışır ve kuyruklu iş yüküne göre yukarı veya aşağı ölçeklenir. Bu tasarım, bireysel bileşen arızalarına karşı dayanıklılığı garanti eder ve çeşitli yükleri verimli bir şekilde yönetmek için esneklik sunar. Asenkron ve dayanıklı bu mimari, AWS Spot Instances kullanarak performans ve maliyet optimizasyonu için de önemli bir avantaj sağlar.
Farklı hizmetler için çeşitli örnek türleri tahsis edilerek maliyet ile performans arasında optimal bir denge sağlanır. Örneğin, Analiz Servisi genel amaçlı örnekleri kullanabilirken, Göç Servisi HPC örnekleri ile çalışabilir, Azaltma Servisi ise ağ optimizasyonu yapılmış örnekleri tercih edebilir.
NVIDIA Enerji Örneklerinin Entegre Edilmesi
RTM, jeofizik alanında yaygın olarak kullanılan bir sismik görüntüleme tekniğidir. Bu teknik, doğru yer altı görüntüleri oluşturmak için kritik bir rol oynamaktadır. RTM, sismik dalgaların yerkürenin yer altı modelinde yayılmasını çözerek jeofizikçi