Görüntü rehberli cerrahi ve cerrahi görsel alanlarında geliştiren programcılar, cerrahi iş akışlarını önemli şekilde iyileştirecek sistemler ve uygulamalar oluştururken çeşitli zorluklarla karşılaşmaktadır. Bu zorluklardan biri, çoklu modda görüntüleme verilerini etkili bir şekilde birleştirmektir; bu veriler, preoperatif 3D hasta görüntüleri ile intraoperatif video‘yu içerir. Bu, minimal invaziv veya robotik destekli prosedürlerde cerrahların gerçek zamanlı ve doğru yönlendirme almasını sağlamak için kritik öneme sahiptir.
Bu yazıda, ImFusion’un NVIDIA Holoscan entegrasyonu ile sağladığı gerçek zamanlı sensör işleme, Yapay Zeka ve I/O tekniklerini ele alıyoruz. NVIDIA Holoscan’ın, pipeline performansını iki katına çıkarmayı nasıl sağladığını inceleyeceğiz ve iki görüntüleme modunun birleşiminin cerrahi hassasiyetin artırılmasına, komplikasyonların azaltılmasına ve daha iyi sonuçlara nasıl katkıda bulunduğunu açıklayacağız.
Çoklu Modda Cerrahi Verileri Birleştirme Zorlukları
Minimal invaziv veya robotik görüntü destekli cerrahi işlemlerde, doğru yönlendirme ve hastanın anatomisine dair detaylı bir anlayış, cerrahi prosedürün başarısı için belirleyici bir unsurdur.
Preoperatif planlama sırasında, cerrahlar 3D tanısal görüntüleme teknikleri gibi çoklu modaliteleri kullanarak anormallikleri tespit eder, hedef bölgeleri belirler ve kan damarları gibi kritik yapıları tanımlarlar.
Ancak, bu preoperatif 3D görüntü veri setlerini canlı cerrahi işlemler sırasında intraoperatif video ile sorunsuz bir şekilde birleştirmek önemli bir zorluk olarak kalmaktadır; çünkü cerrahlar genellikle bu değerli preoperatif verilere ulaşamadan cerrahiyi sürdürmek zorundadırlar.
Gelecek nesil medikal cihazların, ameliyathanede prosedürel rehberlik hizmeti vermek için, pre ve intra operatif çoklu veri kullanabilen uygulamalara ihtiyacı bulunmaktadır. Bu uygulamalar, aşağıdaki işlevleri yerine getirecek şekilde çok sayıda hesaplama yoğun iş akışını eş zamanlı olarak yürütmelidir:
- Gerçek zamanlı anatomi takibi: Prosedür sırasında hedeflenen doku ve organların yüzeyini doğru bir şekilde izleyebilmek.
- Preoperatif ve intraoperatif verileri birleştirme: Preoperatif 3D görüntüleri canlı cerrahi video akışlarıyla sorunsuz bir şekilde harmanlamak.
- Düşük gecikmeli görselleştirme: Cerrahi sırasında 100 ms’den az gecikmeyle birleştirilmiş çoklu modal bilgi sunmak, el-göz koordinasyonu ve gerçek zamanlı karar verme için kritik öneme sahiptir.
Bunun için, Yapay Zeka, hızlandırılmış hesaplama ve gelişmiş görselleştirme yeteneklerinin eşsiz bir kombinasyonu gereklidir.
Gerçek Zamanlı 3D Cerrahi Rehberlik: Preoperatif ve Canlı Verilerin Birleştirilmesi
Canlı veri sınırlamalarını aşmak amacıyla, ImFusion, Münih merkezli bir şirket olarak NVIDIA Connect Programı üyesi olarak, NVIDIA Holoscan’ı entegre eden bir sistem geliştirmiştir. Böylece preoperatif verileri gerçek zamanlı intraoperatif görüntüleme ile birleştirmeyi mümkün kılmıştır.
Yeni sistem, belirli bir anatomik yapının yüzeyini 3D mesh (üç boyutlu ağ) biçiminde takip etmektedir; bu model, yapının şeklini ve konturlarını doğru bir şekilde yansıtan dijital bir modeldir ve cerrahın görüşüne pürüzsüz bir şekilde entegre edilmektedir. Mesh, preoperatif bir CT taramasından çıkarılmıştır ve ardından bir laparaskopik kameradan gelen canlı video akışına anlık olarak bindirilmiştir.
Bu sayede cerrahlar, harmanlanmış intraoperatif ve preoperatif hasta bilgilerini görselleştirerek daha iyi birer karar alma yeteneğine sahip olmaktadırlar.
NVIDIA Holoscan ve NVIDIA IGX Kullanarak Gerçek Zamanlı Cerrahi Veri Birleştirme
ImFusion’un çözümü, görüntü işleme, kayıt, analiz ve görselleştirme algoritmalarını içeren kendi özel ImFusion SDK’sına dayanmaktadır. NVIDIA Holoscan’ın entegrasyonu, performans, verimlilik ve esneklik konularında yeni seviyeler sunmuştur.
ImFusion’un Bilgisayarla Görme departmanı yöneticisi Alexander Ladikos’un belirttiği gibi: “Holoscan’ı ImFusion SDK’mıza entegre etmemiz, cerrahi uygulamalar için önemli olan hemen hemen gerçek zamanlı performans elde etmemize yardımcı oldu. Geliştirme sürecimizi hızlandırdı, zaman kazandırdı ve mevcut ile özel operatörleri gelecekteki projelerde yeniden kullanma imkânı sağladı.”
Bu entegrasyon, ImFusion’un canlı ve birleştirilmiş preoperatif verileri aynı anda görüntüleyebilen düşük gecikmeli, Yapay Zeka destekli sensör akış uygulamalarını inşa edip çalıştırmasını sağladı.
ImFusion sisteminin temelini, Holoscan hızlandırma yeteneklerini kullanan üç önemli sinir ağı oluşturmaktadır:
- Stereo Derinlik Tahmini: Bu ağ, endoskopik stereo video karelerinden derinlik bilgisi üretmektedir ve bu işlem, sentetik verilerle eğitilmiş modern bir CNN temelli model aracılığıyla gerçekleştirilmektedir. Holoscan’ın gerçek zamanlı işleme kabiliyetleri, video akışlarından anında derinlik tahmini sağlamıştır ve bu, cerrahi rehberlik için kritik mekansal bilgileri sunmaktadır.
- Optik Akış Tahmini: Çeşitli cerrahi senaryolar arasında sağlam performans sağlamak için bu ağ, çerçeveler arasındaki 2D piksel hareketlerini hesaplamaktadır. Holoscan, 3D alana projeksiyon için hızlı 2D akış tahmini yapma imkânı sunarak sistemin cerrahi alandaki hareketi takip etme yeteneğini artırmıştır.
- Segmentasyon:ORSI Academy tarafından geliştirilen bu derin öğrenme segmentasyon modeli, cerrahi aletleri ve hedef dokuyu tanımlamaktadır; bu işlem, doğru takibi ve bindirmeyi sağlamak için gereklidir. Holoscan, segmentasyon bölgelerinde 3D akış tahminlerinin hızlı analizini gerçekleştirerek sistemin belirli anatomik yapıları ve aletleri gerçek zamanlı olarak doğru şekilde tanımlayıp takip etmesini mümkün kılmıştır.
Bu üç sinir ağı üzerine inşa edilen ImFusion sistemi, etkileyici bir gerçek zamanlı performans elde etmektedir.
Preoperatif bir CT taramasından elde edilen bir yüzey mesh’i, ilgili anatomik yapıyla manuel olarak kaydedilmekte ve prosedür boyunca otomatik olarak izlenmektedir. NVidia RTX 6000 Ada GPU ile donatılmış bir NVIDIA IGX Geliştirici Kiti kullanarak, sistem ~13.5 Hz ortalama kare hızı ve 75 ms altı bir uçtan uca gecikme süresi hedeflemektedir.
Bu gecikme süresi daha da optimize edilmeye çalışılmasına rağmen, önceki donanım yapılandırmalarına ve NVIDIA TensorRT AI model çıkarım optimizasyonuna göre %50 oranında bir gecikme süresi iyileşmesi sağlamaktadır.
Cerrahi Navigasyonu İyileştirme ve Gelişimi Hızlandırma
Bu yüksek performans düzeyi, cerrahi uygulamalar için kritik öneme sahiptir; çünkü cerrahların anında görsel geri bildirim almasını sağlamakta ve cerrahi sahnenin görülmesini benzeri görülmemiş bir düzeye çıkarmaktadır.
Avrupa’nın en büyük robotik cerrahi eğitim merkezi olan ORSI Academy, gelişime katkıda bulunarak NVIDIA ve ImFusion ile işbirliği yapmış ve klinik anlamını güçlendirmiştir.
Dr. Pieter De Backer, ORSI Academy’nin cerrahi AI departmanı olan Orsi Innotech’ın başında olduğu için, “Canlı video akışlarını 3D mesh projeksiyonu ile birleştirerek, minimin invaziv veya robot destekli prosedürlerde karmaşık anatomik yapıları takip etmemizdeki kabiliyetimizi artırıyor. Örneğin, zor renal cerrahi durumlarında, endofitik tümör yüzey mesh’inin canlı görselleştirilmesi, tümör sınırını belirlemekte ve sağlıklı dokulara zarar vermeyi minimize etmektedir.” demiştir.
Holoscan-SDK’in düşük gecikmeli görevler ve Yapay Zeka çıkarım yüklemeleri için entegrasyonu, AI destekli yazılım olarak medikal cihazların geliştirilmesini hızlandırmaktadır. ImFusion-SDK gibi alan spesifik çerçevelerle uyumu, geliştirme süresini kısaltan ve maliyetleri yabancı hale getiren-oluşturan bir gelişim ortamı yaratmaktadır.
Ekosistem İş Birliği ve Açık Kaynak Katkıları
ImFusion ve NVIDIA Holoscan arasındaki iş birliği, minimin invaziv ve robotik destekli işlemlerde mümkün olanı artırmaktadır; AI, hızlandırılmış hesaplama ve alan spesifikliği bir araya gelerek hassasiyet, performans ve güvenliği artırmaktadır. ImFusion’un Holoscan referans uygulamalarına yaptığı katkılar, medikal teknoloji müşterileri tarafından entegrasyon ve inşa için kullanılabilirken, çoklu veri birleştirme uygulaması çok yakında kullanıma sunulacaktır.
AI destekli medikal cihazların geliştirilmesini hızlandırmak ve cerrahi rehberlik için gerçek zamanlı sensör birleştirmeyi ilerletmek için Holoscan referans uygulama deposunu keşfetmenizi ve katkıda bulunmanızı bekliyoruz.
