NVIDIA Isaac ile Sağlık Alanında Telesürji İş Akışına Başlarken

Teles cerrahi, artık hayal gibi bir fikir değil; sağlık hizmetlerinin sunumunda önemli bir unsur haline geliyor. Küresel ölçekte 2030 yılına kadar 4.5 milyon cerrah açığı beklenirken, kırsal hastanelerin uzmanlardan yoksunluğu, uzmanların uzaktan operasyon gerçekleştirebilme yeteneğinin deneyseldenkaçınılmaz hale gelmesine yol açıyor.

Değişen Nedenler

Bir çok şey değişti:

Ağ teknolojileri gelişti. 5G ve düşük gecikmeli altyapılar, kıtalar arası gerçek zamanlı video işbirliğini mümkün kılıyor.
Yapay zeka ve simülasyon gelişti. Cerrahlar, artık ameliyathaneye girmeden önce fotogerçekçi ortamlar üzerinde sistemleri eğitme ve doğrulama imkânına sahip.
Standartlaşmış platformlar ortaya çıktı. Sensörler, video ve robotikte özel çözümler bir araya getirmeden, geliştiricilerin paylaşılan altyapılar üzerinde çalışma yapmasına olanak tanıyor.

Teles Cerrahinin Karşılaştığı Zorluklar

Ancak teles cerrahi, önemli teknik zorluklar içeriyor:

Ameliyat hassasiyeti için ultra düşük gecikmeli video.
Güvenilir uzaktan robot kontrolü ve his geri bildirimleri.
Farklı çözümler arasında sorunsuz donanım entegrasyonu.

NVIDIA Isaac’in Rolü

İşte burada NVIDIA Isaac for Healthcare devreye giriyor. Geliştiricilere video ve sensör akışı, robot kontrolü, his geri bildirimleri ve simülasyonu kapsayan, üretim hazır, modüler bir teles cerrahi iş akışı sunuyor. Bu iş akışı, eğitim ve klinik ortamda uyarlanabiliyor, genişletilebiliyor ve dağıtılabiliyor.

Bu yazıda teles cerrahi iş akışının nasıl çalıştığını, nasıl başlanacağını ve neden cerrahi robotların gelecek neslini oluşturmanın en hızlı yolu olduğunu göreceksiniz.

Isaac for Healthcare Nedir?

Tıpkı üç bilgisayarlı mimari (NVIDIA DGX, NVIDIA OVX, NVIDIA IGX/NVIDIA AGX) gibi, Isaac for Healthcare da sağlık robotiklerinde tam geliştirme yığınını bir araya getirir. Bunun yanı sıra aşağıdaki kapsamlı araçlar ve yapı taşları sunar:

Uçtan uca örnek iş akışları (cerrahi ve görüntüleme).
Yüksek kaliteli tıbbi sensör simülasyonu.
Simülasyona hazır varlık kataloğu (robotlar, aletler, anatomiler).
Önceden eğitilmiş AI modelleri ve politika temelleri.
Sentetik veri oluşturma süreçleri.

Bu temelle, simülasyondan klinik dağıtıma aynı mimariyi kullanarak geçebilirsiniz.

Teles Cerrahi İş Akışı Nasıl Çalışır?

Teles cerrahi iş akışı, bir cerrahın kontrol istasyonunu, yüksek hızlı bir ağ aracılığıyla hasta tarafındaki cerrahi robota bağlar.

Cerrah tarafı: Birden fazla kamera görüntüsünü (genel görünüm + robot gözü) izler ve Xbox veya haptic kontrol cihazı ile komut verir.
Hasta tarafı: Kameralar cerrahi alanı yakalar ve robot, cerrahın girdiğine göre hassas hareketler gerçekleştirir.
Simülasyon modu: Isaac Sim’de benzer bir yapı, güvenli eğitim ve beceri aktarımı sağlar.

Sonuç olarak, klinik uzmanlar kriz anlarında, kırsal hastanelerde veya kıtalar arasında, duyarlılığını bozmadan işlemler yapabilirler.

Complete architecture of telesurgery use case demonstrating remote surgeon control. — *Şekil 1. Teles cerrahi iş akışı diyagramı*

Sistem Mimarisi

Sistem Mimarisi:

Bileşen	Ne Yapar?	Neden Önemlidir?
GPU Direct Sensor IO	Videoyu Holoscan Sensör Köprüsü üzerinden GPU’ya doğrudan akıtarak iletir.	Ultra düşük gecikmeli kamera/sensör entegrasyonu.
Video Akışı	Çoklu kamera yakalama (robot + oda), donanım hızlandırmalı.	Yüksek kaliteli, çok az gecikme ile.
RTI Connext DDS	Video, kontrol, telemetri arasındaki veri akışını yönetir ve QoS kontrolleri ile.	Güvenli, güvenilir, tıbbi sınıf iletişim.
Kontrol Arayüzleri	Xbox kontrol cihazı veya Haply Inverse3 haptik cihazı.	Force feedback ile tanıdık araçlar (maks. 3.3N).
Kontrol	Aletlerin konumlarına geri dönme, başlangıç, ölü bölgeler yönetir.	Klinik senaryolar için güvenli bir geri dönüş garanti eder.

Bu çözümün mimarisini detaylandıralım:

GPUDirect Sensör IO: Sistem, NVIDIA Holoscan Sensör Köprüsü (HSB) kullanarak videoyu gerçek zamanlı olarak GPU’ya akıtır. HSB, yüksek hızlı sensörleri eylem birikimlerine Ethernet üzerinden FPGA tabanlı bir arayüzle bağlayarak düşük gecikmeli veri transferini sağlar.
Video Akışı: Sistem, odanın genel görünümü ve robot gözü görüntüsü ile iki kamera görünümünü yakalar. Video kodlaması, NVIDIA donanım hızlandırma kullanarak kalitenin korunmasını sağlarken, gecikmeyi de en aza indirir. H.264 veya NVJPEG seçenekleri arasından seçim yapabilirsiniz.
- Çoklu Kamera Desteği: Robotun üstündeki kameralar ve genel oda kameralarından (RealSense/CV2 uyumlu) eşzamanlı görüntü yakalar.
- Donanım Hızlandırmalı Kodlama:
  - NVIDIA Video Codec (NVC) H.264/H.265 için: Bant genişliği kısıtlı senaryolar için idealdir.
  - NVJPEG kodlaması: Çok düşük gecikme seçeneği ile yapılandırılabilir kalite (1-100).
İletişim Katmanı: RTI Connext Data Distributed Service (DDS), tüm veri taşımacılığını senkronize ederek tıbbi açıdan güvenilir, düşük gecikmeli ve veri bütünlüğünü sağlayacak şekilde yönetir.
- RTI Connext DDS Altyapısı: Güvenli, tıbbi sınıf güvenilirliği ile garanti edilmiş mesaj teslimatı.
- Alan İzolasyonu: Video akışları, kontrol komutları ve telemetri için ayrı DDS alanları.
- Zaman Senkronizasyonu: Tüm sistemler arasında mükemmel zamanları sağlamak için opsiyonel Ağ Zaman Protokolü (NTP) sunucu entegrasyonu.
- Ağ Optimizasyonu: Otomatik akran keşfi ve cerrahi gereksinimlere uygun hizmet kalitesi profilleri.
Kontrol Arayüzü: Cerrahlar temel operasyonlar için bir Xbox kontrol cihazı veya Haply Inverse3 cihazı kullanarak robotun 3D uzayda kontrolünde sezgisel bir deneyim yaşayabilirler. Kontrol sistemi, cerrahın girdilerini hassas robot hareketlerine dönüştürür.
- İki Kontrol Modu:
  - Cartesian mod: Sezgisel kontrol için doğrudan X-Y-Z konumlandırma.
  - Polar mod: Karmaşık hareketler için eklem alanında kontrol.
- Giriş Cihazları:
  - Xbox kontrol cihazı: Her iki MIRA kolunu aynı anda kontrol etmek için ikili çubuk ile tanıdık bir arayüz.
  - Haply Inverse 3: Gerçekçi doku etkileşimi için 3.3N’a kadar kuvvet geri bildirimi.
- Güvenlik Özellikleri: Otomatik poz sıfırlama, alet homing dizileri ve yapılandırılabilir ölü bölgeler.

This diagram demonstrates the components necessary for the telesurgery workflow. — Şekil 2. Teles cerrahi sistem mimarisi diyagramı

Ameliyathane İçin Hazırlığı Test Etme: Gecikme Ölçümleri

Düşük gecikme, teles cerrahi için kritik bir öneme sahiptir ve aşağıdaki ölçümler, bu iş akışının klinik gereksinimleri karşıladığını göstermektedir.

HSB ve IMX274 kameranın kullanımı:
Bu, NVIDIA HSB kartı ile IMX274 MIPI kamerasını kullanarak ultra düşük gecikmeli bir boru hattı sağlar.
HDMI kameranın YUAN HSB kartı ile kullanımı:
Mevcut tıbbi kurulumlarda genellikle HDMI veya SDI çıkışına sahip kameralar bulunmaktadır. Bu senaryoda, ortaklarımızdan YUAN HSB kartı mükemmel bir çözüm sunmaktadır ve HDMI veya SDI’dan gelen videoyu alarak doğrudan GPU’lara aktarılmasını sağlar. Bu ölçümde kullanılan HDMI kamerası Fujifilm X-T4 kameradır.

Ekran olarak, 240 Hz yenileme hızı olan G-Sync uyumlu bir monitör kullanılarak ölçümler gerçekleştirilmiştir ve gecikme ölçümleri NVIDIA Gecikme ve Ekran Analiz Aracı (LDAT) kullanılarak alınmıştır.

HSB ile IMX274 kamera sonuçları:

1080p@60fps (H.264, 10 Mbps bitrate ayarı)
- Foton camdan geçiş süresi: 35.2 +/- 4.77 ms
- Encode+decode süresi: 10.58 +/- 0.64 ms
4k@60fps (H.265, 30 Mbps bitrate ayarı)
- Foton camdan geçiş süresi: 44.2 +/- 4.38 ms
- Encode+decode süresi: 14.99 +/- 0.69 ms

Kendi Holoscan Sensör Köprünüzü, ekosistem FPGA ortaklarımızdan Lattice ve Microchip aracılığıyla temin edebilirsiniz.

Önemli bir sonuç olarak, her iki kurulum da

Dağıtım Esnekliği

İş akışı konteynerleştirildiği için farklı ortamlarda tutarlı çalışır:

Fiziksel Ameliyathane: Gerçek kameralar ve robotları bağlayarak gerçek prosedürler için.
- Mevcut cerrahi alt yapıya tak ve çalıştır entegrasyonu.
- Birden fazla kamera tipi desteği: Intel RealSense, standart USB kameralar, MIPI kameralar HSB kartı ile ve HDMI/SDI kameralar YUAN HSB kartı ile.
- Direkt MIRA robot kontrolü: Oyun kontrol cihazı veya Haply Inverse3 cihazı ile.
- Steril alan uyumluluğu: Uzaktan operatör izolasyonu sayesinde.
Simülasyon Ortamı: Risk olmadan eğitim için Isaac Sim kullanma.
- Isaac Sim entegrasyonu: Fotogerçekçi cerrahi senaryolar sunar.
- Risk içermeyen eğitim: Doğru fizik ve doku modellemesi ile.
- Beceri değerlendirme araçları: Hassasiyet, hız ve tekniği takip eder.
- Senaryo kayıt ve oynatma: Gözden geçirme ve geliştirme için.

Her iki dağıtım modu da aynı kontrol şemaları ve ağ protokollerini paylaşır; bu sayede simülasyonda kazanılan beceriler doğrudan gerçek prosedürlere aktarılabilir. Platformun modüler yapısı, kurumların simülasyon tabanlı eğitimle başlayarak, hazır olduklarında canlı cerrahiye kesintisiz geçiş yapmalarını sağlar.

Klinik Etki

İlk pilotlarda etkileyici sonuçlar elde edilmiştir:

Acelesi olan durumlarda hasta transfer sürelerinde %50 azalma.
Kırsal alanlarda uzman cerrahi hizmetlere erişimde 3 kat artış.
Simülasyonla cerrahi eğitim etkinliğinde %40 iyileşme.
1,000’den fazla prosedürde, gecikme ile ilişkili komplikasyon bildirilmemiştir.

Cerrahinin Geleceğini Şekillendirin

Teles cerrahi, yalnızca bir iş akışı değil; sağlık için yeni bir modelin temeli. Bu, yalnızca bir mimari değil; küresel sağlıkta çeşitli eksiklikleri gidermek için mühendislik bir yanıt.

Uzmanlar, coğrafya ne olursa olsun hastalara operasyon yapabilir.
Stajyerler, hasta ile ilk etkileşimlerden önce simülasyon ortamında pratik yapabilir.
Hastaneler, pahalı transferler olmadan kıt olan uzmanlıklarını genişletebilir.

Isaac for Healthcare, geliştiricilere güvenilir, düşük gecikmeli bir boru hattı sunarak simülasyon ve ameliyathane arasında bir köprü kurma imkânı tanır. Bu, gelecekteki teles cerrahilerin kapısını açıyor!

Teles Cerrahi İş Akışınızı Oluşturun:

git clone https://github.com/isaac-for-healthcare/i4h-workflows.git
cd i4h-workflows
workflows/telesurgery/docker/real.sh build

Buradan, kameraları bağlayabilir, DDS’yi yapılandırabilir ve robot kontrolü ile denemeler yapmaya başlayabilirsiniz.

Artık sıra sizde. Repo’yu çatallayın, yeni kontrol cihazları ile deney yapın, yenilikçi görüntüleme sistemleri entegre edin veya kendi gecikme ayarlarınızı test edin. Her katkı, teles cerrahiyi günlük bir gerçek hale getirmeye bir adım daha yaklaştırıyor.

Dokümantasyon ve Kod: