Robotik cerrahi yardımcılarının (RSA’lar) ameliyathanelerde entegrasyonu, hem cerrahlar hem de hasta sonuçları açısından önemli avantajlar sunmaktadır. Şu anda, eğitimli cerrahlar tarafından bir konsolda uzaktan kontrol edilen bu cerrahi robot platformları, cerrahların iş yükünü azaltma ve cerrahi süreçleri daha verimli hale getirme potansiyeline sahip olan artırılmış bir hassasiyet sunmaktadır. Gelecek nesil cerrahi yardımcılar için görsel davranış taklit teknolojisinin incelenmesi, robotik destekli cerrahilerin yeteneklerini ve verimliliğini daha da artırabilir.
Bu yazı, robotik cerrahi yardımı için iki ana şablon çerçevesini tanıtmaktadır: Cerrahi İlk Etkileşim Otonom Asistanı (SuFIA) ve Cerrahi İlk Etkileşim Otonom Asistanı – Davranış Taklidi (SuFIA-BC). SuFIA, cerrahi robotların yüksek seviyede planlama ve kontrolü için doğal dil kılavuzluğu ve büyük dil modellerini (LLM’ler) kullanırken; SuFIA-BC, davranış taklit (BC) teknikleri aracılığıyla robotik cerrahi yardımcılarının hassasiyetini ve yeteneklerini artırır. Bu çerçeveler, LLM’ler ve BC tekniklerindeki son gelişmeleri inceleyerek, cerrahi sahaların benzersiz zorluklarına uyum sağlamak için optimize edilmektedir.
Bu araştırmanın amacı, cerrahi robot yardımcılarının gelişimini hızlandırmak ve nihai hedef olarak cerrah yorgunluğunu hafifletmek, hasta güvenliğini artırmak ve yüksek kaliteli sağlık hizmetlerine erişimi demokratikleştirmektir. SuFIA ve SuFIA-BC, simüle edilmiş ve fiziksel ortamlarda çeşitli cerrahi alt görevlerde yeteneklerini göstermeleriyle bu alanda ilerleme kaydetmektedir. Ayrıca, bu çalışmada tanıtılan fotorealistik varlıklar, araştırma topluluğunun cerrahi robotik alanında daha fazla keşif yapmasına olanak tanımaktadır—bu alan, sınırlı veri erişimi, uzman gösterimleri için yüksek maliyetler ve pahalı donanım gereksinimleri gibi önemli engellerle karşı karşıya kalmaktadır.
Bu araştırma, ORBIT-Cerrahi framework’ünü, anatomik olarak doğru modeller ve yüksek kaliteli görselleştirme ile bir fotorealistik eğitim ortamı oluşturmak için güçlendirmektedir. ORBIT-Cerrahi, cerrahi artırılmış hassasiyet için öğrenme alanında açık simülasyon çerçevesidir. NVIDIA Isaac Labs üzerine inşa edilmiştir; bu, robot öğrenimi için modüler bir çerçevedir, NVIDIA Isaac Sim üzerinde çeşitli pekiştirme öğrenimi ve taklit öğrenimi kütüphanelerini desteklemektedir.
Cerrahi Dijital İkizler
Şekil 1, ham CT hacim verilerinden nihai Evrensel Sahne Tanımı (OpenUSD) dosyasına yönelik fotorealistik anatomik modellerin oluşturulması için tam bir iş akışını gösteren bir cerrahi dijital ikiz iş akışıdır. Süreç, organ segmentasyonu, ağ sayımı, ağ temizliği ve iyileştirilmesi, fotorealistik doku oluşturma ve tüm dokulu organların tek bir OpenUSD dosyasında birleştirilmesi ile sonuçlanmaktadır.
Ortaya çıkan dijital ikiz simülatörü, karmaşık cerrahi görevlerde davranış taklit modellerinin eğitimi ve değerlendirilmesi için önemli yapay veri üretmektedir. Çalışma, tek ve çok kameralı kurulumlardan gelen RGB görüntüleri ve tek kamera derinlik verilerinden türetilen nokta bulutu temsilleri gibi çeşitli görsel gözlem modlarını araştırmaktadır.
Politika Öğrenimi ve Teleoperasyon ile Uzman Gösterimleri
Deneysel çerçeve, değerlendirme için tasarlanmış beş temel cerrahi alt görevi içermektedir: doku germe, iğne kaldırma, iğne teslim etme, dikiş pedi ip geçirme ve blok transfer. Daha fazla bilgi almak ve görev videolarını görüntülemek için SuFIA-BC: Cerrahi Alt Görevlerde Görsel Motor Politika Öğrenimi için Yüksek Kaliteli Gösterim Verisi Üretme sayfasını ziyaret edebilirsiniz.
Sonuçlar, daha basit görevlerin modeller arasında karşılaştırılabilir performans sunduğunu; ancak karmaşık görevlerin, kodlayıcılar arasındaki önemli farklılıklara yol açtığını göstermektedir. Nokta bulutu tabanlı modeller, iğne kaldırma ve iğne teslim etme gibi mekansal olarak tanımlı görevlerde genellikle daha başarılı olurken, RGB tabanlı modellerse renk ipuçlarının gerek duyulduğu anlayışlarda daha iyi performans sergilemektedir.
Uzman gösterimlerinin sayısı, eğitimli modellerin örnek verimliliğini belirlemek için değiştirilmiştir. Bu deneyde, modeller, eğitim sürecinde kullanılan gösterim sayısına bağlı olarak farklı başarı oranları sergilemiş ve daha az gösterim kullanıldığında karşılaşılan yaygın hata modlarını vurgulamıştır. Bu bulgular, daha büyük örnek verimliliği olan mimarilerin önemini vurgulamaktadır ve veri toplamanın gerçek dünya verilerinden çok daha erişilebilir olduğu sunulan çerçeveyi ön plana çıkarmaktadır. Ayrıca, farklı iğne örnekleri kullanarak genelleme yetenekleri değerlendirilmiştir; çok kameralı RGB modelleri, nokta bulutu tabanlı modellere kıyasla daha iyi bir uyum sergilemektedir.
Kamera perspektiflerindeki değişikliklere dayanıklılık değerlendirilmiş ve nokta bulutu modellerinin RGB tabanlı modellere göre bakış açısı değişikliklerine daha iyi bir dayanıklılık gösterdiği ortaya çıkmıştır; bu da pratik cerrahi uygulamalarda kullanılma potansiyelini göstermektedir.
Özet
Bu çığır açan teknolojiyi, bu yazıda bağlantılı açık kaynaklı varlıkları inceleyerek keşfedebilirsiniz. Eğitim politikaları için kullanılan video gösterimlerine ve fotorealistik insan organı modellerine erişmek için ORBIT-Cerrahi’yi GitHub’da ziyaret edin. Bu kaynakları kullanarak, cerrahi robotik araştırmalarını ilerletebilir, farklı öğrenme yaklaşımlarıyla deneyler gerçekleştirebilir ve karmaşık cerrahi prosedürler için yenilikçi çözümler geliştirebilirsiniz. Topluluğu, bu temeli geliştirmeye, içgörü paylaşmaya ve robotik destekli cerrahiyi ilerletmek için işbirliği yapmaya teşvik ediyoruz.
