MedTech’in geleceği, robot teknolojileri ile şekillenecek; hastaneler tamamen otomatik hale gelecek ve AI destekli cerrahi sistemler, robot asistanlar ile otonom hasta bakımı sağlık hizmetlerini dönüştürecektir.
AI destekli robot sistemleri inşa etmek, birkaç önemli zorluğu beraberinde getiriyor. Veri toplamanın uzman görüşleri ile entegre edilmesi, ayrıntılı biyomekanik simülasyonların oluşturulması ise ilk sırada. Bu tür simülasyonlar, sentetik veri üretimi ve robotların eğitimi için kritik öneme sahip. Sanal ortamdan gerçek dünya uygulamasına sorunsuz geçiş yapabilmek de son derece önemli; ayrıca yüksek bant genişliği ile çok modlu sensörlerin AI tarafından ultra düşük gecikme süresiyle yönetilmesi gerekiyor.
Tüm bu sınırlamalar, AI modeli eğitimi için AI hesaplama, simülasyon hesaplama ile robot davranışlarının yüksek doğruluklu sanal ortamlarda geliştirilmesi ve doğrulanması için çalışma zamanı hesaplama içeren bütünsel bir çerçeveye duyulan ihtiyacı vurguluyor.
NVIDIA Isaac for Healthcare, sağlık robotları geliştirenlerin bu zorlukların üstesinden gelmesine yardımcı olan bir geliştirici çerçevesidir. Isaac for Healthcare, fiziksel AI’yi etkinleştirmek için NVIDIA’nın üç bilgisayar sisteminden yararlanan bir alan spesifik çerçevedir.
Bu çerçeve, simülasyon akışları için gerekli olan anatomik sentetik verileri üretebilen MONAI ile önceden eğitilmiş modeller ve ajan AI çerçeveleri içerir. İkinci olarak, geliştiricilerin tıbbi cihazlar/robotlar, sensörler ve anatomileri getirip güvenli bir ortamda beceriler öğrenmesini sağlamak için NVIDIA Omniverse (NVIDIA Isaac Sim ve NVIDIA Isaac Lab) simülasyonunu içerir. Üçüncü olarak, gerçek zamanlı sensör işleme ve robot üzerindeki dağıtım için NVIDIA Holoscan kullanılır.
Bu çerçeve, aşağıdaki alanlarda tıbbi robotik için dijital prototipleme, Donanım-hat içinde (HIL) ürün geliştirme ve test etme, AI eğitimi için sentetik veri üretimi, politika eğitimi ve gerçek zamanlı uygulama dağıtımını içerir:
- Cerrahi ve müdahale robotları.
- Görüntüleme ve tanı robotları.
- Rehabilitasyon, yardımcı, hizmet robotları.
Isaac for Healthcare: AI Robotiklerinin Geleceğini Güçlendirmek
Isaac for Healthcare, dijital ikizlerin ve fiziksel AI’nın birleşim gücünü sunar:
- Son nesil sağlık robot sistemleri, sensörler ve aletlerin dijital prototiplemesi.
- Gerçek ve sentetik verilerle AI modellerinin eğitimi.
- Dijital ikiz ortamında AI modellerinin değerlendirilmesi.
- Robotik politikalar için veri toplama.
- Augmented dexterity (örneğin robot destekli cerrahi) için robotik politikaların eğitimi.
- Devamlı test (CT) süreçleri.
- Simülasyondan gerçek dünya uygulamasına köprü kuracak dağıtım uygulamaları oluşturma.
Son sürüm, cerrahi alt görev otomasyonu ve otonom robotik ultrason olmak üzere iki uçtan uca referans iş akışı sunmaktadır. Bu iş akışları, cerrahi ve görüntü robotları arasındaki otonom robotik yeteneklerin hızlı geliştirilmesi için tasarlanmıştır.
Cerrahi Alt Görev Otomasyonu İş Akışı
Bu iş akışı, cerrahi alt görev otomasyonu çözümleri geliştirmek ve dağıtmak isteyen geliştiriciler için bir şablon sunmaktadır. Dijital ikizler, güçlü sentetik veri üretimi ve gerçek zamanlı robot değerlendirmesi bir araya gelerek AI destekli cerrahi otomasyon için ölçeklenebilir bir yaklaşım sağlar.
İş akışı, NVIDIA, Toronto Üniversitesi’nin PAIR Lab ve Kaliforniya Üniversitesi, Berkeley’in AUTOLAB işbirliğiyle ortaya çıkan ORBIT-Surgical‘a dayanıyor ve ETH Zurich’ten araştırma iş birlikleriyle beslenmektedir.
ORBIT-Surgical, Isaac for Healthcare’a geçiş yaparken, robotik cerrahi alt görev otomasyonu iş akışı olarak evrim geçiriyor ve hem mevcut hem de yeni işbirlikleri ile gelişim sürecine devam edecektir.
Yardımcı olduğumuz diğer işbirlikçiler, Johns Hopkins ve Stanford Üniversitesi, cerrahi videolarını kullanarak eğitilen bir görüntü-dil modeli (VLM) ile da Vinci Araştırma Kiti (dVRK) ile birleştirildi. Bu sistem, dikkatlice doku kaldırma, cerrahi iğne kullanma ve yaranın dikilmesi gibi üç kritik cerrahi görevi otonom olarak gerçekleştirmektedir.
Bu iş akışı ile geliştiriciler kendi cerrahi robotlarını, sensörlerini, aletlerini ve hasta modellerini NVIDIA Omniverse’e getirerek yüksek doğruluğa sahip cerrahi dijital ikizler oluşturabilir. Cerrahinin karmaşık prosedürlerini simüle ederek büyük miktarda fotorealistik fizik tabanlı sentetik veri üretme imkanı sunar.
Sentetik olarak üretilen veriler daha sonra Isaac Lab’da güçlendirme ve taklit öğrenimi süreçlerinde kullanılabilir ya da mevcut genelci görsel dil eylem modellerini (örneğin, π0) ince ve cerrahların becerilerini yakalayarak robotları eğitmek üzere ince ayar yapılabilir.
Son olarak, dijital ikizde tamamen eğitilen politikalar, simülasyonu gerçek dünyaya köprüleyerek fiziksel cerrahi robota (bu durum dVRK’dır) dağıtılır.
Cerrahi Alt Görev Otomasyon İş Akışındaki Isaac for Healthcare’in temel yetenekleri:
- Kendi parçalarınızı getirin (BYO): Özel robotlar, aletler, malzemeler ve anatomiler kullanın.
- Simülasyona hazır ortamlar: Foto-realistik, fizik etkili dijital ikizler.
- Veri üretimi ve toplama: Sentetik veri ve uzman gösterimleri.
- Politika eğitimi: Beceri kazanımı için güçlendirme ve taklit öğrenimi.
- Değerlendirme ve test: Dijital ikizlerde HIL testi ile benchmark.
- Simülasyondan Gerçeğe geçiş: Simülasyondan gerçek cerrahiye AI dağıtımı.
Kendi anatomilerinizi oluşturma
Bu iş akışı, fotorealistik anatomik modellerin oluşturulmasını, NVIDIA MAISI ile sentetik AI destekli CT sentezi ve segmentasyonun gerçekleştirilmesinden başlayarak, ağ yapılandırma, ağın temizlenmesi ve rafine edilmesi, fotorealistik kaplama ile bütünleştirerek tüm dokuların bir OpenUSD dosyası içinde toplanması ile nihayete ulaşır.
Bu süreç, gerçek hasta verilerinin nadir veya karmaşık vakalar için genellikle yetersiz olduğu durumlarda, simülasyonu eğitim ve hazırlık için paha biçilmez bir araç haline getirir.
Fotorealistik insan organ modelleri GitHub‘da mevcuttur.
Kendi robot/instrumentlerinizi kullanma
Bu iş akışı, da Vinci Araştırma Kiti (dVRK) üzerinde gerçekleştirilmektedir, ancak sağlanan şablon diğer robotik platformlara genelleme yapılabilmesi için tasarlanmıştır. Cerrahi robotunuzu yükleme süreci, genel Isaac Sim yükleme kılavuzunu takip eder. Ayrıntılı bilgiler için Isaac Sim URDF İçe Aktarma Eğitimi‘ne göz atabilirsiniz.
Isaac Sim 4.5, robot modellerinin simülasyon için hazırlanması sürecinde robot CAD modellerinizi USD formatına dönüştürerek kolaylaştırılmış bir akış sunar. USD’ye geçtikten sonra, robotunuzu simülasyon sahnesine (dijital ikiz) entegre etmek için gerekli adımlara devam edebiliriz.
Birden fazla algılama modları sunma
Bu iş akışı, AI politika öğrenimi için çeşitli algılama modüllerini entegre etme imkanı sunmaktadır. Geliştiriciler, farklı görüntüleme sensörlerini (örneğin, stereo kameralar, endoskopik kameralar, derinlik sensörleri) entegre ederek AI algılama sürecini özelleştirebilirler.
Uzman gösterimlerini toplama (teleoperasyon üzerinden)
Bu iş akışı ayrıca, cerrahi görevler kapsamında yüksek kaliteli gösterim verilerinin üretilmesini sağlamak için teleoperasyonu kullanarak örnekler ve tarifler sunmaktadır.
Birçok yan cihaz (klavye, uzay faresi, oyun kumandası, VR kontrol cihazı ve da Vinci Araştırma Kiti (dVRK) Ana Araç Kolu (MTM)) dijital ikizle iletişim kurabilir ve robotları kontrol etmek için giriş komutları sağlayabilir.
Politika öğrenimi
Görev otomasyonu için, çeşitli modern güçlendirme ve taklit öğrenimi algoritmalarını (örneğin, Eylem Gruplama Dönüştürücüsü (ACT)) kullanma desteği sunulmakta ve cerrahi becerilerin kazanımında verimlilik sağlanmaktadır.
Otonom Robotik Ultrason İş Akışı
Ultrason görüntüleme, esasen non-invaziv, taşınabilir ve güvenlidir. Ancak, kaliteli ultrason görüntülerinin elde edilmesi için deneyimli bir ultrason teknisyeni gerekmektedir. Eğitimli personel sayısındaki azalma, ultrason görüntülemenin otomasyonu için önemli bir alan olduğunu göstermektedir.
Bu referans iş akışı, AI, dijital ikizler ve üç bilgisayar çerçevesini kullanarak ultrason robotik otomasyonu oluşturmak için tekrarlanabilir, özelleştirilebilir ve modüler bir çerçeve sunmaktadır. Bu iş akışının birçok temel yeteneği Cerrahi Alt Görev Otomasyonu İş Akışı ile örtüşmektedir, bu nedenle burada yalnızca ultrason iş akışına özgü yetenekleri ele alıyoruz.
Bu iş akışını kullanan geliştiriciler, kendi robot kollarını, kamera sensörlerini, ultrason probunu ve hasta modellerini NVIDIA Omniverse’e getirerek yüksek kaliteli ultrason muayene dijital ikizlerini oluşturabilirler. Gerçekçi anatomik modeller oluşturabilir ve ultrason dalgalarının farklı yoğunluktaki dokularla nasıl etkileşime geçtiğini simüle eden sanal prob ile birlikte zengin bir veri seti elde edebilirler.
Bu yaklaşım, fiziksel bir laboratuvarın sınırlamalarını aşarak farklı tarama açılarını, basınç seviyelerini ve anatomik varyasyonları deneyimlemeye olanak tanır. Geliştiriciler, simülasyonlardan ve uzman gösterimlerinden verileri alarak güçlendirme veya taklit öğrenimi ile robot sistemlerini yüksek kaliteli görüntüler yakalamak için optimize edebilirler.
Erken Benimsemeler ve Ekosistem Ortakları
Isaac for Healthcare, cerrahi, müdahale ve görüntü robotları gibi alanlarda sanayinin önde gelen liderleri ile işbirliği yaparak AI destekli tıbbi robotiklerin geleceğini hızlandırmaktadır.
Cerrahi robotlarda Virtual Incision, gelecekteki cerrahi robot sistemleri için robotik görev otonomisi geliştirmek amacıyla cerrahi sentetik veri üretimi (SDG) için Isaac for Healthcare’i değerlendirmektedir.
Moon Surgical, cerrahların tekniklerine ve uygulama akışlarına dinamik uyum sağlamak üzere otonom robot kurulumları prototiplemektedir.
Müdahale robotlarında Neptune Medical, NVIDIA Omniverse ve Isaac Sim kullanarak robotik endoskopi tasarlayıp simüle ederek tanı yeteneklerini artırmaktadır.
XCath, endovasküler robotu, tedavi cihazlarını ve insan damar ağını kapsamlı bir dijital ikiz oluşturmak için Isaac for Healthcare kullanarak otonom gezinme ve kontrol sağlamaktadır.
Önde gelen robot kolu sağlayıcıları olan Kinova ve Franka, Isaac for Healthcare içinde simülasyona hazır, önceden inşa edilmiş robot kolları sunarak geliştirici ekosistemini güçlendirmektedir.
Bu çözümlerle birlikte, kapsamlı referans iş akışları geliştiricilere tıbbi cihazların içine otonom işlevsellikleri hızlı bir şekilde prototipleme ve dağıtma konusunda güçlü bir teknik temel sunmaktadır.
Başlamak İçin Adım Atın
AI destekli sağlık robotik dünyasına adım atmak için Isaac for Healthcare ile ilgili kapsamlı kaynaklarımızı keşfedin. Eğer ilginiz varsa, erken erişim sayfamızı ziyaret ederek başlayabilirsiniz.
Cerrahi Alt Görev Otomasyonu veya Otonom Robotik Ultrason İş Akışlarından birini seçerek projenizi başlatabilirsiniz.
