Medikal cihazlardaki yenilikler hızla artıyor ve her yıl FDA tarafından onaylanan birçok yeni cihaz bulunuyor. Bu yeni veya güncellenmiş cihazlar, klinik kullanıcılara ve hastalara tanıtıldığında doğru ve güvenli bir şekilde kullanılmaları için eğitim gerektiriyor.
Bir kez kullanıma alındıklarında, klinik uzmanlar veya hastalar sorunların giderilmesi konusunda destek talep edebilirler. Medikal cihazlar genellikle kullanımın doğruluğunu açıklayan uzun ve teknik açıdan karmaşık Kullanım Talimatları (IFU) talimatnameleri ile gelir, bu da doğru bilgilere hızlı bir şekilde ulaşmayı zorlaştırabilir. Yeni bir cihaza yönelik eğitim almak da zaman alıcı bir süreçtir. Medikal cihaz temsilcileri eğitimi desteklemek için sıklıkla yer alır, ancak tüm sorulara gerçek zamanlı olarak yanıt verecek durumda olmayabilirler. Bu tür sorunlar, medikal cihazların kullanılmasında ve yeni teknolojilerin benimsenmesinde gecikmelere yol açabilir ve bazı durumlarda yanlış kullanıma neden olabilir.
Generatif AI ile Medikal Cihazlarda Sorun Giderme
Retrieval-augmented generation (RAG), derin öğrenme modelleri, özellikle büyük dil modelleri (LLM’ler) kullanarak doğal dil ile bilgi arama ve alma işlemlerini daha etkili hale getirir. RAG kullanarak, kullanıcılar geniş bir metin kümesinden (örneğin IFU) belirli sorulara yönelik kolay anlaşılır yanıtlar alabilirler. Ses yapay zeka modelleri, otomatik ses tanıma (ASR) ve metin-sese (TTS) dönüşüm modelleri, kullanıcıların bu gelişmiş generatif AI iş akışlarıyla sesli olarak iletişim kurmasına olanak sağlar; bu, özellikle ameliyathane gibi steril ortamlarda önemlidir.
NVIDIA NIM inference mikro hizmetleri, bu modeller için GPU’ya optimize edilmiş ve yüksek performansa sahip konteynerlerdir. Bu mikro hizmetler, en son modeller için en düşük toplam sahip olma maliyetini ve en iyi çıkarım optimizasyonunu sağlar. RAG ve ses yapay zekasını NIM mikro hizmetlerinin etkinliği ve basitliği ile entegre eden medikal cihaz geliştiren şirketler, klinik uzmanlara gerçek zamanlı olarak doğru ve eller serbest yanıtlar sağlayabilirler.
Şekil 1. Medikal cihaz eğitim asistanının sohbet kullanıcı arayüzü
NIM Mikro Hizmetleriyle Oluşturulan Medikal Cihaz Eğitim Asistanı
Bu öğreticide, bir medikal cihaz hakkında soruları yanıtlamak için IFU’dan yararlanan bir RAG iş akışı oluşturuyoruz. Kullanılan kod GitHub’da mevcuttur.
RAG iş akışımızda kullanacağımız NIM mikro hizmetleri şunlardır. Proje gereksinimlerinize göre bu bileşenleri değiştirme esnekliğine sahipsiniz:
- Llama3 70B Instruct (meta/llama3-70b-instruct): Kullanıcının sorusuna bağlı olarak metinden cevabı üreten bir büyük dil modeli.
- NV-EmbedQA-e5-v5 (nvidia/nv-embedqa-e5-v5): IFU’daki metin parçalarını ve kullanıcının sorgularını gömme işlevi gören bir model.
- NV-RerankQA-Mistral-4b-v3 (nvidia/nv-rerankqa/mistral-4b-v3): LLM tarafından metin oluşturma aşaması için elde edilen metin parçalarını yeniden sıralayan bir model.
- RIVA ASR: Kullanıcının sesli sorgusunu metne dönüştüren otomatik ses tanıma modeli.
- RIVA TTS: LLM’den alınan yanıtın ses çıktısını üreten metin-sese dönüşüm modeli.
RAG iş akışı iki adım içerir: belge işleme ve yanıtların geri alma ve oluşturulması. Bu adımlar ve ilgili NIM mikro hizmetleri, Şekil 2’deki referans mimari diyagramında görülebilir.
NVIDIA NIM Kullanımı
NIM mikro hizmetlerine erişmek için build.nvidia.com üzerinde ücretsiz API kredisi alarak veya kendi hesaplama altyapınızda dağıtarak ulaşabilirsiniz.
Bu öğreticide, API Catalog uç noktalarını kullanıyoruz. NIM mikro hizmetlerini kullanma, API anahtarınızı bulma ve diğer ön koşullar hakkında daha fazla bilgiyi GitHub’da bulabilirsiniz.
Medikal cihaz sorularını yanıtlamak için RAG iş akışını kurmak için aşağıdaki adımları izleyin.
- Kapları oluşturun ve başlatın
NIM mikro hizmetleri ve vektör veritabanıyla kapları başlatmak için oluşturduğumuz docker bileşenlerine bakın. Daha fazla bilgi ve kod için GitHub’daki ayrıntılı talimatlara ulaşabilirsiniz. - Cihaz kılavuzunu alın
“Knowledge Base” sekmesine giderek IFU’nuzu yüklemek için tarayıcınızı kullanın. Şekil 3’te gösterildiği gibi işlemi gerçekleştirin.
- Yanıtları geri al ve oluştur
IFU ile bir etkileşime başlamak için “Converse” sekmesine gidin (Şekil 1). IFU’yu bilgi kaynağı olarak kullanmak için “Knowledge Base” seçeneğini tıklamayı unutmayın.Ses ile etkileşim kurmak için, metin giriş alanının yanında bulunan mikrofona tıklayarak RIVA ASR modelinin sorgunuzu metne çevirmesini sağlayabilirsiniz. Çıktıyı sesli almak için “TTS çıktısını etkinleştir” seçeneğini tıklayın. UI’yi kullanma ve sorun giderme ile ilgili daha fazla bilgiye GitHub dökümantasyonundan ulaşabilirsiniz.
- Özel bir veri setinde değerlendirin
RAG iş akışının performansını özel bir soru seti kullanarak ve otomatik RAGAS metrikleriyle değerlendirin. RAGAS metrikleri, hem geri alıcıyı hem de üreteci değerlendirmek için kullanılan yaygın bir yöntemdir. Değerlendirme skriptinin kullanılması hakkında daha fazla bilgiye GitHub’dan ulaşabilirsiniz.
Başlarken
Bu iş akışına başlamak için GenerativeAIExamples GitHub deposuna gidin; burada bu öğreticide kullanılan tüm kod ve ayrıntılı dökümantasyonu bulabilirsiniz.
NIM mikro hizmetleri hakkında daha fazla bilgi almak için resmi NIM dökümantasyonuna göz atabilir ve sorularınızı NIM Forumunda sorabilirsiniz.
