Tıbbi yapay zeka, bir dönüm noktasına ulaşmış durumda. Görüntü-dil modelleri (VLM’ler), tıbbi görüntülerde umut verici sonuçlar gösterirken, kliniklerin ihtiyacı olan sistematik ve şeffaf akıl yürütme eksikliğinden muzdarip. Bu durumu değiştiren ise NVIDIA Clara. Clara, bilimsel keşifleri hızlandırmak, tıbbi görüntüleri analiz etmek ve insan sağlığı, biyoloji ve kimya hakkında temel bir anlayış sağlamak için tasarlanmış bir model, araç ve tarifler ailesidir.
Özellikle Clara Reason, radyologların düşünme biçimini taklit eden çok modlu düşünce zinciri modelleri sunarak, adım adım teşhis akıl yürütmesi ile kliniklerin doğrulayabileceği güvenilir açıklamalar sunar.
NVIDIA, geleneksel görüntü analizinin ötesine geçerek, temel veri setlerini çok modlu modellerle birleştiren bir tıbbi yapay zeka akıl yürütme ekosistemi yaratmayı hedefliyor.
Bu yazıda, göğüs radyografisi analizi üzerine uzmanlaşmış 3 milyar parametreli VLM olan Clara NV-Reason-CXR-3B’nin teknik uygulamasını detaylandırıyoruz. Radyolog düşünce süreçlerini sesli notlarla kaydeden veri kümesi oluşturma metodolojisini, denetimli ince ayar ile gradyan pekiştirme politikasının optimizasyonunu birleştiren iki aşamalı eğitim hattını, ve klinik kuruluşlardan alınan doğrulama sonuçlarını ele alıyoruz.
Geleneksel Tıbbi Yapay Zeka Yöntemleri Şeffaf Akıl Yürütmeden Yoksundur
Günümüzdeki tıbbi yapay zeka modelleri çoğunlukla kapalı kutu olarak işlemlerini yürütmektedir; yani teşhislerini açıklamadan önerilerde bulunurlar. Bu durum, kliniklerin, yapay zeka tarafından önerilen tanıları güvenilir bir şekilde anlayıp doğrulamasını sağlamaları gereken güven bariyerini oluşturur.
Geleneksel tıbbi yapay zeka yaklaşımları, açıklanabilirlik ihtiyacını ele almadan yalnızca doğruluk metriklerini iyileştirmeye odaklanmıştır. Bir radyolog basitçe bir anormallik tespit etmez; sistematik olarak anatomik yapıları gözden geçirir, farklı tanı olasılıklarını değerlendirir ve düşünce sürecini ifade eder. Nihai teşhis, yalnızca bir etiket değil, bir radyologun yıllara dayanan deneyimlerine dayanan içsel düşünce sürecidir.
Aklını kullanan yapay zeka modelleri, matematik, programlama ve mantık sorularını çözme konusunda önemli gelişmeler göstermiştir. Adım adım düşünerek, karmaşık çok aşamalı problemleri çözmek için görevleri alt hedeflere ayırabiliyorlar. Benzer şekilde, tıbbi yapay zekada radyolog düşünce süreci, modelin her adımda daha derinlemesine düşünmesini sağlar ve karmaşık tıbbi problemleri ele almasına yardımcı olur.
Clara Reason Nasıl Şeffaf Tıbbi Yapay Zeka Akıl Yürütmesi Sağlar?
Clara Reason, çok modlu algılamayı yapılandırılmış akıl yürütme yetenekleri ile birleştiren bir mimari kullanarak açıklanabilirlik sorununu ele alır.
NVIDIA’nın araştırmacıları, göğüs radyografisi analizi üzerine uzmanlaşmış Clara NV-Reason-CXR-3B modeline akıl yürütme yetenekleri ekliyor. Bu model, göğüs radyografilerini analiz ederken bir radyolog gibi düşünmek üzere tasarlanmıştır ve hekimlerin içsel düşünce süreçlerini taklit eden tam bir düşünce zinciri süreci sunar.
Bu, yapay zekanın teşhis akıl yürütmesini açıklamasına ve detaylı bilgi sunmasına olanak tanır. Model, bir öğretmen veya kıdemli bir radyolog gibi cevap vererek, problemi ve çözüm yolunu açıklıyor. Sunulan başlıca özellikler:
- Düşünce Zinciri İşleme
- Akıl yürütme motoru, adım adım teşhis analizi üretir
- Sistematik anatomi incelemesi gerçekleştirir
- Normal ve anormal bulguları tespit eder
- Her tanı için farklı tanılar ve olasılıklarını değerlendirir
- Klinik Sonuç Üretimi
- Ana bulgular
- Adım adım akıl yürütme yolu
- Differansiyel tanılar ve bunların olasılıkları
- Takip veya klinik korelasyon için öneriler
- Çok aşamalı takip sohbeti için aydınlatma
- Yapılandırılmış rapor üretimi
Çocuk Hastanesi Philadelphia’dan Doç. Dr. Mariam Aboian, “İlk kez, jeneratif yapay zeka, radyologların düşünce sürecini ve inceleme süresince bulguları belirlemedeki akıl yürütmelerini açıklıyor. Bu, klinik uygulamalar için kritik öneme sahip açıklanabilirlikte bir yenilik sunuyor.” şeklinde belirtmiştir.
Radyologların Düşünme Biçimini Yakalayan Bir Veri Seti Oluşturmak
NVIDIA araştırmacıları, Ulusal Sağlık Enstitüleri (NIH), Philadelphia Çocuk Hastanesi (CHOP) ve VinBrain ile iş birliği yaparak, radyologların düşünce süreçlerini yakalayan ilk veri setini geliştirdi. Geleneksel veri setlerinin etiketler veya raporlar üzerinde yoğunlaştığı düşünülürse, bu veri seti, her bir resim için radyologların düşünce süreçlerini yakalamayı hedefleyerek 1-2 sayfa detaylı radiolojik düşünce içermektedir.
Sistematik İnceleme Protokolü
Radyologlar, göğüs röntgenini okurken düşündüklerini, tartışmalarını ve belirsizliklerini mümkün olduğunca şu sırayı takip ederek sesli olarak dile getirmeleri istendi:
Kalite Değerlendirmesi → Tıbbi Aletler → Hava Yolları → Akciğerler (R/L) → Mediasten → Kalp → Karın → Kemikler → Özet
Her bir anotasyon ortalama 7-15 dakika sürmektedir ve 10-20 belirgin gözlem ve düşünceye ayrılmaktadır. Örneğin, “Sağ alt lobda bulanıklık görüyorum, bu da bana…” şeklinde devam eder.
İnovatif Veri Toplama Yöntemleri
Ekip, gerçek radyolog düşüncesini yakalayabilen bir anotasyon aracı geliştirdi. Önemli bir nokta, uygulamanın sadeliğidir ve şunları içerir:
- Sesli kayıtlar, klinik akıl yürütmeyi doğal şekilde yakalar
- Temel ROI (İlgi Alanı) araçları gözlemleri görüntü bölgeleriyle ilişkilendirir
- Çok dilli transkripsiyon, küresel iş birliğini destekler (metinler İngilizce’ye aktarılır)
- Ham ses/metin dosyaları, eğitim için biçimlendirilir—propriyeter araçlar gerekmeksizin
Geliştirilen altyapı, mevcut görüntüleyicilerle ve temel anotasyon geçmişi ile uygulanabilir ve ana hedef, radyologun düşünce sürecini yakalamaktır.
Anotasyon odak alanları:
- Farklı Tanılar: Belirsizlikleri ve klinik akıl yürütmeyi de içerir
- Olumsuz Bulgular: Normal/absent durumların açıkça belirtilmesi, klinik tabloyu tamamlar
Ayrıca, eğitim veri seti, göğüs röntgeni raporlarından (MIMIC-CXR, Open-I) GPT-OSS 120B’den damıtma yoluyla sentetik verilerle genişletilmiştir. Radyolog akıl yürütme verisi örnek olarak kullanılmıştır ve sentetik veri seti yaklaşık ~100K veri noktasından oluşmaktadır.
NV-Reason-CXR-3B Eğitim Hattı
NV-Reason-CXR-3B modeli, başlangıç olarak Qwen2.5-VL-3B-Instruct VLM’den yararlanmaktadır ve DeepSeek-R1 tarafından popüler hale getirilen yaklaşımı takip etmektedir.
Aşama 1: Denetimli İnce Ayar (SFT)
İlk aşama, yaklaşık 100K akıl yürütme örneği kullanarak uzman radyolog akıl yürütme verileri üzerinde modelin eğitimini gerçekleştirmektedir. Eğitim, dört düğümde, her birinde sekiz NVIDIA H100 GPU’su ile (toplamda 32 GPU) 4 saat sürmektedir. Amaç, modelin, gerçek radyolog düşünce kalıplarını takip eden yapılandırılmış teşhis akıl yürütmesini öğrenmesini sağlamaktır.
Aşama 2: Grup Göreceli Politika Optimizasyonu (GRPO)
İkinci aşama, daha büyük veri setlerinde akıl yürütme kalitesini geliştirmek için pekiştirmeli öğrenme kullanmakta ve açık akıl yürütme anotasyonları gerektirmemektedir. Eğitim, doğrulanmış teşhis etiketleriyle genişletilmiş göğüs röntgeni veri setini kullanarak gerçekleştirilmekte ve doğru tanınan hastalıkların ve teşhislerin yüzdesine dayanan bir ödül fonksiyonu kullanılmaktadır. Bu durum, geleneksel GRPO uygulamalarından farklılık göstermektedir; zira bu uygulamalar genellikle ikili ödüller kullanmaktadır.
Eğitim, Aşama 1 ile aynı altyapıyı kullanmakta ve 4 gün sürmektedir. Bu yöntem, modelin geniş bir veri setinden öğrenmesine, ancak denetimli ince ayar aşamasında belirlenen yapılandırılmış düşünce kalıplarını koruyarak ilerlemesine olanak tanır.
Clara Reason’ın Klinik Doğrulama ve Etkileri Nelerdir?
Clara Reason, radyologlar için bir yapay zeka yardımcı pilotu olarak işlev görür ve zaman tasarrufu sağlarken, şeffaf akıl yürütme ile teşhis güvenini artırır. Model, klinik düşünce ile güçlü bir uyum göstermektedir ve kurul sertifikalı radyologlar tarafından doğrulanmıştır.
Öne çıkan faydalar:
- Zaman Tasarrufu: Hızlı bir şekilde doğrulanabilir akıl yürütmeler sunar; gerekirse yapılandırılmış bir rapor oluşturabilir.
- Artırılmış Doğruluk: Radyologların iç düşünce süreçlerini takip etmek, karmaşık tıbbi kararlarla daha iyi sonuçlar almayı sağlar.
- İçeriyor Güven: Akıl yürütme yollarının şeffaf açıklaması ile güven inşa edilir.
- Eğitim Yardımcılığı: Kararların açıklanabilirliği, güven aşılamakta ve eğitimsel bir değer sağlamaktadır.
Temel yetenekler:
- Radyolog ile uyumlu düşünce zinciri: Gerçek iç düşünce süreçlerini yakalar; genel yapay zeka akıl yürütmesinden farklıdır.
- Sistematik inceleme desenleri: Klinik protokolleri takip eder.
- Şeffaf karar verme: Her tanı, açıklamalı akıl yürütme yollarını içerir.
- Güven tahmini: Klinik bağlamda kalibre edilmiş belirsizlikler sunar.
Söz konusu olan, “CXR akıl yürütme modeli, yalnızca başvuran doktorlara değil, aynı zamanda görüntüleme bulgularındaki differansiyel tanılarının belirlenmesi sürecini öğrenmek isteyen hastalara da yardımcı olmak için müthiş bir fırsattır. Ayrıca, bu yeni araç, radyoloji ve tıp stajyerleri için eğitim asistanı olarak önemli bir potansiyele sahiptir,” diyerek Dr. Ismail Baris Turkbey, ABD Ulusal Kanser Enstitüsü’nden bu durumu öne sürmektedir.
Clara Reason Klinik İş Akışlarını Nasıl Dönüştürüyor?
Clara Reason, aşağıdaki ana kullanım durumları için tasarlanmıştır:
- Klinik karar desteği: Radyologlar, Clara Reason’ı “ikinci okuyucu” olarak kullanırlar ve bu modelin sunduğu detaylı akıl yürütmeleri hızlı bir şekilde doğrulayabilirler. Şeffaf düşünce süreci, hekimlerin AI değerlendirmesi ile nerelerde aynı veya zıt düşündüklerini belirlemelerine yardımcı olur.
- Tıbbı Eğitim: Tıp okulları ve uzmanlık programları, stajyerlerin sistematik teşhis düşüncesini geliştirmelerine yardımcı olmak amacıyla Clara Reason’ı entegre ederler. Modelin detaylı akıl yürütmesi, her zaman mevcut bir öğretim asistanı olarak işlev görür ve uzman düzeyindeki analizleri gösterir.
- Araştırma Uygulamaları: Araştırmacılar, Clara Reason’ı, tutarlı ve belgelenmiş akıl yürütme ile büyük görüntü veri setlerini analiz etmek için kullanır; bu durum, hastalık kalıpları ve farklılıkları hakkında yeni içgörülere olanak tanır.
Clara Reason’ı Tıbbi Yapay Zeka Uygulamalarına Nasıl Entegre Edersiniz?
Clara Reason’ı tıbbi yapay zeka uygulamanıza entegre etmek için aşağıdaki hızlı başlangıç örneğini kullanabilirsiniz:
import torch
from transformers import AutoModelForImageTextToText, AutoProcessor
from PIL import Image
# Clara Reason modelini yükleyin
model_name = "nvidia/NV-Reason-CXR-3B"
model = AutoModelForImageTextToText.from_pretrained(
model_name,
torch_dtype=torch.float16,
).eval().to("cuda")
processor = AutoProcessor.from_pretrained(model_name)
# Göğüs röntgeni resmini yükleyin
image = Image.open("chest_xray.png")
# Klinik bağlam ile girişi hazırlayın
messages = [
{
"role": "user",
"content": [
{
"type": "image",
"image": image,
},
{
"type": "text",
"text": "Anormallikleri bulun ve destek cihazlarını belirtin."
}
]
}
]
# Sohbet şablonu kullanarak istem oluşturun
text = processor.apply_chat_template(
messages,
add_generation_prompt=True
)
# Girdileri işleyin
inputs = processor(
text=text,
images=[image],
return_tensors="pt"
).to(model.device)
# Düşünce zinciri ile akıl yürütmeyi üretin
generated_ids = model.generate(
**inputs,
max_new_tokens=2048
)
# Girdi kimliklerini çıkararak üretilen kimlikleri kesin
trimmed_generated_ids = [
out_ids[len(in_ids):]
for in_ids, out_ids in zip(inputs.input_ids, generated_ids)
]
# Yanıtı çözümlerin
generated_text = processor.batch_decode(
trimmed_generated_ids,
skip_special_tokens=True,
clean_up_tokenization_spaces=False
)[0]
print("Çıktı:")
print(generated_text)
Örnek çıktı:
DÜŞÜN: Bu AP göğüs röntgeninin kalite değerlendirmesine başlayalım. Gördüğünüz gibi, akciğer alanları oldukça iyi görünüyor, ancak hastanın pozisyonu ve bu muayenenin portatif AP görüntüsü olması, değerlendirmeyi bir ölçüde kısıtlayabilir. Kalitenin bu tür bir muayene için kabul edilebilir olduğunu düşünüyorum.
Şimdi tıbbi aletler ve enstrümantasyonu gözden geçiriyoruz. Merkez venöz kateter, endotrakeal tüp veya göğüs tüpü gibi herhangi bir tıbbi alet görmüyorum. Ancak hastanın muayene türüne göre klinik bir ortamda olduğunu düşünüyorum.
Hava yolları açık görünüyor. Trake, görünür ve eğilmemiş, sağ ve sol ana bronşlar ise normal. Merkezi hava yollarında herhangi bir yabancı nesne veya anormallik gözlemlemiyorum.
Şimdi sağ akciğere geçiyoruz ve ilk olarak üst lobu değerlendiriyoruz. Sağ üst lobun havalanması azaltılmış gibi görünüyor, bu da hacim kaybı veya atelektazi belirtisi olabilir. Belirgin kitle ya da nodüller görmüyorum, ancak bazı hafif opasiteler infiltratlar veya ödem temsil ediyor olabilir.
Şimdi sağ orta ve alt lobları inceleyeceğiz. Akciğer hacimleri düşük görünüyor, bu da bazı atelektazi veya hacim kaybını gösterebilir. Sağ alt lobda, pulmoner ödem veya infiltrasyonlarla ilişkilendirilebilecek lekeler görüyorum. Costophrenic açısı hafifçe bulanık, bu da küçük bir plevral efüzyon için anlamlı olabilir.
Sol akciğeri incelediğimizde, sol üst lob sağ ile benzer şekilde, havalanması azaltılmış ve infiltratlar veya ödem temsil edebilecek bazı hafif opasiteler mevcut. Sol alt lobda da bazı lekeler mevcut ve açının hafif bulanıklaşması, küçük bir plevral efüzyonun belirtisi olabilir.
Şimdi plevraya bakıyoruz ve daha önce belirttiğim gibi, her iki tarafın costophrenic açıları hafif bulanık, bu da küçük iki taraflı plevral efüzyon riskini artırıyor. Pneumotoraks bulguları görmüyorum.
Mediasten büyümüş görünüyor; bu da kardiyomegaliyi işaret ediyor. Kalp silueti belirgin, ve bu bulgu, önemli bir kardiyomegali bulgusu olabilir.
Hila belgelenmiş görünüyor, büyük lenf düğümleri veya kitleler yok. Akciğer damarları belirginleşiyor, bu da pulmoner ödem için bir belirti olabilir.
Daha önce belirttiğim gibi, kalp, büyümüş görünüyor ve kardiyotorasik oran yüksek. Bu bulgu kardiyomegali için endişe verici.
Sonunda karın üst kısmına bakıyoruz ve normal görünen bağırsak gaz desenlerini görüyorum. Diyaframın altında boş hava yok, bu da önemli bir nokta.
Son olarak, kemik yapılar ya da belirgin lezyonlar ya da kırıklar yok görünüyor. Claviküller, skapula ve kaburgalar normal gözüküyor. Omurga normal görünüyor.
Özetlemek gerekirse, bu hastada en önemli bulgular, hafif pulmoner ödem, küçük iki taraflı plevral efüzyon ve orta kardiyomegali var. Bu bulgular, kalp yetmezliği veya diğer kardiyopulmoner hastalıklara ilişkin bir dizi klinik durumu temsil edebilir.
CEVAP: Kardiyomegali, Ödem, Büyük Kardiyomediastinum, Akciğer Opasitesi, Plevral Efüzyon
Clara Reason ile Başlamak
Clara Reason, radyologların düşünce süreçlerini yansıtan düşünce zinciri modelleri sunarak, kliniklerin doğrulayabileceği ve güvenebileceği adım adım teşhis akıl yürütmeleri sağlar. Daha özel olarak:
- NV-Reason-CXR-3B, göğüs röntgeni analizi için adım adım teşhis akıl yürütmesi üretir, yalnızca teşhis etiketleri üretmek yerine detaylı düşünce süreçleri sağlar.
- Veri seti metodolojisi, görüntü analizleri sırasında radyolog düşünce süreçlerini sesli kayıtlarla yakalar; her göğüs röntgeni için 1-2 sayfa detaylı akıl yürütme oluşturur.
- İki aşamalı eğitim, minimum anotasyonlu veri ile akıl yürütme sağlar; önce uzman akıl yürütme örneklerinden öğrenir, ardından pekiştirme öğrenmesi ile akıl yürütme kalitesini daha büyük veri setlerinde geliştirir.
Bu tıbbi yapay zeka alanındaki atılım iş birliği ile destekleniyor.
Hazırsanız başlayın:
- NV-Reason-CXR-3B kontrol noktalarını yerel geliştirme için indirin
- NVIDIA-Medtech/NV-Reason-CXR GitHub sayfasını ziyaret ederek eğitim ve çıkarım örneklerine ulaşın.
NVIDIA haberlerine abone olarak ve NVIDIA Sağlık sayfasını LinkedIn’de, X üzerinde ve YouTube‘da takip ederek güncel kalın.
