Radyologların Terminoloji Güvenilirliği Artırılıyor
Tıbbi görüntüler, özellikle X-ışınları, içerdikleri belirsizlik nedeniyle karmaşıktır. Bu yüzden radyologlar, zatürre gibi bir patolojinin varlığını tarif ederken “olabilir” veya “büyük ihtimalle” gibi ifadeler kullanmaktadır. Ancak, radyologların bu terimleri kullanırken ifade ettikleri güven seviyeleri, hastalarda belirli bir patolojinin ne sıklıkla görüldüğünü ne kadar doğru yansıtıyor? Yeni bir çalışma, büyük ihtimalle gibi ifadeler kullanan radyologların, genellikle aşırı güvenli olduklarını, buna karşın belki gibi terim kullandıklarında güven duygularının daha düşük olduğunu ortaya koydu.
Yeni Bir Kalibrasyon Çerçevesi
MIT araştırmacıları, Harvard Tıp Okulu’na bağlı hastanelerden araştırmacılarla işbirliği yaparak, radyologların doğal dil kullanarak ifade ettikleri güvenilirlik düzeylerini ölçen bir çerçeve geliştirdi. Bu yaklaşım, radyologların raporlarındaki güvenilirliklerini artırmaya yönelik belirgin öneriler sunmaktadır. Ayrıca, aynı yöntem büyük dil modellerinin kalibrasyonunu daha etkili bir biçimde ölçmekte ve bu modellerin kullandıkları dilin kesinlik derecesini gerçeğe daha iyi uyarlamaktadır.
Radyologların tıbbi görüntülerde belirli patolojilerin olasılığını daha doğru bir şekilde tanımlamalarına yardımcı olan bu yeni çerçeve, kritik klinik bilgilerin güvenilirliğini artırabilir. MIT doktora öğrencisi ve çalışmanın baş yazarı Peiqi Wang, “Radyologların kullandığı kelimeler önemlidir. Bu kelimeler, doktorların hastalar için karar verirken nasıl müdahale edeceğini etkiler. Radyologlar raporlarında daha güvenilir olabilirlerse, son derece fayda görecek olan hastalar olacaktır” diyor.
Belirsizliğin Decodlanması
Bir radyolog, bir göğüs X-ışını raporunda “muhtemeldir” ifadesini kullanabilir. Bu durumda, doktor bir takip CT taraması isteyebilir. Ancak, “büyük ihtimalle zatürre” diyen bir radyolog, doktorun hemen tedaviye başlamasına yol açabilir. Radyolojide, belirsiz doğal dil terimlerinin kalibrasyonunu ölçmek, birçok zorluğu beraberinde getirir.
Mevcut kalibrasyon yöntemleri genellikle bir yapay zeka modelinin tahmininin doğru olma olasılığını belirten güven skoru üzerine odaklanmaktadır. Örneğin, bir hava durumu uygulaması yarın yağmur yağma olasılığını %83 olarak tahmin ederse, bu model iyi bir kalibrasyona sahiptir eğer %83’lük oran tahmin edildiğinde yağmur %83 oranında yağıyorsa.
Ancak insanlar doğal dil kullanıyorlar, ve bu ifadeleri tek bir rakama dönüştürmek gerçek dünyayı doğru yansıtmaz. “Bir kişi bir olayın ‘muhtemel’ olduğunu söylediğinde, kesinlikle %75 olasılığı düşündüğünü sanmıyorum” diyor Wang. Araştırmacıların yaklaşımı, kesinlik ifadelerini tek bir yüzde ile eşleştirmek yerine, onları olasılık dağılımları olarak ele alıyor. Dağılımlar, olası değerlerin ve bunların olasılıklarının aralığını tanımlar.
Kullanıcı Terimlerini İyileştirmek
Araştırmacılar, radyologlara belirli bir patolojiyi daha doğru rapor edebilmek için hangi kesinlik terimlerini kullanmaları gerektiği konusunda bir kalibrasyon haritası geliştirdiler. Örneğin, “mevcut” ifadesi genellikle patolojinin görüntüde var olduğunu düşündürürken, “belki temsil ediyor” ifadesi daha fazla belirsizlik taşır. Araştırmalarına göre, tıbbi raporları değerlendirirken, radyologların yaygın koşulları teşhis etmede genellikle özgüven eksikliği yaşadığını, ancak daha belirsiz durumlar konusunda aşırı güvenli olduklarını gözlemlediler.
Araştırmacılar ayrıca dil modellerinin güvenilirliğini değerlendirirken yöntemlerini kullanarak, geleneksel yöntemlerden daha fazla nüans sunan bir güvenilirlik ölçümü sağladılar. Gelecekte, bu yöntemleri geliştirerek diğer görüntüleme türleri üzerinde de çalışmalar yapmayı planlıyorlar.
“Tanısal kesinliğin ifade edilmesi, radyoloji raporlarının önemli bir yönüdür ve bu, yönetim kararlarını etkiler. Bu çalışma, göğüs X-ray raporlarında radyologların tanısal kesinliklerini analiz etme ve kalibre etme konusunda yenilikçi bir yaklaşım sunuyor” diyor Harvard Tıp Okulu’ndan Atul B. Shinagare. Bu strateji, radyologların doğruluğunu ve iletişimini geliştirme potansiyeline sahip, dolayısıyla tedavi kalitesini artıracaktır.
