Makine Öğrenimi Açıklamalarını Anlamak
Makine öğrenimi modelleri hata yapabilir ve kullanılması zor olabilir, bu nedenle bilim insanları, kullanıcıların modelin tahminlerine ne zaman ve nasıl güvenmeleri gerektiğini anlamalarına yardımcı olmak için açıklama yöntemleri geliştirmiştir.
Ancak, bu açıklamalar genellikle karmaşık bir yapıdadır; yüzlerce model özelliği hakkında bilgi içerebilir ve bazen de makine öğrenimi konusunda uzmanlaşmamış kullanıcılar için anlaşılması güç olan çok boyutlu görselleştirmeler şeklinde sunulmaktadır.
Basit Bir Dile Dönüştürme
MIT araştırmacıları, AI açıklamalarını anlamalarına yardımcı olmak amacıyla büyük dil modellerini (LLM) kullanarak grafik temelli açıklamaları anlaşılır bir dille dönüştürdüler.
Araştırmacılar, bir makine öğrenimi açıklamasını okunabilir bir metin paragrafına dönüştüren ve ardından anlatım kalitesini otomatik olarak değerlendiren iki parçalı bir sistem geliştirdiler. Bu sayede, son kullanıcı açıklamanın güvenilir olup olmadığını öğrenebiliyor.
Araştırmacılar, sistemi birkaç örnek açıklama ile yönlendirerek, kullanıcıların tercihlerine veya belirli uygulama gereksinimlerine göre hikaye tanımlarını özelleştirebiliyorlar.
Uzun vadede, araştırmacılar bu tekniği geliştirerek, kullanıcıların modelin tahminleri hakkında sonraki soruları sormalarına olanak tanımayı umuyorlar.
Alexandra Zytek, bu araştırmanın amacını “Kullanıcıların belirli tahminlerin neden yapıldığını makine öğrenimi modelleriyle tam kapsamlı bir şekilde tartışabilmesine olanak tanımak” şeklinde ifade ediyor.
EXPLINGO Sistemi ve SHAP Açıklamaları
Araştırmacılar, makine öğrenimi açıklamalarında yaygın olarak kullanılan bir tür olan SHAP açıklamalarına odaklandılar. SHAP açıklamasında, modelin bir tahminde bulunurken kullandığı her özelliğe bir değer atanır.
Örneğin, bir modelin ev fiyatlarını tahmin etmesi durumunda, evin konumu gibi bir özellik; bu özelliğin modelin genel tahminini ne kadar değiştirdiğini ifade eden pozitif veya negatif bir değer alır.
Sıklıkla SHAP açıklamaları çubuk grafikleri şeklinde sunulur, bu grafikte hangi özelliklerin en önemlisi veya en az önemlisi olduğu gösterilir. Ancak 100’den fazla özelliği olan bir model için, bu çubuk grafik hızla karmaşık hale gelebilir.
“Araştırmacılar olarak, görsel olarak neyi sunacağımız konusunda birçok seçim yapmak zorundayız. Sadece ilk 10’u gösterirsek, grafikte yer almayan başka bir özelliğin neden gösterilmediği konusunda insanlar merak edebilir,” diyor Kalyan Veeramachaneni.
NARRATOR ve GRADER Bileşenleri
Ancak, araştırmacılar, doğal dil üretimi için bir büyük dil modeli kullanmaktansa, mevcut bir SHAP açıklamasını okunabilir bir anlatıma dönüştürmek için LLM’yi kullanıyorlar. Bu yöntem, yanlış bilgi ekleme ihtimalini sınırlıyor.
Geliştirilen sistemin adı EXPLINGO ve iki parçadan oluşuyor. İlk bileşen olan NARRATOR, LLM’yi kullanarak SHAP açıklamalarını kullanıcı tercihlerine uygun anlatıma dönüştürüyor. Kullanıcı, NARRATOR’a 3-5 yazılı örnek vererek bu stili taklit etmesini sağlıyor.
NARRATOR, doğal dil açıklamasını oluşturduktan sonra ikinci bileşen GRADER devreye giriyor ve açıklamayı kısalık, doğruluk, tamlık ve akıcılık gibi dört ölçüte göre değerlendiriyor. GRADER, NARRATOR’dan elde edilen metin ile açıklamanın tanımını otomatik olarak sorguluyor.
“Bir LLM bir görevi yerine getirirken hata yapsa bile, o görevi kontrol ederken sıklıkla hata yapmaz,” diyor Zytek.
Gelecek Hedefleri
Çalışmalarında en büyük zorluklardan biri, LLM’yi doğal bir şekilde akıcı anlatılar üretmeye ayarlamaktı. Stil kontrolü için ekledikleri her kural, açıklamada hata yaratma olasılığını arttırıyordu.
Araştırmacılar, sistemlerini test etmek için dokuz farklı makine öğrenimi verisetini kullanarak, farklı kullanıcıların her veri seti için anlatılar yazmasını sağladılar. Bu, NARRATOR’ununi kendine özgü stilleri taklit etme yeteneğini değerlendirmelerine olanak tanıdı.
Sonuç olarak, araştırmacılar, sistemlerinin yüksek kaliteli anlatı açıklamaları üretebildiğini ve farklı yazım stillerini etkili bir şekilde taklit edebildiğini buldular. Gelecekte, EXPLINGO sistemini geliştirerek, açıklamalara rasyonalizasyon eklemeyi hedefliyorlar.
Uzun vadede, bu çalışmayı, kullanıcıların açıklamalar hakkında sorular sorabileceği interaktif bir sistem için bir basamak olarak kullanmak istiyorlar.
“Eğer insanlar bir modelin tahminiyle katılmıyorlarsa, hızlı bir şekilde kendi sezgilerinin doğru olup olmadığını öğrenebilmelerini ve modelin sezgisiyle arasındaki farkın neden kaynaklandığını anlamalarını istiyoruz,” diye ekliyor Zytek.
