Google’ın Yeni AI Modeli: PaliGemma 2
Google, yeni AI model ailesinin ilginç bir özelliğe sahip olduğunu duyurdu: “duyguları tanımlama” yeteneği.
PaliGemma 2’nin Özellikleri
PaliGemma 2, görüntüleri analiz edebilme yeteneğine sahip ve böylece AI, fotoğraflarda gördüğü insanlar hakkında başlıklar üretebiliyor ve sorulara yanıt verebiliyor.
Google, resmi blogunda, “PaliGemma 2, görüntüler için ayrıntılı ve bağlama uygun başlıklar üretiyor. Sadece nesne tanımlamanın ötesine geçerek, eylemleri, duyguları ve sahnenin genel anlatısını açıklıyor.” dedi.
Duygu Tanıma Üzerindeki Endişeler
Bununla birlikte, duyguları tanıma özelliği hemen kullanılmıyor; PaliGemma 2, bu amaçla ince ayar yapılması gereken bir model. TechCrunch ile konuşan uzmanlar, açıkça erişilebilir bir duygu tespit cihazının, toplumda bazı sorunlara neden olabileceği konusunda endişelerini dile getirdiler.
Oxford İnternet Enstitüsü’nden veri etik ve AI profesörü Sandra Wachter, TechCrunch’a verdiği demeçte, “Bu benim için çok endişe verici. İnsanların duygularını ‘okuyabileceğimizi’ varsaymak sorunlu. Bu, bir Sihirli 8 Top’tan tavsiye istemek gibi.” dedi.
Bilimsel Zemin ve Güvenilirlik Sorunları
Yıllardır, startuplar ve teknoloji devleri, satış eğitiminden kazaları önlemeye kadar her alanda duyguları tespit edebilen AI’lar geliştirmeye çalışıyor. Ancak bazıları bunun mümkün olduğunu iddia etse de, bu bilimsel temellerin oldukça zayıf olduğu belirtiliyor.
Çoğu duygu tespit sistemi, psikolog Paul Ekman’ın çalışmalarından esinleniyor. Ekman, insanların ortak olarak altı temel duygu paylaştığını öne sürdü: öfke, sürpriz, iğrenme, sevinç, korku ve üzüntü. Ancak son araştırmalar, Ekman’ın hipotezine yönelik ciddi şüpheler doğuruyor; farklı kültürel arka planlara sahip bireylerin duygularını ifade etme biçimlerinin önemli farklılıklar gösterdiği ortaya konuyor.
Yanlılık ve Sistemsel Sorunlar
Duygu tespit sistemlerinin çoğu güvenilmez ve tasarımcılarının varsayımlarına dayalı olarak taraflı olabiliyor. 2020’de MIT’de yapılan bir araştırma, yüzleri analiz eden modellerin bazı ifadeler için, örneğin gülümseme gibi, istenmeyen tercihler geliştirebileceğini gösterdi. Daha yakın zamanda yapılan çalışmalarda, duygusal analiz modellerinin, siyah insanların yüzlerine beyaz insanlardan daha fazla olumsuz duygular yüklemesi gibi sonuçlar ortaya çıktı.
Google, PaliGemma 2’nin demografik yanlılıklarını değerlendirmek için “geniş kapsamlı testler” yaptığını belirtti ve bunu sektördeki standartlarla kıyaslayarak “düşük düzeyde toksisite ve küfür” bulduğunu iddia etti. Ancak, şirket, kullandıkları referansların tam listesini sağlamadı ve hangi tür testlerin yapıldığını belirtmedi.
Geçerlilik ve Etik Sorunlar
Google’ın ifşa ettiği tek kriter, çeşitli ırk gruplarını içeren “FairFace” adlı bir veri seti. Şirket, PaliGemma 2’nin FairFace’da iyi puan aldığını öne sürdü. Ancak bazı araştırmacılar, bu kriteri bir yanlılık ölçütü olarak eleştirerek, FairFace’in yalnızca bir avuç ırk grubunu temsil ettiğini belirtti.
Heidy Khlaaf, AI Now Enstitüsü’nde baş AI bilimcisi, “Duyguları yorumlamak oldukça öznel bir meseledir ve yalnızca görsel bileşenler ile sınırlı değildir. Bu durum, kişisel ve kültürel bir bağlama derinlemesine gömülmüştür.” şeklinde belirtti.
Regülasyonlar ve Gelecek Endişeleri
Duygu tespit sistemleri, yurtdışında düzenleyicilerin tepkisini çekti ve yüksek riskli alanlarda bu teknolojinin kullanımını sınırlamaya çalıştılar. AB’deki AI Yasası, okullarda ve işverenlerde duygu tespit cihazlarının kullanımını yasaklıyor (ancak kolluk kuvvetleri için geçerli değil).
Bu tür açık modeller, PaliGemma 2 gibi, birden fazla platformda erişilebilir olduğu için suistimal ya da yanlış kullanım endişelerinin artmasına neden oluyor. Khlaaf, “Eğer bu sözde duygusal tanımlama, bilimsel temellere dayanmıyor ise, bunun marjinal gruplara yönelik ayrımcılığı artırabileceğinin önemli sonuçları vardır.” şeklinde kaygılarını ifade etti.
Google’ın Savunması ve Eleştiriler
Google, PaliGemma 2’nin kamuya açık bir şekilde yayınlanmasıyla ilgili endişeler hakkında, modelin “temsilci zararlara” karşı test edildiğini ve “etik ve güvenlik” konularında sağlam değerlendirmeler yapıldığını öne sürdü. “Çocuk güvenliği, içerik güvenliği gibi konularda da kapsamlı değerlendirmeler yaptık.” şeklinde bilgi verdiler.
Ancak Sandra Wachter, bunun yeterli olduğuna inanmadığını belirtti ve “Sorumlu inovasyon, laboratuvara adım attığınız günden itibaren sonuçları düşünmeniz gerektiği anlamına gelir.” dedi. “Bu tür modellerin açığa çıkabileceği pek çok potansiyel sorunu düşünmek mümkün ve bu da duygusal durumların, iş, kredi veya üniversiteye kabul gibi hayati konularda belirleyici olabileceği bir distopik geleceğe yol açabilir.” şeklinde endişelerini dile getirdi.