Büyük Dil Modellerinin Doğrulanması Artık Daha Hızlı ve Kolay
Büyük dil modelleri, etkileyici yeteneklerine rağmen mükemmel değiller. Bu yapay zeka modelleri bazen sorguya yanıt olarak yanlış veya desteklenmeyen bilgiler üreterek “halüsinasyon” yapabilirler.
Hallüsinasyon problemi nedeniyle, bir LLM’nin yanıtları genellikle insanların tarafından doğrulanır, özellikle bir modelin sağlık veya finans gibi yüksek riskli bir alanda kullanıldığı durumlarda. Ancak, doğrulama süreçleri genellikle insanların model tarafından alıntı yapılan uzun belgeleri okumasını gerektirir, bu da bazı kullanıcıları ilk etapta generatif AI modellerini kullanmaktan alı koyabilecek kadar zahmetli ve hatalı bir görev olabilir.
İnsan doğrulayıcıları desteklemek amacıyla MIT araştırmacıları, insanların LLM’nin yanıtlarını çok daha hızlı doğrulamasına olanak tanıyan kullanıcı dostu bir sistem olan SymGen oluşturdu. Bu araç sayesinde bir LLM, belirli bir hücre gibi kaynak belgedeki bir yere doğrudan işaret eden alıntılarla yanıtlar üretir.
Kullanıcılar metin yanıtındaki vurgulanmış bölümlerin üzerine gelerek modelin belirli bir kelime veya ifadeyi üretirken kullandığı verileri görebilir. Aynı zamanda vurgulanmayan bölümler kullanıcılara kontrol etmeleri ve doğrulamaları gereken ifadeleri gösterir.
Çalışma Hızını Arttırmak
Şen, çalışmalarını yürüttüğü meslektaşı ve EECS mezunu Lucas Torroba Hennigen; EECS mezunu Aniruddha “Ani” Nrusimha; Good Data Initiative başkanı Bernhard Gapp ve çalışmanın kıdemli yazarları arasında yer alan EECS profesörü, MIT Jameel Clinic üyesi ve Bilgisayar Bilimi ve Yapay Zeka Laboratuvarı (CSAIL) Klinik Makine Öğrenme Grubu lideri David Sontag; ve EECS yardımcı profesörü ve CSAIL üyesi Yoon Kim bulunmaktadır.
Araştırma, Dil Modelleme Konferansı’nda sunuldu.
Doğrulama Sürecini Basitleştirme
Model, yanıtlarını simgesel bir biçimde oluşturabilir çünkü eğitimi sırasında bu şekilde özgürlük tanınmıştır. Büyük dil modelleri, internetten gelen verilerle beslenir ve bazı veriler “yer tutucu format”ta kaydedilir.
SymGen, modeli sembolik bir yanıt oluşturması için sorgular çünkü. Bu şekilde, modelin yanıtında sözcük alıntı yapmak istediğinde ilgili bilginin bulunduğu veri tablosundaki hücreyi yazmak zorundadır.
SymGen daha sonra her referansı, karşı referansı çözerek modelin yanıtına veri tablosundan ilgili metni kopyalar.
Ancak, SymGen’in kaynak verilerin kalitesi ile sınırlı olduğu unutulmamalıdır. LLM yanlış bir değişkeni alıntı yapabilir ve bir insan doğrulayıcı hiçbir şeyden habersiz olabilir.
Ayrıca, kullanıcı SymGen’e besleyeceği veriyi tablo gibi yapılandırılmış bir formatta olmalıdır. Şu anda, sistem sadece tablo verileriyle çalışmaktadır.
Gelecek Adımlar
Araştırmacılar, SymGen’i metin için ve diğer veri biçimleriyle çalışabilecek şekilde geliştirerek iyileştirmeye devam ediyor. Bu yetenekle, örneğin AI tarafından oluşturulan hukuki belge özetlerinin belirli bölümlerini doğrulamaya yardımcı olabilir. Ayrıca, SymGen’i doktorlarla test etmeyi ve AI tarafından oluşturulan klinik özetlerdeki hataları nasıl tespit edebileceğini incelemeyi planlıyorlar.
Bu çalışma, kısmen Liberty Mutual ve MIT Zeka İçin Quest Girişimi tarafından finanse edilmektedir.
