Yapay Zekaların Kendi Dillerini Düzenleme Yeteneği
Çocukluktan yetişkinliğe geçtiğimizde, kelime dağarcığımız ve onu kullanma şeklimiz gelişir; deneyimlerimiz daha zengin hale gelir ve başkalarıyla belirli bir niyetle etkileşimde bulunma yeteneğimiz artar. Bu süreçte kelime seçimlerimiz, kişisel değerlerimiz, etik anlayışımız, kültürel normlarımız ve bakış açılarımızla örtüşecek şekilde evrim geçirir. Zamanla, çoğumuz, iletişimin arka planını anlamamıza ve zararlı veya uygunsuz olabilecek bilgileri paylaşmaktan kaçınmamıza yardımcı olan içsel bir “rehber” geliştiririz. MIT’ten gelen yeni bir yöntem ile büyük dil modellerinin (LLM) kendi dil kullanımını nasıl düzenleyebileceği ortaya kondu.
Kendi Kendini Düzenleyen Yöntem: SASA
MIT-IBM Watson AI Laboratuvarı ve IBM Araştırma tarafından geliştirilen self-disciplined autoregressive sampling (SASA) adı verilen bu yöntem, LLM’lerin kendi çıktılarındaki zararlı unsurları temizlemesine yardımcı oluyor. Diğer detox yöntemlerinin aksine, bu çözüm, modelin parametrelerini değiştirmeden veya yeniden eğitime ihtiyaç duymadan, LLM’nin kendi iç temsilindeki zehirli/natoxtik alt alanlar arasında bir sınır öğrenmesini sağlıyor.
Algoritma, oluşturulmuş cümlenin kısmi kısmını değerlendirdikten sonra, hangi yeni kelimenin seçileceğine karar veriyor. Hedef, kelime seçimiyle cümleyi zararlı alandan uzaklaştırarak, daha az toksik bir dil üretmek ve akıcılığı korumak.
Toksik Dili Azaltmak için İnsan Değerlerine Uygunluk
LLM’ler genellikle internette ve diğer açık kaynaklardan derlenmiş içeriklerden eğitildiği için, bazıları istemeden de olsa müstehcen ve zararlı dil üretebiliyor. Araştırmacılar, SASA ile bu durumun üstesinden gelmek için, zararlı kelimeleri azaltmanın yanı sıra, dilin akışını mümkün olduğunca korumaya çalıştılar. Ko, “Kuşkusuz kötü şeyler göreceğiz, bu yüzden dil modelinin sadece iyi olanları görebilmesi gerekmiyor. Tam spektrumun – hem iyi hem de kötü – anlaşılması gerekiyor” diyor.
Yapılan testler, SASA’nın uygulandığı LLM’lerin, daha önce ürettiği toksik ifadelerde belirgin bir azalma sağladığını gösterdi. Bununla birlikte, daha güçlü bir zararsızlaştırma süreci, akıcılığı azalttığı da gözlemlendi. Genel olarak, SASA’nın toksik dil üretilmesini önemli ölçüde azalttığı ortaya çıktı.
Sonuç olarak, SASA’nın sadece toksik kelimeleri azaltmakla kalmayıp, aynı zamanda olumlu, adil ve ilkelere dayalı dil üretimini teşvik etme potansiyeli bulunuyor. Ko, bu yöntemin gelecekte başka değerlerle de çalışabileceğini, dolayısıyla çoklu insan değerlerini dikkate alarak çok daha etkili sonuçlar oluşturabileceğini belirtiyor.
