AI Hatalarını Engelleyen Patronus AI Platformu Tanıtıldı
Bir müşteri hizmetleri sohbet botu, mevcut olmayan bir ürünü kendinden emin bir şekilde tanımlıyor. Bir finansal yapay zeka piyasa verileri icat ediyor. Bir sağlık botu tehlikeli tıbbi önerilerde bulunuyor. Bu AI halüsinasyonları, eskiden eğlenceli tuhaflıklar olarak görülen şeyler, yapay zekayı hızla dağıtmak isteyen şirketler için milyon dolarlık sorunlara dönüşmüştür.
Bugün San Francisco merkezli ve son zamanlarda Seri A fonunda 17 milyon dolarlık yatırım alan Patronus AI, AI hatalarını gerçek zamanlı olarak saptamak ve önlemek için ilk kendi kendine hizmet platformunu başlattı. Bu platform, hataları kullanıcılara ulaşmadan yakalayan sofistike bir yazım denetleyici gibi düşünülebilir.
AI Güvenlik Ağı İçinde: Nasıl Çalışıyor
“Birçok şirket, halüsinasyonlar, güvenlik açıkları ve öngörülemeyen davranışlar gibi sorunlarla mücadele ediyor ve yapay zeka hatalarıyla karşı karşıya kalıyor,” diyor VentureBeat’e Patronus AI CEO’su Anand Kannappan. Firmanın yaptığı son araştırmalar, önde gelen AI modellerinin, GPT-4 gibi, %44’ü zamanında uyarıldığında telif hakkıyla korunan içerikleri yeniden ürettiğini gösterdi, hatta gelişmiş modeller dahi temel güvenlik testlerinde %20’den fazla oranda güvenlik dışı yanıtlar üretmekte.
Algılama ve Önleme Arasındaki Teknik İlerleme
Sistemin temelini oluşturan Lynx adlı bir halüsinasyon tespit modeli, tıbbi yanlışlık tespitinde GPT-4’ü %8,3 gibi bir oranda geride bırakıyor. Platform, gerçek zamanlı izleme için hızlı yanıt veren bir versiyon ve derinlemesine analiz için daha detaylı bir versiyon olmak üzere iki hızda çalışıyor. “Küçük versiyonlar gerçek zamanlı korkuluklar için kullanılabilir, büyük olanlar ise daha çok offline analizler için uygun olabilir,” diyor Joshi VentureBeat’e.
Basit Korkulukların Ötesinde: AI Güvenliğini Yeniden Şekillendirme
Firma, düşük maliyetli bir model benimsemiş ve küçük değerlendirmeler için milyon başına 15 sentten başlayarak daha büyük olanlar için milyon başına 5 dolar fiyatlandırma yapmaktadır. Bu fiyatlandırma yapısı, AI izleme araçlarına erişimi önemli ölçüde artırabilir ve önceden sofistike AI izleme araçlarına erişemeyen başlangıçlar ve küçük işletmeler için bu araçların kullanılmasını sağlayabilir.
“İyi bir değerlendirme sadece kötü bir sonuca karşı koruma sağlamakla kalmaz, aynı zamanda modellerinizi ve ürünlerinizi geliştirmekle de yakından ilgilidir,” diyor Joshi vurguluyor. Bu felsefe, AI güvenliği konusunda olgunlaşan bir yaklaşımı yansıtıyor, basit korkuluklardan sürekli iyileştirmeye doğru geçiş yapılıyor.
AI Halüsinasyonlarına Karşı Yarış
Patronus AI’nın bu lansmanı, AI gelişiminde dönüm noktası bir zamanda gerçekleşiyor. GPT-4 ve Claude gibi büyük dil modellerinin daha güçlü ve yaygın bir şekilde kullanıldıkça, AI hatalarının riskleri de buna paralel olarak daha da büyüyor. Halüsinasyon gören bir AI sistemi, şirketleri yasal sorumlulukla karşı karşıya bırakabilir, müşteri güvenini zedeleyebilir veya daha kötü sonuçlar doğurabilir.