Yapay Zeka ve Güvenlik: Sorunlar Arasında Kaybolan Doğrular
Son birkaç yılda, internetin her köşesini etkisi altına alan AI slop (yapay zeka ürünleri), düşük kaliteli görüntüler, videolar ve metinler şeklinde kendini gösteriyor. Bu tür içerikler, sosyal medya platformlarında, en az bir gazetede ve hatta gerçek dünya etkinliklerinde sıkça karşılaşılıyor.
Siber Güvenlik ve Yanıltıcı Raporlar
Siber güvenlik dünyası da bu sorundan muaf değil. Geçtiğimiz yıl, güvenlik endüstrisindeki birçok kişi, gerçek olmayan zayıflıkları bildiren AI slop hata raporları konusunda endişelerini dile getirdi. Bu raporlar, geniş dil modelleri (LLM) tarafından oluşturulan ve var olmayan zayıflıkları içeren, profesyonel bir biçimde hazırlanmış yazılar olarak karşımıza çıkıyor.
Vlad Ionescu, RunSybil adlı yapay zeka destekli hata avcıları geliştiren bir girişimin ortak kurucusu ve CTO’su, TechCrunch’a şunları söyledi: “İnsanlar, makul ve teknik olarak doğru görünen raporlar alıyor. Ancak, derinine inince, ‘bu zayıflık nerede?’ diye araştırmaya başlıyorsunuz.”
“Sonunda anlaşılıyor ki, bu aslında bir halüsinasyondu. Teknik detaylar tamamen LLM tarafından uydurulmuş,” diye ekledi Ionescu.
Tarama ve Doğrulama Süreçlerinde Zorluklar
Ionescu, daha önce Meta’nın siber güvenlik ekibinde çalıştığını belirterek, LLM’lerin yardımcı olmak ve olumlu yanıtlar vermek üzere tasarlandığını açıkladı. “Eğer ondan bir rapor isterseniz, size bir rapor verecektir. Sonrasında bu raporların kopyalanıp hata bülteni platformlarına yüklenmesiyle birlikte, platformların aşırı yüklenmesine sebep oluyorsunuz,” dedi Ionescu.
“Herkesin karşılaştığı sorun, çok değerli görünen şeylerin aslında düşük kaliteli olması,” dedi Ionescu.
Geçtiğimiz yıl, Curl isimli açık kaynak güvenlik projesinin sahte bir rapor aldığını güvenlik araştırmacısı Harry Sintonen duyurdu. Sintonen, “Saldırgan büyük bir hata yaptı,” diye yazdı. “Curl, AI slop’u uzaktan hissedebiliyor.”
Open Collective’in Benjamin Piouffle ise, gelen kutusunun “AI çöpüyle dolduğunu” belirtti.
Bir açık kaynak geliştirici de, CycloneDX projesinin hata bültenini bu yıl tamamen kaldırmış; çünkü neredeyse tamamen AI slop raporları alıyordu.
Raporların Kalitesi ve Etkileri
Önde gelen hata bülteni platformları, hata bülteni hackerları ile bu bulgular için ödül veren şirketler arasında aracı olarak hizmet vermektedir. Ancak, TechCrunch’ın öğrendiğine göre, bu platformlar da AI tarafından üretilen raporlarda bir artış görüyor.
HackerOne’ın ürün yönetim direktörü Michiel Prins, “Yanlış pozitiflerde artış görüyoruz. Gerçek gibi görünen ancak LLM’ler tarafından üretilen ve gerçek dünya etkisi olmayan zayıflıklar,” dedi ve bu düşük kaliteli gönderimlerin güvenlik programlarının verimliliğini olumsuz etkilediğini belirtti.
Prins, “Halüsinasyona uğramış zayıflıkları, belirsiz teknik boşlukları ya da düşük çaba gerektiren diğer türden materyalleri spam olarak değerlendiriyoruz,” dedi.
Bugcrowd kurucusu Casey Ellis, AI’nin hata bulmakta ve raporları yazmakta kullanıldığını belirtti, “Her hafta 500 gönderim artışı görüyoruz,” dedi. “AI, çoğu gönderimde yaygın olarak kullanılıyor, ama henüz düşük kaliteli ‘çöp’ raporlarda büyük bir artış yaratmadı.”
Ellis, Bugcrowd ekibinin gönderimleri incelemek için belirli kurallar ve süreçler kullandığını, ayrıca makine öğrenimi ve AI yardımıyla manuel olarak raporları değerlendirdiklerini belirtti.
Diğer şirketlerle, kendi hata bültenleri olanların da sahte raporların veya LLM’lerin üretmiş olduğu mevcut olmayan zayıflıkları içeren raporların artışıyla karşılaşıp karşılaşmadıklarını görmek için TechCrunch, Google, Meta, Microsoft ve Mozilla ile iletişim kurdu.
Mozilla’nın sözcüsü Damiano DeMonte, şirketin “AI tarafından üretilen geçersiz veya düşük kaliteli hata raporlarında önemli bir artış görmediğini” belirterek, raporların reddedilme oranının %10’un altında sabit kaldığını açıkladı.
DeMonte, Mozilla’nın Firefox için hata raporlarını inceleyen çalışanlarının AI kullanmadığını, çünkü bu durumun doğru bir hata raporunu reddetme riski taşıyabileceğini ifade etti.
Microsoft ve Meta, AI’ye büyük yatırım yapmalarına rağmen yorum yapmaktan çekindiler. Google ise talebe yanıt vermedi.
Ionescu, artan AI slop sorununun çözümü için AI destekli sistemlere yatırım yapılması gerektiğini öngörüyor. HackerOne, yeni bir triage sistemi olan Hai Triage’i geçtiğimiz Salı başlattı. Bu sistem, insanları ve AI’yi birleştirerek “gürültüyü azaltmak, kopyaları işaretlemek ve gerçek tehditleri önceliklendirmek” amacıyla çalışıyor. İnsan analistler, hata raporlarını doğrulamak ve gerektiğinde ilerletmek için devreye giriyor.
Hackerlar LLM’leri kullanmaya devam ederken ve şirketler bu raporları triage etmek için AI’ye güvenmeye devam ederken, bu iki AI’nın hangisinin ön plana çıkacağı ise belirsizliğini koruyor.
