Yeni İçerik Moderasyonu API’si
AI girişimi Mistral, içerik moderasyonu için yeni bir API piyasaya sürdü.
Özelleştirilebilir Moderasyon
Mistral, bu API’nin, kendi Le Chat chatbot platformundaki moderasyon sistemini de desteklediğini belirtiyor. API, belirli uygulamalara ve güvenlik standartlarına göre özelleştirilebiliyor. Mistral, içeriğe yönelik moderasyonun, çok dillilik açısından geniş bir yelpazeyi kapsayan fine-tuned model (Ministral 8B) ile güçlendirildiğini, İngilizce, Fransızca ve Almanca gibi dillerdeki metinleri cinsel içerik, nefret ve ayrımcılık, şiddet ve tehditler, tehlikeli ve suç içerikleri, intihar, sağlık, finans, hukuk ve kişisel kimlik bilgileri gibi dokuz kategoriye ayırdığını aktarıyor.
Ham ve Konuşma Metinleri için Uygun
Moderasyon API’si, Mistral’a göre, hem ham hem de konuşma metni üzerinde uygulanabiliyor. Mistral, bir blog yazısında, “Son birkaç ay içinde, yeni AI tabanlı moderasyon sistemlerine yönelik endüstri ve araştırma topluluğunda artan bir heyecan gördük. Bu sistemler, uygulamalarda moderasyonu daha ölçeklenebilir ve sağlam hale getirebilir” dedi. API, model kaynaklı tehlikeleri önlemek amacıyla en uygun politika kategorilerini kullanarak etkili koruma sağlıyormuş.
Algoritma Sorunları ve Yanlılık
AI destekli moderasyon sistemleri teoride faydalı olabilir, ancak bu sistemler, diğer AI uygulamalarında olduğu gibi, bazı önyargılar ve teknik kusurlar ile de karşı karşıya kalabiliyor. Örneğin, bazı modeller, **Afrika Amerikan İngilizcesi** (AAVE) gibi ifadeleri “zararlı” olarak algılayabiliyor. Ayrıca, engelli bireylerle ilgili sosyal medya paylaşımlarının, yaygın kullanılan duygu ve zehirli içerik algılama modelleri tarafından genellikle daha olumsuz ya da zehirli olarak damgalandığı üzerine araştırmalar yapılmış.
Mistral, moderasyon modelinin yüksek doğruluk oranına sahip olduğunu öne sürse de, bunun bir gelişme süreci olduğunu kabul ediyor. Önemli bir nokta ise, şirketin API’sinin performansını Jigsaw’ın Perspective API’si ve OpenAI’nın moderasyon API’si gibi diğer popüler moderasyon API’leri ile kıyaslamamış olması.
Devam Eden Gelişmeler
Şirket, müşterileri ile birlikte çalışarak ölçeklenebilir, hafif ve özelleştirilebilir moderasyon araçları oluşturmayı hedefliyor. Ayrıca, araştırma topluluğu ile işbirliği içinde, alan genelinde güvenlik geliştirmeleri yapmaya da devam edeceğini belirtiyor.
Mistral, bugün ayrıca bir batch API duyurdu. Şirket, bu API’nin yüksek hacimli talepleri asenkron olarak işleyerek, API’si aracılığıyla sunulan modellerin maliyetini %25 oranında azaltabileceğini belirtmektedir. Anthropic, OpenAI, Google ve diğerleri de AI API’leri için benzer batch işlemleri sunmaktadır.
