Generatif yapay zeka alanında büyük bir fırsat bulunuyor ve Panjaya adlı bir girişim bunu bir adım öteye taşıyor: Hyperrealist bir yapay zeka tabanlı dublaj aracı olan BodyTalk, videoların yeni bir dildeki sesini, orijinal kişinin sesinin taklit edilmesiyle sağlıyor. Ayrıca, videodaki konuşmacının fiziksel hareketleri de, yeni konuşma kalıplarına uyum sağlaması için otomatik olarak ayarlanıyor.
Girişim, son üç yıldır gizlilik içinde çalıştıktan sonra, ürününün ilk versiyonu BodyTalk’ı ve 9,5 milyon dolarlık ilk dış finansmanını tanıtıyor.
Kurucular ve Geçmişleri
Panjaya, Hilik Shani ve Ariel Shalom adlı iki derin öğrenme uzmanının eseridir. Bu isimler, profesyonel hayatlarının çoğunu İsrail hükümeti için derin öğrenme teknolojisi üzerinde çalışarak geçirmiştir. 2021 yılında girişimcilik hayalleri peşinden gitmeye karar veren Shani ve Shalom, 1.5 yıl önce Guy Piekarz’ı CEO olarak ekibe katmışlardır. Piekarz, Panjaya’nın kurucusu olmamakla birlikte, 2013 yılında Apple’a satılan bir girişimin kurucusu olarak tanınmaktadır.
Teknolojik Yenilikler ve Özellikler
BodyTalk, farklı synthesized media teknolojilerini bir araya getiriyor. İlk olarak, kullanıcılar videolarını platforma yükledikleri anda, 29 dilde sese dayalı çeviri sunuluyor. Çeviri, orijinal konuşmacının sesini taklit eden bir tonla seslendiriliyor ve videodaki konuşmacının dudak hareketleri ile diğer hareketleri, yeni kelimelere uygun şekilde ayarlanıyor. Bu işlemler otomatik olarak gerçekleştiriliyor.
Piekarz, “Gereken yerlerde en iyi uygulamaları kullanıyoruz,” diyerek, şirketin üçüncü taraf büyük dil modelleri ve diğer araçlarla çalıştığını dile getiriyor. Şirket ayrıca, pazarda mevcut olmayan çözümler için kendi AI modellerini de geliştiriyor.
Hedef Pazar ve Gelecek Planları
Panjaya şu an için yalnızca B2B alanında çalışıyor ve JFrog ile TED medya organizasyonu gibi müşterilere sahip. Şirket, medya alanında spor, eğitim, pazarlama, sağlık ve tıp gibi alanlara yayılmayı planlıyor.
BodyTalk ile üretilen çeviri videoları oldukça gerçekçi ve derinlikli görünüyor. Ancak Piekarz, bu terimin son yıllarda olumsuz bir anlam kazandığını belirterek, “Deepfake terimiyle ilgilenmiyoruz. Biz derin gerçek kategorisine aitiz” şeklinde açıklama yapıyor. Şirket, yalnızca B2B pazarına odaklanarak, teknolojinin kötüye kullanımını önlemek için güvenlik önlemleri almayı hedefliyor. Ayrıca, daha iyi bir izleme aracı sağlamak amacıyla, videoların ne zaman değiştirilip değiştirilmediğini anlamaya yönelik watermarking gibi araçların geliştirilmesine katkıda bulunmak istiyor.
Rekabet ve Pazar Durumu
Panjaya’nın, video için AI tabanlı çeviri alanında, Vimeo ve ElevenLabs gibi büyük isimlerle birlikte çeşitli rakipleri mevcut. Ancak video tüketiminde alt yazıların standartlaşmış olması, dublaj üzerinde geliştirme yapmayı zorlaştırıyor. Örneğin, CBS’nin bir anketine göre, Amerikalı TV izleyicilerinin yarısından fazlası alt yazıları “bazı (yüzde 21) veya her zaman (yüzde 34)” açık tutuyor.
Bununla birlikte, yerel dillerde sunulan içeriklerin daha iyi etkileşim sağladığını gösteren araştırmalar var. Panjaya, daha doğal bir yerel dil içeriğinin daha iyi sonuçlar doğurabileceğine inanıyor. TED de, Panjaya’nın teknolojisiyle dublaj yapılan konuşmaların, %115 daha fazla izlenme ve %100 artan tam izleme oranı elde ettiğini belirtiyor.
