NVIDIA, Audio2Face Animasyon Modelini Açık Kaynak Olarak Yayınladı

NVIDIA Audio2Face Teknolojisi ile Gerçekçi Avatarlara Merhaba!

Büyük dil ve konuşma modellerini kullanarak, generatif yapay zeka, kullanıcılarla doğal bir şekilde etkileşim kurabilen 3D avatarlar oluşturuyor. Bu avatarlar, video oyunlarından müşteri hizmetlerine kadar geniş bir yelpazede yer alıyor. Bu karakterlerin gerçekten yaşam gibi olabilmesi için insan benzeri ifadeler gerekmektedir. NVIDIA’nın Audio2Face teknolojisi, gerçekçi dijital karakterlerin yaratımını hızlandırarak, gerçek zamanlı yüz animasyonu ve konuşma senkronizasyonu sağlıyor.

Audio2Face Teknolojisinin Açık Kaynağı

Bugün, NVIDIA, AI destekli avatarların oyunlar ve 3D uygulamalarda benimsenmesini hızlandırmak amacıyla Audio2Face teknolojisini açık kaynak olarak sunuyor.

Audio2Face, ses girişinden gerçekçi yüz animasyonları oluşturmak için AI kullanıyor. Aural özellikleri, yani fonemler ve entonasyon gibi unsurları analiz ederek, bir karakterin yüz duruşlarına eşleştirilen bir animasyon veri akışı oluşturuyor. Bu veriler, önceden yazılmış içerik için çevrimdışı olarak veya dinamik, AI destekli karakterler için gerçek zamanlı olarak aktarılabilir, böylece doğru konuşma senkronizasyonu ve duygusal ifadeler sağlanır.

Audio2Face Araç Seti ve Eğitim Kaynakları

NVIDIA, Audio2Face modellerini ve SDK’sını açık kaynak yaparak, her oyun ve 3D uygulama geliştiricisinin yüksek kaliteli karakterler ve son teknolojilere sahip animasyonlar oluşturmasını sağlıyor. Ek olarak, Audio2Face Eğitim Çerçevesi de açık kaynak olarak sunuluyor, böylece kullanıcılar mevcut modelleri belirli ihtiyaçlar için özelleştirebiliyor.

Aşağıdaki tablolar, açık kaynak araçların tam listesini içeriyor. Daha fazlası için NVIDIA Developer sayfasına göz atabilirsiniz.

Topluluğun Gücü

Açık kaynak teknolojisi, geliştiricilerin, öğrencilerin ve araştırmacıların en son koddan öğrenmelerine ve bunu geliştirmelerine olanak tanır. Bu, topluluğun yeni özellikler ekleyip teknolojiyi farklı kullanımlar için optimize edebileceği bir geri bildirim döngüsü oluşturur. Biz, yüksek kaliteli yüz animasyonlarının daha erişilebilir hale gelmesinde heyecanlıyız ve topluluğun bunlarla neler yaratacağını görmek için sabırsızlanıyoruz. NVIDIA Audio2Face geliştirici topluluğumuza Discord üzerinden katılın ve son çalışmalarınızı paylaşın.

Endüstri lideri Audio2Face modeli, oyun, medya ve eğlence, müşteri hizmetleri sektörlerinde geniş çapta kullanılmaktadır. Birçok bağımsız yazılım geliştiricisi ve oyun stüdyosu, Convai, Codemasters, GSC Games World, Inworld AI, NetEase, Reallusion, Perfect World Games, Streamlabs ve UneeQ Digital Humans gibi, Audio2Face’i uygulamalarında entegre etmiştir.

Üç boyutlu karakterler geliştirme platformu sunan Reallusion, Audio2Face’i araçlarını içerisinde entegre etti. Reallusion’ın İnovasyon Bölüm Başkanı Elvis Huang, “Audio2Face, sesle çok dilli, ifade dolu yüz animasyonu oluşturmada AI kullanıyor. Reallusion’ın iClone, Karakter Yaratıcı ve iClone AI Asistanı ile sorunsuz entegrasyonu, yüksek kaliteli karakter animasyonu üretimini her zamankinden daha kolay hale getiriyor,” dedi.

Survios, Alien: Rogue Incursion Evolved Edition oyununun geliştiricileri, animasyon süreçlerini hızlandırarak, kaliteli karakter deneyimlerini daha hızlı teslim etme olanağı buldular. Survios’un oyun direktörü ve baş mühendis Eugene Elkin, “Audio2Face’i Evolved Edition’a entegre ederek, dudak senkronizasyonu ve yüz yakalama sürecini düzene soktuk ve oyuncularımız için daha yoğun ve otantik bir karakter deneyimi sağladık,” şeklinde konuştu.

Chernobylite oyun serisinin yaratıcısı The Farm 51, en son oyunlarında Audio2Face’i entegre etti. Kreatif direktör Wojciech Pazdur, “Chernobylite 2: Exclusion Zone’da NVIDIA Audio2Face teknolojisinin entegrasyonu bizim için bir oyun değiştirici oldu. Sesli verilerden yüksek detaylı yüz animasyonları oluşturmamızı sağladı ve bu sayede animasyon çalışmalarında sayısız saatlerden tasarruf ettik. İlk Chernobylite’de imkansız olan fikirler şimdi mümkün, bu da karakterlere daha yüksek bir gerçekçilik ve derinlik katıyor,” dedi.

Oyun Geliştiriciler için Yeni Güncellemeler

Bu ay oyun geliştiricilere yönelik başka duyurular da yapıldı. RTX Kit, AI ile ray izleme oyunları geliştirmek, sahneleri büyük geometriyle oluşturmak ve oyun karakterleriyle fotoğraf gibi görsellikler yaratmak için kullanılan bir dizi sinirsel görüntüleme teknolojisidir.

RTX Sinirsel Doku Sıkıştırma SDK’sı, yüksek kaliteli dokuların bellek kullanımını önemli ölçüde azaltır ve şu iyileştirmelere sahiptir:

• Çok büyük doku setleri için kütüphane optimizasyonları ve DX12’de Kooperatif Vektörler ile iyileştirilmiş performans
• Render örneği için genişletilmiş özellik seti, geliştirilmiş performans ve DLSS desteği
• Çok büyük doku setlerini sıkıştırırken ve açarken yeni Komut Satırı Aracı iyileştirmeleri
• Benchmarking için harika olan yeni Intel Sponza sahnesi

RTX Küresel Aydınlatma SDK’sı, ışıkların ray izlemeli dolaylı aydınlatma çözümleri sunmakta ve şu iyileştirmeleri almıştır:

• Pathtracer örneğine VSync seçeneği eklenmiştir.
• Malzeme demodülasyonu anahtarı ile önbellek görselleştirmesi eklenmiştir.
• Alan Tabanlı Radyans Ön Belleği (SHaRC) algoritması, sıkıştırma seçeneğini kaldırır, isteğe bağlı malzeme demodülasyonu, ek hata ayıklama geçişi ve belge güncellemeleri getirir.

NVIDIA vGPU ile Oyun Geliştirme Ortamı Genişliyor

NVIDIA sanal GPU (vGPU) teknolojisi, sanallaştırılmış bir ortamda birden fazla kullanıcının GPU paylaşımını sağlar ve oyun geliştiricileri için ölçeklenebilir GPU kaynakları sunar. Activision, küresel entegrasyon, dağıtım ve dağıtım boru hattını NVIDIA vGPU ile yenileyerek, 100 eski sunucuyu yalnızca altı adet RTX GPU destekli birimle değiştirdi. Sonuçlar:

• %82’lik bir alan azalması
• %72’lik bir enerji tasarrufu
• 3.000 geliştirici ve 500’den fazla sisteme yayılmış olarak günde 250.000’den fazla görev yürütme

Altyapıyı konsolide ederek ve dinamik GPU tahsisine izin vererek, Activision, çok oyunculu doğrulamadan görsel regresyon ve performans testlerine kadar her şeyi destekleyen ölçeklenebilir, otomatik bir test platformu oluşturdu ve iterasyon hızını artırarak kod kalitesini yükseltti.

SIGGRAPH 2025’ten Grafik Geliştirme ve Performans Ayarlama Oturumları

NVIDIA, çeşitli eğitim oturumları ve teknik sunumlar düzenledi. Oyun geliştiricileri için özellikle ilgi çekici olan, Nsight grafik geliştirici araçlarıyla en son gelişmeleri sergileyen uygulamalı laboratuvarlardır. Bu oturumların kayıtları artık NVIDIA Talep Üzerine platformunda izlenebilir.

Nsight Graphics in Action: Modern Ray-Tracing Uygulamalarını Geliştirip Hata Ayıklamak, yaygın render hataları ve performans engellerini tanımlamak ve teşhis etmek için karelerin inceleme ve hata ayıklamasını içerir. Yeni Grafik Yakalama aracının kullanımını içeren güncellenmiş ve modernleşmiş iş akışlarını da sunar.

Nsight Graphics in Action: Modern Ray-Tracing Uygulamalarında Shader’ları Optimize Etmek, shader kodunun bireysel satırlarına derinlemesine inceleme yaparak çalışma süresi engellerini bulmanıza olanak tanır.

NVIDIA Nsight Sistemleri ile VRAM Yönetimini Optimize Etmek, uygulama performansı ve hem CPU hem de GPU kaynaklarının kullanımını izlemek için uzun süreli izleme verileri sunar. Özel olarak, yeni Grafik Noktası Analiz aracı, ham zaman çizgisi verilerini kolayca anlaşılır özetlerle web tabanlı bir arayüze dönüştürmektedir.

Nsight Graphics ve Nsight Sistemleri‘ni indirerek kendi oyunlarınızı ve grafik uygulamalarınızı optimize etmeye başlayabilirsiniz.

Gelecek Planları

Bu sabah “NVIDIA ile Seviye Atlama” webinarını kaçırdıysanız, RTX Mega Geometri ile ilgili bölümü buradan izleyebilirsiniz.

Oyun geliştirici kaynaklarının tam listesini görmek için buraya tıklayın ve en son NVIDIA oyun geliştirme haberlerini takip etmek için:

• NVIDIA Geliştirici Programı’na katılın (sizin endüstriniz olarak oyun seçin)
• Sosyal medya hesaplarımızı takip edin: X, LinkedIn, Facebook ve YouTube
• Discord topluluğumuza katılın