Yeni Yöntemle Gerçekçi 3D Modeller Yaratma
Gerçekçi 3D modeller oluşturmak, sanal gerçeklik, film yapımı ve mühendislik tasarımı gibi alanlarda oldukça zorlayıcı bir süreç olabilir. Geleneksel yöntemlerde çok sayıda deneme yanılma gerektirir.
Görsel içerik üretiminde kullanılan üretken yapay zeka modelleri, metin istemlerinden hayata geçirilebilen gerçekçi 2D görseller yaratmamıza olanak tanırken, bu modeller 3D şekiller üretmek üzere tasarlanmamıştır. Bu açığı kapatmak için geliştirilmiş bir teknik olan Skor Distilasyonu, 2D görsel üretim modellerini kullanarak 3D şekiller oluşturmayı amaçlamaktadır. Ancak bu yöntem genellikle bulanık veya çizgi film benzeri sonuçlar üretmektedir.
MIT araştırmacıları, 2D ve 3D model üretim algoritmaları arasındaki ilişki ve farkları inceleyerek, düşük kaliteli 3D modellerin temel nedenini ortaya çıkardılar. Bu bilgiyi kullanarak Skor Distilasyonu’nda basit bir iyileştirme gerçekleştirdiler. Böylece, daha keskin ve kaliteli 3D şekillerin üretilmesi mümkün hale geldi.
3D Obje Üretiminde Görülen Sorunlar
Diğer bazı yöntemler bu sorunu çözmek için üretken yapay zeka modelini yeniden eğitmeye veya ince ayar yapmaya çalışmakta, bu da oldukça maliyetli ve zaman alıcı olabilmektedir. Buna karşın, MIT araştırmacılarının geliştirdiği bu yeni teknik, ek eğitim veya karmaşık bir işlem gerektirmeden 3D şekil kalitesini arttırmayı başarmıştır.
Bu başarı, araştırmacıların Skor Distilasyonu ve ilgili tekniklerin matematiksel anlayışlarını geliştirmelerine olanak tanımıştır. Böylece, gelecek çalışmalarda daha verimli çözümler bulmak ve yüksek kalite elde etmek için bir yön bulmuşlardır.
Elektrik mühendisliği ve bilgisayar bilimi yüksek lisans öğrencisi Artem Lukoianov, “Artık nereye gitmemiz gerektiğini biliyoruz, bu da daha hızlı ve daha kaliteli çözümler bulmamızı sağlıyor” diyor.
İki Boyutludan Üç Boyuta
Difüzyon modelleri, DALL-E gibi, rastgele gürültüden gerçekçi görüntüler oluşturabilen bir üretken yapay zeka türüdür. Bu modellerin eğitilmesi için araştırmacılar, görüntülere gürültü ekleyerek modelin bu gürültüyü nasıl kaldırması gerektiğini öğretirler. Ancak, difüzyon modelleri doğrudan gerçekçi 3D şekiller üretmekte yetersiz kalmaktadır çünkü yeterli miktarda 3D veri bulunmamaktadır.
Bu sorunu aşmak için 2022 yılında, bir önceden eğitilmiş difüzyon modelini kullanarak 2D görüntüleri bir araya getiren Skor Distilasyonu Örnekleme (SDS) tekniği geliştirilmiştir.
Bu teknik, rasgele bir 3D temsil ile başlayarak, bir obje için rasgele bir kamera açısıyla 2D bir görüntü oluşturma, o görüntüye gürültü ekleme ve ardından bir difüzyon modeli yardımıyla o görüntüyü netleştirerek 3D temsili optimize etme aşamalarını içerir. Ancak bu yöntemle üretilen 3D şekiller genellikle bulanık veya aşırı doymuş görünmektedir.
MIT araştırmacıları, SDS sürecinin adımlarını inceleyerek, sürecin önemli bir kısmını oluşturan bir formül ile 2D difüzyon modellerindeki eşdeğerinin tutarsızlıklar içerdiğini keşfettiler. Bu durum, 3D şekillerin kalitesini olumsuz yönde etkilemektedir.
Bulanıklık Sorununu Aşmak
Bu karmaşık formülü tam olarak çözmeye çalışmak yerine, araştırmacılar farklı yaklaşımlar test ederken en iyi olanı belirlediler. Gürültü teriminin rasgele örneklenmesi yerine, onların yöntemi mevcut 3D şekil görüntüsünden kaybolan terimi çıkarsayarak tahmin ediyor. Böylece, daha keskin ve gerçekçi 3D şekiller oluşturmak mümkün olmaktadır.
Sonuç olarak, önceden eğitilmiş bir difüzyon modeli kullanarak, maliyetli yeniden eğitim gerektirmeden pürüzsüz ve gerçekçi görünümlü 3D şekiller üretmeyi başardılar.
Bununla birlikte, yöntemleri kullandıkları önceden eğitilmiş difüzyon modeli, o modelin önyargılarını ve eksikliklerini de beraberinde getirmektedir. Gelecekte bu modeli geliştirmek, çalışmalarının kalitesini artırabilir. Ayrıca, bu bilgiler doğrultusunda, görsel düzenleme tekniklerini geliştirme olasılıklarını da keşfetmeye istekli oldukları belirtilmektedir.