Gerçekçi 3D simülasyon, modern yapay zeka ve grafiklerin temel taşlarından biri haline gelmiştir. Otonom araçların (AV) eğitilmesinden, robot teknolojisine ve dijital ikizlere kadar pek çok alanda kullanılmaktadır. Neural rendering teknikleri; NeRF’ler ve 3D Gaussian Splatting (3DGS) gibi sonraki nesil yöntemler, ham sensör verilerinden 3D sahnelerin yeniden yapılandırılmasını ve görselleştirilmesini devrim niteliğinde değiştirmiştir.
Bu yazıda, 3D Gaussian Unscented Transform (3DGUT) adı verilen, güçlü bir yöntem ile tanışacağız. Bu yöntem, gsplat kütüphanesinde sinirsel renderlemeyi güçlendirmekte ve gerçek dünya kamera efektlerini desteklemektedir. Bu entegrasyon, otonom makineler ve robotlar için zengin sanal dünyalar oluşturabilecek geliştiriciler ve araştırmacılar için performans ve kaliteli görsel faydaları daha erişilebilir kılmaktadır.
3DGUT ile 3D Renderlemede Yenilikler
3DGUT, 3D renderleme ve sahne yeniden yapılandırmasını devrim niteliğinde geliştirmektedir. Yaygın olarak benimsenmiş olan 3DGS çerçevesine dayanan 3DGUT, geleneksel Elliptical Weighted Average (EWA) splatting yöntemini daha esnek bir yaklaşım olan Unscented Transform ile değiştirmektedir. Bu gelişme, geliştiricilerin karmaşık kamera modellerini—balıkgözü lenslerin bozulmalarını ve rolling shutter efektlerini—eşi benzeri görülmemiş bir doğruluk ile ve renderleme hızından ödün vermeden işlemelerine olanak sağlamaktadır.
3DGUT ayrıca, NVIDIA’nın ışın izleme yöntemine entegre olarak, yansımalar ve kırılmalar gibi ikincil görsel olayları simüle etme yetenekleri sunmaktadır. Bu entegrasyon, 3DGRT ile mükemmel bir uyum içinde çalışarak 3D sahnelerin görselleştirilmesini daha da güçlendirmekte ve açık kaynak olarak erişilebilir kılmaktadır. 3DGUT ve 3DGRT, nv-tlabs/3dgrut GitHub deposu üzerinden elde edilebilmektedir.
3DGUT’un gsplat Kütüphanesindeki Uygulaması
Pek çok popüler sinirsel renderleme deposunu destekleyen gsplat kütüphanesi, Gaussian Splatting yöntemlerini geliştirmek ve eğitmek için özel olarak tasarlanmıştır. 3DGUT’un potansiyelini tam olarak kullanmak için merkezi bir yapı taşını temsil etmektedir. gsplat, PyTorch ile uyumlu Python bağlamaları sunmakta ve CUDA destekli optimize edilmiş arka uç özellikleriyle birlikte pek çok özellik sunmaktadır.
Aktif olarak GitHub üzerinde Apache License 2.0 altında bakım yapılan gsplat, Nerfstudio gibi popüler sinirsel renderleme projelerine güç vermektedir. 3DGUT’un esnekliği ve gsplat’ın modüler, yüksek optimizasyonlu altyapısı, yüksek performanslı 3D renderleme için mükemmel bir ortam sağlamaktadır.
Uygun Maliyetli 3D Renderleme
3DGUT’un gsplat kütüphanesine entegrasyonu, bozulmalar ve rolling shutter dahil olmak üzere karmaşık kamera modellerinde renderleme (ve eğitim) yapmayı sağlamaktadır. Bu özellik, üretim düzeyindeki iş akışları için kritik öneme sahiptir. Hafif gsplat CUDA arka ucu ile birlikte çoklu GPU desteği sunarak kullanıcılar, daha az kaynak kullanarak daha büyük ortamlar üzerinde çalışabilir ve gerçek zamanlı geri bildirim alabilir.
Hızlı Deneyim ve Prototipleme Süreci
gsplat’ın modüler, tak-çalıştır mimarisi, 3DGUT’un esnekliği için ideal bir tamamlayıcıdır. Araştırmacılar ve geliştiriciler, çekirdek altyapıyı yeniden yazmadan optimizasyon rutinlerini, kamera modellerini veya hatta Gaussian temsilini hızlı bir şekilde değiştirebilirler. 3DGUT ve gsplat’ın birleşimi, veri seti hazırlığından görsel değerlendirmeye kadar iş akışında her aşamada sürtünmeyi azaltarak şevk ve araştırma verimliliğini artırmaktadır.
Büyüyen Topluluk Destekli Ekosistem
gsplat’ın açık kaynaklı yapısı ve 3DGUT’un gücü, daha geniş bir araştırmacı, geliştirici ve yaratıcı topluluğun katkıda bulunmasını ve yenilik yapmasını teşvik etmektedir. Yeni sinirsel renderleme algoritmaları geliştiriyorsanız, mevcut 3D iş akışlarına entegre ediyorsanız veya fikirleri keşfetmek istiyorsanız, bu entegrasyon, keskin NVIDIA araştırmaları ve gsplat iş birliği ekosisteminin desteğiyle sağlam bir temel sunmaktadır. Birlikte, yüksek performanslı 3D renderlemeyi demokratikleştirerek akademi ve sanayide ilerlemeyi hızlandırmaktadır.
Fiziksel AI Gelişimini Güçlendirme
3DGUT, robotik, otonom araçlar ve bedensel ajanlar gibi görsel gerçekliğin kritik olduğu fiziksel AI uygulamaları için güçlü bir olanak sunmaktadır. Balıkgözü lens bozulması ve rolling shutter efektleri gibi karmaşık kamera fenomenlerini modelleyerek, gerçek dünya uygulamalarında veri toplarken genellikle karşılaşılan birçok zorluğu aşmaktadır. Bu düzeydeki kalite, dinamik hareket ve geniş açılı optikler kullanarak güvenilir bir şekilde çalışması gereken güçlü görüntü sistemleri eğitmek için gereklidir.
3DGUT ayrıca, yansımalar ve kırılmalar gibi ikincil aydınlatma etkilerini destekleyerek 3DGRT ile birleşimi sayesinde önemli bir işlev sunmaktadır. Bu aydınlatma ipuçları, AI ajanlarının derinlik, yüzey sınırları ve nesne malzeme özelliklerini yorumlaması üzerinde büyük bir etki yaratmakta ve belirsizlik içeren karmaşık koşullarda davranışlarını test etmek ve geliştirmek için gereklidir.
gsplat’ın hızlı, esnek renderleme arka ucu ve Nerfstudio ekosisteminden kullanıcı dostu araçlarla bir araya geldiğinde, bu yapı, fiziksel AI araştırmalarının ve gelişimlerinin ilerlemesi için kritik olan hızlı deneyim ve iterasyon olanağı sunmaktadır.
3 ve 4 numaralı videolar, normal bir pinhole kamerasından (Video 3) ve 3DGUT ile etkinleştirilen bir balıkgözü kamerasından (Video 4) oluşturulmuş sahneleri karşılaştırmak için izlenebilir.
3DGUT ile Başlamak
3DGUT ve 3DGRT açık kaynaklıdır ve küresel geliştirici ile araştırmacı topluluğuna açılmıştır. Kodları keşfedin ve nv-tlabs/3dgrut GitHub reposunda katkıda bulunma fırsatını değerlendirin.
Ayrıca, 3DGUT’un yaygın olarak benimsenmiş olan açık kaynak gsplat kütüphanesine entegre edildiğini gözlemleyebilirsiniz; bu durum, kesintisiz deneyim, tak-çalıştır renderleme süreçleri ve dağıtıma hazır performans sunmaktadır.
Başlamak için, NVIDIA’nın 3DGUT uygulaması ve gsplat’ın 3DGUT ile entegrasyonu için kapsamlı belgeleri ve hızlı başlangıç kılavuzlarını kontrol edin. Bu belgeler, gerçek zamanlı görselleştirme ve çoklu veri seti desteği kullanımı hakkında rehberlik sağlamaktadır.
NVIDIA 3DGUT Yarışması
Araştırmacıları ve geliştiricileri, gsplat veya 3DGRUT (3DGUT ve 3DGRT birleşimi) kullanarak yenilikçi sahneler oluşturarak yaratıcılıklarını sergilemeye davet ediyoruz. Katılımcılar, gelecekteki araştırma ve gelişim süreçlerini hızlandırmak için iki NVIDIA RTX 4090 GPU kazanma fırsatı elde edecekler.
