Otonom araçlar (AV) sistemleri, birbirinden bağımsız yapı taşları hiyerarşisinden, temel modeller üzerine inşa edilmiş son derece entegre mimarilere doğru evrim geçiriyor. Bu geçiş, otonom araçların güvenli bir şekilde geliştirilip dağıtılabilmesi için veri döngüsü gerektiriyor; bu da sentetik veri üretimini, sensör veri setlerinin zenginleştirilmesini ve kapsam boşluklarının kapatılmasını içeriyor.
Bu yazıda, NVIDIA API’leri, NVIDIA Cosmos dünya temel modelleri (WFM) ve geliştiricilerin veri boru hatlarını başlatabilmesi için NIM mikro hizmetlerini öne çıkarıyoruz.
AV Simülasyonu için Sinirsel Yeniden Yapılandırma
Otonom araç filoları tarafından toplanan gerçek dünya verileri, AV iş akışlarının temelini oluşturuyor. Ancak nadir olaylar, nesneler ve senaryolar için sensör verilerini toplamak ve işaretlemek pratik değildir. Gelişmiş 3D yeniden yapılandırma teknikleri sayesinde geliştiriciler, gerçek dünya veri setlerini çeşitli, etkileşimli simülasyonlara dönüştürebiliyor.
NVIDIA NuRec
NVIDIA NuRec, sinirsel yeniden yapılandırma ve render alma için bir dizi API ve araçtır. Geliştiricilerin mevcut filo verilerini kullanarak yüksek fideliteye sahip dijital ikizler inşa etmelerine, yeni olaylar simüle etmelerine ve sensör veri setlerini yeni perspektiflerden görselleştirmelerine olanak tanır. NuRec, geliştiricilere şunları yapma imkanı sunar:
- Sensör verilerini yeniden yapılandırma için hazırlamak ve işlemek.
- Sensör verilerini 3D temsillere dönüştürmek.
- Simülasyon ile bağlantı kurmak için Gauss tabanlı render alma yapmak.
Araç platformları arasında sensör yapılandırmaları farklılık gösterir. Dijital ikizleri yeniden yapılandırmadan önce sensör verisinin, veri işleme için standart bir biçimde formatlanması gerekmektedir.
Voxel51, güçlü ve yaygın şekilde kullanılan açık kaynak veri işleme araçları geliştiren bir görsel AI veri platformu şirketidir. NuRec veri toolkitleri, veri alım kütüphaneleri ve NuRec konteyneri Voxel51’in araç zincirinde yer alacak, böylece geliştiriciler kendi veri setlerini alabilir, rekonstrüksiyonlarının kalitesini değerlendirebilir ve daha sonraki simülasyon görevleri için 3D dijital ikizler oluşturabilir. Bu pipeline, CVPR’de Voxel 51 standında (#1417) bir demo ile tanıtılacak.
Gerçek Dünya Yeniden Yapılandırmalarını Simülasyon Boru Hatlarına Entegre Etmek
Gerçek dünya sürüşü yeniden yapılandırıldıktan sonra, sonraki adım ya orijinal sürüşün tekrarını yapmak ya da dijital ikizden yeni senaryolar simüle etmektir. Bu, bir ego aracını hareket ettirmeyi, sahnedeki diğer aktörlerin hareketlerini belirlemeyi ve sahnedeki tüm olayları yönetmeyi sağlayan bir simülatör gerektirir.
CARLA Açık Kaynak AV Simülatörü
CARLA, 150,000’den fazla aktif geliştiriciyle dünyanın en popüler açık kaynak simülasyon platformlarından biridir ve AV araştırmaları ve geliştirmeleri için bir test ortamı olarak hizmet etmektedir. NVIDIA, en son NuRec render API’lerini ve Cosmos Transfer-1 dünya temel modelini entegre etmek için CARLA ile işbirliği yapıyor. Bu, geliştiricilere Gauss temsillerinden sensör verisi üretebilir, ışın izleme ile farklılık yaratabilir ve Cosmos WFMs ile çeşitliliği artırma imkanı sunar.
Aşağıda, CARLA’nın tüm ajanların hareketini ve ego aracının ilk bakış açısında sensör verisini render etmek için yönettiği bir sahne örneği bulunmaktadır. Yeniden yapılandırılmış sahneleri ekleyerek ve CARLA’nın API’leri ve trafik modeli entegrasyonları ile yeni olayları simüle ederek, yararlı köşe vakası veri setleri oluşturabiliriz.
NuRec Fixer ile Yeni Görüş Üretimi
Yeniden yapılandırılmış bir sahneyi yeni bir görüş açısıyla render alırken, yapılandırmada boşluklar olabilir ve bu durum bazı hatalara yol açabilir. NuRec Fixer, otonom araç veri setleri üzerinde yeniden eğitilmiş bir transformer tabanlı modeldir ve yeniden yapılandırma hatalarını düzeltmeye olanak tanır. Geliştiriciler, düzelticiyi yeniden yapılandırma sürecinde veya sinirsel render sırasında bir son işlem olarak çalıştırabilir. Fixer, CVPR 2025’te yayımlanan Difix3D+ makalesine dayanmaktadır. Fixer ile, yeniden yapılandırılmış sahnelerden yeni görünüm sentezi yapmak pratik hale gelir.
NVIDIA Fiziksel AI Veri Seti
Geliştiriciler, bu boru hattını NVIDIA Fiziksel AI Veri Seti‘ni kullanarak deneyebilirler. En son veri seti sürümü, 40,000 klip içermekte olup, Cosmos kullanılarak üretilmiştir ve sinirsel renderleme için örnek yeniden yapılandırılmış sahneler içermektedir. Geliştiriciler artık bu son sürümle yeni yollar oluşturabilir, kamerayı yeniden konumlandırabilir ve bu yeniden yapılandırılmış veriyle sürüş simüle edebilir.
Diversify with Cosmos Transfer
Veri döngüsünü daha da büyütmek ve hızlandırmak için, Cosmos Transfer ile veri gerçekliğini ve çeşitliliğini artırma yeteneğimiz var. Hava durumu için parçacık efektleri modelleme, aydınlatma varyasyonları elde etme ve 3D içerik üretilmesi karmaşık bir teknik zorluktur. Cosmos WFMs – Reason, Predict ve Transfer – büyük ölçekli internet verileri üzerinde eğitim aldılar ve genel anlayış ve tahmin yeteneklerine sahiptirler. Cosmos Transfer, geliştiricilerin bir istemci ve sensör verisi kullanarak mevcut bir sahnenin farklı varyasyonlarını üretmesine olanak tanır ve bu en son sürüm CARLA’da mevcuttur.
Simülasyonda Davranış: Trafik Modelleri
CARLA geliştirenler, Inverted.AI tarafından sağlanan Yolda İleri Düşünme (ITRA) gibi davranışsal direktif agent modellerini kullanarak, AV geliştiricileri ise CARLA ve NVIDIA Cosmos ile entegre olan Foretellix Foretify veri otomasyon araç zincirini kullanarak senaryolarda ve davranışlarda gerçekçi çeşitlilik üretebilirler. CVPR katılımcıları, bu iş akışını “AI Başarısı için Veri Stratejilerini Geliştirme” adlı pratik eğitimde deneyimleyebilirler.
NVIDIA Omniverse Blueprint for AV Simülasyonu
NVIDIA, bu temel teknolojileri sürdürülebilir bir simülasyon boru hattı oluşturmak için bir referans iş akışına dahil ediyor.
Yakında çıkacak olan Omniverse Blueprint for AV Simulation, geliştiricilerin kendi simülatörlerini sinirsel olarak yeniden yapılandırılmış sahnelerle iyileştirmelerine, bu sahnelere sentetik aktörler eklemelerine, fizik ve animasyon modellemeleri yapmalarına ve fiziksel tabanlı, NeRF içeriğini bileşen render ile gerçekleştirmelerine olanak tanıyacak.
Foretellix, MathWorks, CARLA ve Mcity gibi organizasyonlar, nihai kullanıcıları için AV geliştirme süreçlerini hızlandırmak amacıyla iş akışları inşa ediyorlar.
Bu modeller ve iş akışları, AV geliştirici topluluğunun, otonom araçların eğitim, test ve doğrulama veri boru hatlarını oluşturma gibi en zorlayıcı zorlukların üstesinden gelmelerine yardımcı olmak için tasarlanmıştır.
Geliştirmeye Bugün Başlayın
- AV Simülasyonu kullanım senaryoları hakkında daha fazla bilgi edinin.
- CARLA ile NuRec ve Cosmos Transfer’i kullanmaya başlayın.
- Fiziksel AI Veri Seti’ni indirin.
- Cosmos Transfer’i indirin.
- NuRec Fixer’ı indirin.
CVPR 2025’te sunulacakNVIDIA araştırma makalelerini keşfedin ve NVIDIA kurucusu ve CEO’su Jensen Huang’ınNVIDIA GTC Paris açılış konuşmasını izleyin.
Güncel kalmak içinNVIDIA haber bültenine abone olabilir ve NVIDIA Omniverse’üDiscord’da veYouTube’da takip edebilirsiniz.
- Geliştirme seçenekleri hakkında bilgi için Omniverse geliştirici sayfasını ziyaret edin.
- Açık kaynaklı OpenUSD kaynaklarına erişim sağlayın ve yeni OpenUSD öğrenme müfredatına göz atın.
- Gelecek olan OpenUSD Insiders canlı yayınlarına katılın ve NVIDIA Geliştirici Topluluğu ile bağlantı kurun.
Geliştirici başlangıç kitleri ile kendi uygulamalarınızı ve hizmetlerinizi hızlıca geliştirmeye başlayın.
