Gerçek dünyadaki ortamları interaktif simülasyonlara dönüştürmek, artık günler veya haftalar süren bir çalışma gerektirmiyor.NVIDIA Omniverse NuRec ve 3DGUT (3D Gauss ile Unscented Dönüşümler) sayesinde basit sensör verilerinden fotogerçekçi 3D sahneler yeniden oluşturulabiliyor ve bunlar anında NVIDIA Isaac Sim veya CARLA Simülatörü’nde kullanılabiliyor.
Bu yazıda, gerçek dünya verilerini nasıl yakalayacağınızı, bir yeniden yapılandırma eğitimi vermeyi ve sonuçları Isaac Sim’de yüklemeyi öğreneceksiniz.
Fotoğraflardan İnteraktif Simülasyon Nasıl Oluşturulur?
Sinirsel yeniden yapılandırma, gerçekçi simülasyonlarda robot eğitimini verimli hale getirdikçe, simülatör ve gerçek dünya arasındaki geçişi de geliştiriyor. Aşağıdaki adımlar, farklı ortamlar arasında işleyen sinirsel yeniden yapılandırma ve render sürecini basit bir tarifte bir araya getiriyor.
1. Gerçek Dünya Manzarasını Yakala
Yaklaşık 100 fotoğrafı iyi ışıkta ve açıların örtüşmesiyle birlikte, tüm açılardan çekin. Örnek ayarlar: f/8, 1/100s+, 18 mm veya benzeri.
2. COLMAP ile Seyrek Yeniden Yapılandırma Oluştur
COLMAP kullanarak, seyrek bir nokta bulutu ve kamera parametreleri oluşturabilirsiniz. Bunun için COLMAP’in GUI’sini kullanarak otomatik yeniden yapılandırmayı seçebilir veya komutları çalıştırarak özellik çıkarmayı, eşleştirmeyi ve seyrek yeniden yapılandırmayı gerçekleştirebilirsiniz. 3DGUT ile uyumlu olması için, ya pinhole ya da basit pinhole kamera modelini seçin.
# Özellik tespiti ve çıkarımı
$ colmap feature_extractor
--database_path ./colmap/database.db
--image_path ./images/
--ImageReader.single_camera 1
--ImageReader.camera_model PINHOLE
--SiftExtraction.max_image_size 2000
--SiftExtraction.estimate_affine_shape 1
--SiftExtraction.domain_size_pooling 1
# Özellik eşleştirme
$ colmap exhaustive_matcher
--database_path ./colmap/database.db
--SiftMatching.use_gpu 1
# Küresel SFM
$ colmap mapper
--database_path ./colmap/database.db
--image_path ./images/
--output_path ./colmap/sparse
# Doğrulama için görselleştirme
$ colmap gui --import_path ./colmap/sparse/0
--database_path ./colmap/database.db
--image_path ./images/
3. Yoğun Yeniden Yapılandırma için 3DGUT ile Eğitim Al
COLMAP çıktılarınızı kullanarak 3DGUT ile eğitim verebilir ve config apps/colmap_3dgut_mcmc.yaml dosyasını kullanabilirsiniz.
$ conda activate 3dgrut
$ python train.py --config-name apps/colmap_3dgut_mcmc.yaml
path=/path/to/colmap/
out_dir=/path/to/out/
experiment_name=3dgut_mcmc
export_usdz.enabled=true
export_usdz.apply_normalizing_transform=true
4. USD’ye Aktar ve Normalize Et
Eğitim tamamlandığında, sahnenizi USD dosyası olarak dışa aktarın ve bu temel bayrakları kullanın:
export_usdz.enabled=true
export_usdz.apply_normalizing_transform=true
Hemen bir örnek script ile Script Editör’den veya Bağımsız Uygulama olarak çalıştırabileceğiniz bir örneğe göz atabilirsiniz.
5. Yeniden Yapılandırılmış Sahneyi Yayınla
Bu süreçten elde edilen USD varlıkları, Isaac Sim’e doğrudan yüklenebilir veya referans alınabilir. Sadece Dosya > İçe Aktar seçeneğini kullanın ya da içerik tarayıcısından USD dosyasını sürükleyip bırakın.
USD varlığını yükledikten sonra, Isaac Sim içinde hareket simülasyonu için bir zemin düzlemi oluşturabilirsiniz.
Gerçekçi bir simülasyonu hızlı bir şekilde oluşturmak için bu adımları takip edin ve modern teknolojiyle dolu bir deneyim yaşayın.
Otonom Araç Manzaralarını CARLA’da Nasıl Tekrar Oynatabilirsiniz?
Otonom araç (AV) gelişimi için, Omniverse NuRec kütüphaneleri açık kaynaklı CARLA AV simülatörü ile birlikte güçlü olanaklar sunuyor. Bu, deneysel bir yeni özellik ve NVIDIA Fiziksel AI Veri Seti içinde zaten yeniden yapılandırılmış örnek sahneler ile çalışmakta.
1. CARLA’yı Çalıştır ve Scriptleri Ayarla
Fiziksel AI Veri Seti’nden bir sahne seçin, ardından CARLA dizinine gidin ve aşağıdaki scripti çalıştırın:
./PythonAPI/examples/nvidia/install_nurec.sh
2. Sahneyi Tekrar Oynat
Sonra, aşağıdaki komutla Omniverse NuRec senaryosunu tekrar oynatabilirsiniz:
source carla/bin/activate
cd PythonAPI/examples/nvidia/
python example_replay_recording.py --usdz-filename /path/to/scenario.usdz
3. Veri Yakala
Simülasyon içinde daha fazla test için veri yakalayabilirsiniz. Veri seti oluşturma için görüntü yakalamak üzere:
source carla/bin/activate
cd PythonAPI/examples/nvidia/
python example_save_images.py --usdz-filename /path/to/scenario.usdz --output-dir ./captured_images
Bu entegrasyon, gerçek dünya sürüşlerini, kontrol edilebilir bir simülasyon ortamında yeniden oynatma olanağı sunarak, orijinal sahnenin tüm dinamiklerini ve aktörlerini içermektedir.
Yeniden Yapılandırılmış Sahenizi Daha Fazla Geliştirme
Yeniden yapılandırılmış sahnelerinizi daha ileri taşımak ister misiniz? NVIDIA Cosmos Transfer, robotik ve AV simülasyonunu geliştiren çok kontrollerle çalışma modelidir. Bu model ile farklı ortamlar, ışık koşulları ve hava senaryoları oluşturabilirsiniz. Ayrıca, çok modlu kontroller kullanarak nesneleri dinamik bir şekilde ekleyebilir veya düzenleyebilirsiniz.
Bu yaklaşım, senaryo zengin veri seti oluşturmayı hızlandırırken, manuel çabayı azaltır ve titiz bir, fotogerçekçi doğrulamayı garanti eder. Cosmos Transfer-1, 70 difüzyon adımını azaltarak 30 saniye içinde fotogerçekçi kontrol edilebilir video üretir. Bu performans iyileştirmelerinin üzerine, Cosmos Transfer-2’nin yakında daha da hızlı sentetik veri üretimi (SDG) sunması bekleniyor.
Gaussian Tabanlı Görselleştirmenin Simülasyon Çalışma Akışlarını Hızlandırma Nedenleri
3D Gausslar, robotik ve otonom araçlar için gerçek dünyanın yeniden yapılandırılması ve simülasyonu konusunda devrim niteliğinde bir sıçrama sağlamaktadır. Omniverse NuRec kütüphaneleri, Gaussian tabanlı görselleştirme ile verileri yakalamaktan fotogerçekçi, interaktif ortamlara geçişi hızlandırarak simülasyon iş akışlarını büyük ölçüde otomatikleştirir.
COLMAP’in kanıtlanmış yapıdan hareket anlayışı ile 3DGUT’un gelişmiş render yetenekleri, karmaşık gerçek dünya senaryolarını yönetmek için sağlam bir temel sunar; zorlu ışık koşullarından karmaşık kamera bozulmalarına kadar tüm zorlukları aşmaktadır.
Gerçek Dünya Sahnelerini İnteraktif Simülasyonda Hızla Oluşturma
İster gerçek dünya geçişinin sınırlarını zorlayan bir araştırmacı olun, isterseniz etkin, yüksek kaliteli sahne oluşturmanız için sistem geliştiren bir mühendis, bu gelişmeler sizlere hızla tekrarlama fırsatı sunmakta.
Başlamak için hazır mısınız?
- NVIDIA Fiziksel AI Veri Setinden örnek yeniden yapılandırılmış verileri indirin.
- nv-tlabs/3dgrut GitHub reposundan 3DGUT uygulamasını erişin.
- NVIDIA Isaac Sim 5.0 ile fiziksel tabanlı sanal ortamlarda AI destekli robotik çözümler simüle edin.
- CARLA Simülatörü’nü NVIDIA Omniverse NuRec ile entegre etmeyi öğrenin.
Fiziksel AI simülasyonunun geleceği burada, her zamankinden daha erişilebilir. Yarının akıllı makineleri için daha zengin, daha gerçekçi dijital ikizler oluşturun.
NVIDIA Araştırma özel adresini SIGGRAPH’ta izleyin.
Haberlerden haberdar olmak için abone olmayı unutmayınNVIDIA haber bültenine ve NVIDIA Omniverse’u Discord ve YouTube üzerinden takip edin.
- Omniverse geliştirici sayfamızı ziyaret edin ve ihtiyacınız olan her şeye ulaşın.
- OpenUSD kaynakları ve yeni kendi kendine öğrenme programlarını keşfedin.
- Gelecek OpenUSD Insiders canlı yayınlarına katılın ve NVIDIA Geliştirici Topluluğu ile bağlantı kurun.
Geliştirici başlangıç kitleri ile kendi uygulamalarınızı ve hizmetlerinizi hızla geliştirmeye başlayın.