NVIDIA, SIGGRAPH etkinliğinde NVIDIA Omniverse kütüphaneleri ve Cosmos dünya temel modellerinde (WFM’ler) yapılan güncellemeleri duyurdu. Açık USD teknolojisiyle desteklenen yeni kütüphanelere, modellere ve geliştirme araçlarına erişim sağlayan geliştiriciler, gerçek dünyayı anlayan fiziksel olarak doğru sanal ortamlar ve AI ajanları inşa edebilirler.
Robotların, gerçek dünyayla hızlı ve güvenilir bir şekilde etkileşimde bulunması ve anlayabilmesi artık NVIDIA’nın en son sürümleri sayesinde çok daha kolay. Bu yeni sürümler arasında şunlar bulunuyor:
- Robotik veri akışlarını birleştiren en son OpenUSD Exchange SDK 2.0 ve robot simülasyonları için fiziksel olarak doğru materyaller sağlayan yeni SimReady materyaller kütüphanesi.
- Gerçek dünya sensör verilerini etkileşimli OpenUSD simülasyon ortamlarına dönüştüren yeni Omniverse NuRec kütüphaneleri.
- Yeni Isaac Sim 5.0 ve Isaac Lab 2.2 için erken geliştirici önizlemeleri, yeni OpenUSD tabanlı robot ve sensör şemaları ile genişletilmiş USD varlık kütüphanesini içeriyor.
- Gelişen USD uzmanlığı talebini karşılamak amacıyla yeni bir Açık USD Geliştirme Sertifika Programı artık mevcut.
Yeni Omniverse Kütüphaneleri ile Dünya Kompozisyon Uygulamaları Gelişiyor
Açık USD, geliştiricilerin detaylı simülasyonlar için 3D veriyi birleştirmelerini ve robotik sistemler, otonom araçlar gibi alanlarda geliştirme sürecini hızlandırmalarını sağlayan bir temel teknoloji olarak işlev görüyor.
OpenUSD Exchange SDK 2.0, robot modellerine fiziklerin entegre edilmesini kolaylaştıran yeni UsdPhysics oluşturma modüllerini ve katmanlı varlık yapısını içerir. Bu SDK, 3D veri iş akışlarını basitleştiren açık kaynaklı bir çerçevedir ve geliştiricilerin detaylı simülasyonlar için 3D verilerini entegre etmelerini sağlamaktadır. Şu anda GitHub ve PyPi‘de mevcuttur.
Fiziksel AI’de, geometrik verilerin simüle bir ortama getirilmesi yalnızca başlangıçtır. Modellerin etkili bir şekilde eğitilebilmesi için materyallerin, yalnızca görsel olarak gerçekçi olmaları değil, aynı zamanda simülasyona hazır olmaları da gerekmektedir. NVIDIA, SimReady materyaller kütüphanesini yayımladı. Bu açık kaynak koleksiyonu, fiziksel AI için binlerce alt tabaka malzemeden oluşmaktadır ve bu malzemeler, USD içerisinde MaterialX/OpenPBR özellikleriyle yazılmıştır:
- UsdShade tabanlı materyaller, yüksek kaliteli, fiziksel olarak tabanlı render sağlamak için OpenPBR v1.1’i kullanmaktadır.
- Termal ve ultrasonik gibi LIDAR ve RADAR’daki görsel olmayan veriler için anlamsal etiketleme.
Kütüphanedeki tüm materyaller, doğru sensör simülasyonu ve gerçekçi fiziksel etkileşimler için gereklidir. Hem görsel hem de görsel olmayan render desteği sunduğundan, geliştiriciler bu materyalleri NVIDIA Isaac Sim gibi simülasyon ortamlarına entegre edebilir ve simülasyonlarını hızlı iterasyon ve yüksek bağlılık ile zenginleştirebilirler.
MuJoCo ve USD Arasında Uyumsal Veri Akışı Oluşturma
NVIDIA ve Google DeepMind, robotik geliştiricileri, MuJoCo (MJCF) ile USD formatları arasındaki artırılmış veri uyumluluğu ile güçlendirmektedir. Bu yenilik, daha doğru ve tutarlı robot veri üretimine olanak tanımaktadır.
OpenUSD Exchange SDK 2.0 ve Google DeepMind’in MjcPhysics USD şemaları kullanılarak oluşturulan yeni mujoco-usd-converter, MJCF verilerini USD formatına dönüştürmek için uyumlu bir geçiş sağlar. Erken sürümden oluşan MJCF’den USD veri dönüşümü GitHub ve PyPi‘da mevcuttur.
Dönüştürücüyü kullanmaya başlamak için, Python paketini sanal bir ortama yükleyin:
pip install mujoco-usd-converter
mujoco_usd_converter /path/to/robot.xml /path/to/usd_robotmujoco_usd_converter --help komutunu yazarak CLI argümanlarını görüntüleyebilirsiniz.
Alternatif olarak, aynı dönüştürücü işlevselliği doğrudan Python modülü üzerinden de erişilebilir. Bu, dönüşümden sonra USD verilerini daha da dönüştürmek için faydalıdır.
import mujoco_usd_converter
import usdex.core
from pxr import Sdf, Usd
converter = mujoco_usd_converter.Converter()
asset: Sdf.AssetPath = converter.convert("/path/to/robot.xml", "/path/to/usd_robot")
stage: Usd.Stage = Usd.Stage.Open(asset.path)
# değişiklikleri yapın ve Usd veya usdex.core işlevselliği kullanılabilir
usdex.core.saveStage(stage, comment="dönüşüm sonrası değiştirildi")Google DeepMind, yeni bir deneysel sürüm sundu. Bu sürüm, USD veri içe aktarımlarını MuJoCo’ya MjcPhysics USD Şemaları ve yeni SdfFileFormatPlugin aracılığıyla USD ekosistemine entegre etmektedir. Simülasyonun animasyon katmanları olarak dışa aktarımı için yerel destek de yolda. Sürüm detayları için Google DeepMind’in belgelereına> ve GitHub‘a göz atabilirsiniz.
Gerçek Dünya Sahnesinin Yeniden Yapılandırılması ile Fiziksel AI
NVIDIA Omniverse NuRec kütüphaneleri, NVIDIA RTX ray izleme ile birlikte 3D Gaussian savurma teknolojisini birleştirerek gerçek dünya sensör verilerini etkileşimli OpenUSD simülasyon ortamlarına dönüştürüyor. Bu, yüksek kaliteli dünya yeniden yapılandırması sunarken genel verimlilikte de artış sağlıyor. NuRec renderı, Omniverse Kit SDK, Isaac Sim ve CARLA gibi 150.000’den fazla geliştirici tarafından kullanılan önde gelen açık kaynaklı simülatörlerle entegre edilmiştir.
Gerçek dünya verilerini yakalamak, yeniden yapılandırmak ve sonuçları Isaac Sim’e yüklemek için izlenmesi gereken adımlar şöyledir:
- İyi ışıklandırma ile her açıdan 100 fotoğraf çekin
- Sahneyi COLMAP ve 3DGUT ile yeniden yapılandırın
- Sahneyi, USD olarak dışa aktararak, normalleştirerek ve Isaac Sim’e aktararak dağıtın.
Isaac Sim’e gerçek dünya sahnesini nasıl aktaracağınızı öğrenmek için detaylı adımları inceleyin.
Isaac Sim 5.0 ve NVIDIA Isaac Lab 2.2
Isaac Sim 5.0 ve Isaac Lab 2.2, açık kaynaklı robot simülasyonu ve öğrenme çerçevelerini geliştirmekte, böylece simülasyonların kurulmasını daha hızlı, daha tutarlı ve gerçek dünyaya daha yakın hale getirmektedir. Isaac Sim 5.0’ın erken geliştirici önizlemesi, USD tabanlı robot ve OmniSensor şemalarıyla gitmektedir.
PhysX uzantısı, OpenUSD şeması aracılığıyla tanımlanmış yeni bir eklem sürtünme modelini desteklemektedir. Hexagon’un Robotik bölümü ve maxon ile geliştirilen bu özellik, simüle edilmiş robot hareketlerinin gerçek hayattaki davranışa daha yakın olmasını sağlamaktadır.
Amazo Lab126, Boston Dynamics, Figure AI, Haply Robotics, Hexagon, Lightwheel, RAI Institute, Resim.ai ve Skild AI gibi sektör liderleri, NVIDIA Isaac kütüphanelerini ve AI modellerini, örneğin Isaac Sim ve Isaac Lab’ı benimsemekte ve AI robotik gelişimlerini hızlandırmaktadır.
Robot Simülasyonuna Hızla Başlayın
Bugün, en son NVIDIA Omniverse kütüphaneleri ve araçlarıyla robot simülasyonu oluşturma yolculuğunuza başlayın. Bunun için NuRec, Omniverse Kit SDK 108, SimReady materyaller kütüphanesi, NVIDIA MuJoCo’dan USD’ye veri dönüştürücüsü (erken sürümü GitHub ve PyPi‘da), USD Exchange SDK 2.0 ve Isaac Sim 5.0 ile Isaac Lab 2.2‘nın erken geliştirici önizlemeleri ile gerekli adımları atabilirsiniz.
Kariyerinize bir sonraki adımı atmak için, Açık USD Geliştirme Sertifikası alabilirsiniz. Bu sektör tarafından tanınan, profesyonel düzeydeki sınav, OpenUSD kullanarak 3D içerik iş akışlarını oluşturma, sürdürme ve optimize etme yeteneklerinizi doğrulamaktadır.
Gelişmelerden haberdar olmak için NVIDIA haber bültenine abone olabilir ve NVIDIA Omniverse’i Discord ve YouTube‘da takip edebilirsiniz. NVIDIA Araştırma özel sunumunu SIGGRAPH’ta izleyin.