Dünya, hızlı gelişmelerin etkisiyle fiziksel AI alanında büyük bir dönüşüm geçiriyor. Bu evrim, yeni robotik çözümlerin piyasaya sürülme sürecini hızlandırıyor, güvenlik yeteneklerine duyulan güveni artırıyor ve fabrikalar ve depolarda fiziksel AI’nın güçlenmesine katkıda bulunuyor.
GTC etkinliğinde tanıtılan Newton, robotların öğrenme ve geliştirilmesine katkıda bulunmak için NVIDIA, Google DeepMind ve Disney Research tarafından geliştirilen açık kaynaklı, genişletilebilir bir fizik motorudur.
NVIDIA Cosmos, otonom araçlar ve robotlar gibi otonom makinelerin fiziksel AI gelişimini hızlandırmak için açık model lisansı altında bir dünya temelli model (WFM) platformu olarak lansmanı yapıldı.
En son NVIDIA Omniverse Kit SDK 107 sürümü, robotik uygulamalar için önemli bir kilometre taşıdır. Bu sürüm, OpenUSD sürüm 24.05’e yükseltilmiş olup Python, C++ ve Linux ABI güncellemeleriyle birlikte gelmektedir. NVIDIA Isaac Sim 5.0, Kit 107 üzerinde geliştirilecektir. Bu yenilikler, sensör simülasyonu, dil desteği ve ikili uyumlulukta önemli ilerlemeler sağlayarak robotik uygulamaların geliştirilmesini büyük ölçüde iyileştirebilir.
Robot Geliştirme Süreçleri ve Araçları
İster endüstriyel makineler olsun, ister insansı asistanlar, AI odaklı robotlar kapsamlı eğitim, test ve doğrulama gerektirir. Bu sürecin temelini, uzmanlara özgü araç setlerinden elde edilen çeşitli verilerin bir araya getirilmesi oluşturur. Robot gelişimini kolaylaştırmak için birçok yöntem bulunmaktadır:
- CAD Yazılımları: Robotların detaylı 3D modellerinin oluşturulması.
- Dijital İçerik Üretim Araçları: Animasyon ve simülasyon gibi içeriklerin yaratılması.
- Simülatörler: Robotların temel sensör modellerinin algıladığı çeşitli senaryolara tepki verme davranışlarının test edilmesi ve doğrulanması.
- Filoya Yönetim Yazılımları: Tek bir ortamda birden fazla robotun koordinasyonu ve yönetimi.
Her bir robotun kalbinde, görevlerini tamamlamak için davranışlarını tanımlayan şeması yer almaktadır. Şemalar, yüksek seviyeli verileri ve meta verileri depolayan ortak bir arayüz işlevi görmektedir. Aşağıdaki bilgileri içermektedir:
- Kinematik Nitelikler: Robotun hareket ve yapısına dair bilgiler.
- Robot Anlamı: Robotun amacı ve yeteneklerini tanımlayan veriler.
- Beden Hiyerarşisi: Robotun bileşenlerinin organizasyonu.
- Konfigürasyon Parametreleri: Robotun çalışma modunu kontrol eden ayarlar.
Veri Yönetimi Zorlukları:
Mevcut durumda, robotik ekosistem parçalı bir yapıdadır ve geliştiricilerin robotun farklı alanları için birden fazla veri kaynağını yönetmesi gerekmektedir. Robotun farklı alt sistemleri genellikle parçalı veri kaynaklarına bağımlıdır ve bu bağlantıyı kurmak zaman alıcı bir süreçtir. Diğer zorluklar şunlardır:
- Farklı Robot Formatları: Robotlar, şu anda ortak bir köprüye sahip olmayan çeşitli formatlarda tasarlanmakta ve temsil edilmektedir.
- Farklı Robot Verileri: Robot verileri, CAD tasarımlarından elektrik ve mekanik bilgilere, sensör verilerine ve IoT metriklerine kadar çeşitli türlerde olabilir.
- Çeşitli Simülasyon Çözücüleri: Robotun belirli bileşenlerini hedefleyen birden fazla çözücü bulunmaktadır.
Bu zorlukları aşmak için, verilerin tümünü birleştirip gerçek dünya algısını çoğaltmak, robotların eğitimi, optimizasyonu ve işletilmesi açısından kritik önem taşımaktadır.
OpenUSD’nin Değeri:
Evrensel Sahne Tanımı (OpenUSD), farklı veri kaynaklarından içerikleri bir araya getirmekte ve geniş ölçekli simülasyonları desteklemekte önemli bir role sahiptir. İşte bazı önemli faydaları:
- Birleşebilirlik: OpenUSD, mevcut robot veri kaynaklarını CAD ve URDF’den destekleyerek fiziksel olarak doğru malzeme ve kinematiklerle simülasyon ortamlarını zenginleştirebilir ve robotların veya endüstriyel tesislerdeki sensörlerden gelen canlı operasyonel verileri taşımayı mümkün kılar.
- Ağırlaşma: OpenUSD, dosya formatı eklentileri ve referansları kullanarak tutarlı veri setleri oluştururken, aynı zamanda bir doğru kaynak tutar.
- İş Birliği: OpenUSD’nin kompozisyon ve tahribatsız düzenleme özellikleri, insanlar, AI ve simülatörler arasında yeni işbirlikçi iş akışlarını mümkün kılar.
Robotik İçin OpenUSD Varlık Yapısı Pipelinesi Tanıtımı:
GTC 2025‘te, NVIDIA, Disney Research ve Intrinsic AI ile birlikte Robotik için OpenUSD Varlık Yapısı Pipelinesini tanıttı. Bu yeni yapı ve veri pipeline’i, robotik iş akışlarını birleştirmek ve tüm veri kaynakları için ortak bir dil sağlamak üzere OpenUSD içindeki en iyi uygulamaları kullanmaktadır.
Şekil 2’de, soldan sağa iş akış ve sağdan sola bileşen bağımlılıkları gösterilmektedir.
OpenUSD Varlık Yapısı Pipeline’si, simülasyon ve geliştirme için robotik varlıkların hazırlanması ve iyileştirilmesini kolaylaştırmak amacıyla tasarlanmıştır. Bu iş akışı, varlıkların öz yönetimi, optimizasyonu ve iyileştirilmesini sağlarken, varlıkların orijinal bütünlüğünün ve hiyerarşisinin korunmasını sağlar.
Pipelines Aşamaları:
OpenUSD Varlık Yapısı Pipeline’ı, robotik varlıkları simülasyon ortamlarına sorunsuz bir şekilde entegre etmeyi sağlayarak, varlıkların farklı uygulamalarda test edilmesini, iyileştirilmesini ve dağıtılmasını kolaylaştırır.
Varlık Kaynağı
- Varlıkları doğrudan USD’ye (Omniverse CAD dönüştürücüsü veya açık kaynak dosya formatı eklentisi ile dönüştürülmüş) aktarın.
- Varlıkları ya robot bileşeni başına bir USD katmanı olarak, ya da tüm robot için tek bir katman şeklinde yapılandırın.
- Varlıkları yönetme ve referans alma işlemini kolaylaştırmak için orijinal organizasyon ve hiyerarşisini koruyun.
Dönüşüm
- Varlığın yapısını optimize etmek veya performansını artırmak için yeniden düzenleyin.
- Varlığın, orijinal bütünlüğünü koruyarak tamamen simülasyona uygun hale gelmesini sağlayın.
Özellikler
- Her varlığa simülasyon özellikleri ekleyin.
- Yüklemeler aracılığıyla tüm simülasyon özelliklerini bir araya getirin ve değişkenler aracılığıyla yapılandırın.
- Çeşitli iş akışlarını desteklemek ve verimli simülasyon sağlamak için modüler bir yaklaşım benimseyin.
Ana Faydalar:
Pipelines, kaynak içeriğin simülasyona dönüşümünde büyük ölçekli eğitim ve gerçek zamanlı simülasyon optimizasyonları sağlamak için içerik yapısının dönüşümünü desteklemektedir. Modülerlik ve yeniden kullanılabilirlik göz önünde bulundurularak tasarlanmıştır ve mevcut iş akışlarını ve gelecekteki yenilikleri desteklemektedir. Tek bir arayüz katmanı, değişken setleri aracılığıyla robot varlık yapısını birleştirirken, varlığı göre uygun bir şekilde özelleştirme esnekliği sunar.
Pipelines, CAD veri kaynağına bağlantıyı sürdürmek için referanslar kullanarak, güncellemelerin veya değişikliklerin aşağıya doğru taşınmasını veya çekilmesini sağlamaktadır.
Genişletilebilir sentetik veri oluşturma olanağı sunar; robotik AI modellerini eğitmek için yapılandırılmış simülasyonları fotoreal video ile dönüştürme yeteneği sunar.
Dikkate Alınacak Noktalar:
OpenUSD, kompozisyon motoru alan bağımsız olduğu için son derece esnektir. En temel seviyelerinde, OpenUSD, bu anahtar-değer çiftlerinin 3D terimlerinde anlamını bilmeden kompoze eder. Ancak bu, OpenUSD’de verilerin bir araya getirilirken alan tabanlı özel dikkate alınması gerektiği anlamına gelir ve bu durum, OpenUSD standartlarının önemli olmasını gerektirmektedir. Bu standartlar, birlikte çalışabilirlik ve veri değişiminde kritik bir rol oynamaktadır.
Bunlardan en önemlileri, sahne birimleri‘dir. USD ile robotlarla çalışırken, bir kök katmanın metersPerUnit‘ının metre olarak ayarlanmasını, metre cinsinden tasarlanmış robotların referans alınmasını ve simülasyona dahil edilen ortamlardaki ölçümlerin doğru ölçeklendiğinden emin olmak için Metric Assembler‘ın kullanılmasını öneriyoruz. Önerdiğimiz alt katmanlar içerisinde zaten metre cinsinden olmayan herhangi bir içerik bulunmamalıdır.
OpenUSD İttifakı (AOUSD), karışık birimler ve diğer sahne metrikleri ile başa çıkmanın daha kapsamlı yollarını keşfetmeye devam etmektedir. Ancak, bu gibi yaklaşımlar, aşağıdaki gereksinimleri karşılamak için dikkatle göz önünde bulundurulmalıdır:
- Performansı sürdürmek
- Kod ve içerik uyumsuzluklarını azaltmak
- Son dönüşümler ve birimlerden etkilenen diğer değerlerin hesaplamalarını merkezi hale getirmek
OpenUSD’de Yeni Gelişmeler:
OpenUSD’yi Robotik için evrim geçirmenin yol haritası şu çabaları içermektedir:
- Robotik format kavramsal veri eşleşmeleri:Robotik formatlardan (URDF, MJCF ve SDFormat gibi) OpenUSD’ye veri modellerinin eşleştirilmesi ve gerektiğinde kavramsal boşlukları doldurmak için şemaların önerilmesi.
- AOUSD’nin yeni alanlardaki OpenUSD Çalışma Gruplarını duyurması: Endüstri spesifik yenilikleri ve yeni sektörlerde OpenUSD uygulamalarının genişlemesini sağlamak için Endüstriyel ve Mühendislik Dijital İkizi (IEDT) İlgi Grubu ve Web İlgi Grubu kurulması.
- AOUSD’nin deformables ve B-rep için önerileri:
- AOUSD Fizik Çalışma Grubu, robot manipülatörleri ve kavrayanlar için UsdPhysics’e deformables (yumuşak gövde dinamikleri) eklemeyi önermektedir.
- AOUSD Geometri Çalışma Grubu, aynı endüstriyel ortamda farklı fizik çözücüleri için CAD geometrisinin talep üzerine farklı tessellasyonlarını türetecek öncül şemalar geliştirmektedir.
- USD + FMI önerisi: OpenUSD ve Fonksiyonel Sahne Arabirimi (FMI) arasında ortak standartlaştırma ve kavramsal veri eşleşmesi ile çoklu çözücülerin aynı robot veya çevresindeki ortamın farklı bileşenlerini simüle etmesini sağlamak.
- Dinamik Davranışlar önerisi: Robot eylemlerini simüle etmek için gerekli dinamik davranışları uygulama kabiliyeti; bu davranışlar ROS köprülerinde ya da güvenlik bölgelerinin simüle edilmesinde gerekebilir. Öneri, bu dinamik davranışları gerçekleştirmek için OmniGraph‘ın ihtiyaç duyacağı işlevsellik gereksinimlerini tespit edecek ve OpenExec girişimi kapsamında tanımlanacaktır.
İlk Adımlarınızı Atın:
Bugün, Omniverse tabanlı Isaac Sim’i indirebilir ve NVIDIA Cosmos ve NVIDIA Isaac GR00T temel modellerine Hugging Face üzerinden erişebilirsiniz.
Temel bilginizi güçlendirmek için OpenUSD oturumları ve OpenUSD Öğrenme ve Robotik Temelleri Ücretsiz Derin Öğrenme Enstitüsü (DLI) kurslarını keşfedin.
İnsansı robotlar ve endüstriyel robot kolları üzerinde çalışmanızı hızlandırmak için açık kaynaklı Isaac GR00T model ailesini keşfedin.
Yeni fiziksel AI veri setlerini inceleyin; Hugging Face üzerinden 400 yeni SimReady USD varlığını bulabilirsiniz.
Robot simülasyonu ve geliştirmede OpenUSD kullanımına dair daha fazla bilgi edinmek için 26 Mart Çarşamba günü saat 11:00 PDT’de OpenUSD Yüzlü canlı yayınına katılmayı unutmayın.
