İlk NVIDIA Robotik Araştırma ve Geliştirme Bülteni (R2D2)‘ne hoş geldiniz. Bu teknik blog serisi, geliştiricilere ve araştırmacılara NVIDIA Araştırma merkeziyle ilgili en son fiziksel yapay zeka ve robotik araştırma bulgularını daha derinlemesine anlamalarını sağlayacak bir bakış açısı sunacak.
Sağlam robotlar geliştirmek önemli zorluklar içermektedir. Bu zorlukların bazıları şunlardır:
- Veri Yetersizliği: Yapay zeka modelleri için çeşitli gerçek dünya eğitim verileri oluşturmanın zorluğu.
- Uyum Sağlama: Çözümlerin farklı robot türleri ve ortamlarda genel olarak geçerli olmasını sağlamak ve dinamik, öngörülemez ayarlarla uyum sağlamak.
- Entegrasyon: Hareketlilik, manipülasyon, kontrol ve akıl yürütmeyi etkili bir şekilde birleştirmek.
Bu zorlukların üstesinden gelmek için, gelişmiş araştırmalar yaparak ve bu araştırmaları platformlarımızda doğrulayarak yanıt veriyoruz. Yaklaşımımız, lider araştırmalarla mühendislik iş akışlarını birleştirerek, bu çalışmaların NVIDIA Omniverse, Cosmos, Isaac Sim ve Isaac Lab gibi yapay zeka ve robotik platformlarımızda test edilmesini sağlıyor. Elde edilen modeller, politikalar ve veri setleri, araştırma ve geliştirici topluluğu için özelleştirilebilir referanslar olarak hizmet veriyor. Geleceğin robotik sistemlerini birlikte inşa etmeyi dört gözle bekliyoruz.
Robot Hareketliliği İş Akışları ve Yapay Zeka Modelleri
Mobil robotlar, humanoid robotlar, dört ayaklılar ve otonom mobil robotlar (AMR’ler) gibi çeşitli ortamlarda giderek daha yaygın kullanılmaktadır. Bu durum, haritalanmış ve bilinmeyen ortamlarda güvenli bir şekilde çalışan sağlam navigasyon sistemleri gerektirmektedir. Mevcut navigasyon yazılımları, robot türleri (örneğin, AMR’ler ile humanoid robotlar) arasında farklılık gösteren algoritmalar nedeniyle uyum sağlama sorunları yaşamaktadır. Bu, mühendislik karmaşasını artırmakta ve ölçeklenebilirliği zorlaştırmaktadır.
NVIDIA Araştırma, bu zorlukları aşmak için, AI tabanlı uçtan uca temel modeller, verimli veri üretim hatları ve eğitim iş akışları geliştiriyor. Bu, robotların karmaşık alanlarda pahalı sensörlere ihtiyaç duymaksızın sorunsuz bir şekilde hareket etmelerini sağlayan sıfır-atlama dağıtımını mümkün kılıyor.
MobilityGen ile Veri Üretimi
MobilityGen, NVIDIA Isaac Sim kullanarak mobil robotlar için sentetik hareket verilerini kolayca üretmeyi amaçlayan bir iş akışıdır. Kullanıcılar, bu verileri robot hareketliliği modellerini eğitmek ve test etmek için kullanabilir, böylece robotlar için veri yetersizliği sorununu çözebilir.
MobilityGen, veri setlerine çeşitlilik eklemenizi sağlar:
- Dinamik nesneler ekleme
- Robot eylem verisi ekleme
- İnsan gösterimlerini birleştirme
- Veri artırma (örneğin, ışık koşulları)
MobilityGen, işgal haritaları, poz bilgisi, hız bilgisi, RGB, derinlik ve segmentasyon görüntüleri gibi gerçek veri sağlar. Ayrıca, veri toplama yöntemlerini destekler. Bu yöntemler arasında klavye veya oyun kumandası ile uzaktan yönetim, otomatik rastgele eylemler veya özelleştirilebilir yol planlaması yer alır.
Veri yetersizliğini ele alarak, MobilityGen, entegre bir robotik yığının algılama ve hareketlilik temellerini güçlendirir. Unitree H1 humanoid robot için bir lokomasyon ve navigasyon verisi seti üretmeyi öğrenmek istiyorsanız, ücretsiz kendi hızınıza göre gerçekleştirilebilecek Eğitim Enstitüsü (DLI) kursuna kaydolmayı unutmayın.
COMPASS ile Çapraz-Ayet Hareket Politikaları
COMPASS, çapraz-embodiment hareket politikaları geliştirmek için bir iş akışıdır. Farklı robot modelleri arasında sıfır-atlama simülasyonundan gerçeğe dağıtım sağlamaya olanak tanır. Bu sistem, robotların gelişim ve test döngülerindeki yavaş çalışmayı çözer.
COMPASS, görünüşe dayalı sonlu bir taklit öğrenim (IL) ile X-Mobility, kalıntı pekleşim öğrenmesi (RL) ve politika damıtma yöntemleri ile entegre hale gelir. Bu yöntem, farklı robot platformları arasında ölçeklenmeyi sağlamaktadır. IL-tabanlı X-Mobility politikası, MobilityGen kullanılarak üretilen verilerle belirli bir embodiment üzerinde önceden eğitilir. COMPASS’tan elde edilen genel politika, farklı yapıların %500 oranında daha yüksek başarı oranı elde etmesini sağlar.
COMPASS, sıfır-atlama çok robotlu etkileşim sağlar ve robotların farklı ortamlardaki nasıl çalıştığını gösterir. Ayrıca, lokomasyonla manipülasyon kontrolörü ile bağlantı kurulabilir.
HOVER ile Humanoid Robot Tam Vücut Kontrolü
Bugüne kadar, robotların bir noktadan amaçlanan hedefe hareket etmesine olanak sağlayan hareket politikalarını inceledik. Ancak bu yeterli değildir; sağlam hareketler için denge ve tam vücut kontrolü de sağlanmalıdır. HOVER, bu konuda bir referans iş akışı sunmayı amaçlamaktadır.
Geleneksel olarak, humanoid robotlar, farklı görevleri yerine getirmek için farklı kontrol modlarına ihtiyaç duyar. HOVER, bunları tek bir politika altında birleştirir ve böylece robotların geçişlerini sorunsuz bir şekilde yapmasını sağlar. Bir insan hareket verisini taklit etmek için bir oracle politikası eğitilir, ardından bir politika damıtma süreciyle beceriler aktarılır.
HOVER kodu, Unitree H1 robotlarında uygulama için bir örnek içerir. Kullanıcıların, aşağıda gösterilen hareketleri ve dengenin yeniden üretimini gerçekleştirmesine olanak tanır.
ReMEmbR ile Robot Akıl Yürütme
Bugün incelediğimiz iş akışları, veri seti oluşturma, hareket politikaları ile tam vücut kontrolünü kapsıyor. Otomatik hareketliliğin sağlıklı bir şekilde gerçekleştirilebilmesi için robot akıl yürütme ve bilişsel süreçlerin entegrasyonu gereklidir.
ReMEmbR, uzun süreli hafıza eylemini kullanarak robotların, gördüklerini hatırlamasını ve kullanıcı girdiğine dayanarak hareket etmesini sağlayan bir iş akışıdır. Bu, vücut bulmuş robotlar için bellek işlevi görebilir ve algılayıcı tabanlı soru-cevap ile yönlendirilmiş eylemleri destekler.
ReMEmbR, robotların akıl yürütme ve uyum sağlamalarını güçlendirir. Dört iş akışını bir araya getirerek robot hareketliliğinin karmaşıklığını çözmeye yardımcı olabiliriz.
Ekosistem Kabulü
Önde gelen humanoid robot, depo otomasyonu ve otonom sistemler, geliştirme süreçlerini hızlandırmak ve ölçeklenebilirlik ile uyum sağlama alanında atılımlar elde etmek için NVIDIA’nın araştırma iş akışlarını benimsemektedir.
- UCR (Under Control Robotics), robotu Moby’yi hedefe sorunsuz bir şekilde yönlendirmek için X-Mobility’i entegre etti. Bu modüler sistem, veri toplama, malzeme taşıma ve yüksek riskli operasyonları otomatikleştirme gibi endüstriyel görevlerde uyum sağladı.
- Advantech, ADATA ve Ubitus ile işbirliği içinde ReMEmbR’yi benimseyerek, robotların daha uzun süreli gözlemlere dayanarak aklını kullanmasını sağladı.
Başlangıç Yapmak
Hazır mısınız? Bu kaynakları keşfedin:
- MobilityGen: GitHub ve DLI Eğitimi
- COMPASS: Proje web sitesi, Makale, ve GitHub
- X-Mobility: Proje web sitesi, Makale, ve GitHub
- HOVER: Proje web sitesi, Makale, ve GitHub
- ReMEmbR ve NaVQA veri seti: Proje web sitesi, Makale, GitHub ve blog
Bu yazı, NVIDIA’nın fiziksel AI ve robotik uygulamaları üzerine gerçekleştirdiği son gelişmeleri daha iyi anlamaları için geliştiricilere bilgi vermeyi amaçlayan NVIDIA Robotik Araştırma ve Geliştirme Bülteni (R2D2)’nin bir parçasıdır.
Daha fazla bilgi edinmek için NVIDIA Araştırma sayfasını ziyaret etmeyi ve bültenimize abone olmayı unutmayın. Ayrıca NVIDIA Robotik’i YouTube, Discord, ve geliştirici forumlarında takip edebilirsiniz. Robotik yolculuğunuza başlamak için, bugün ücretsiz NVIDIA Robotik Temeller kurslarına kaydolun.
Teşekkürler
Blogda bahsedilen araştırma makalelerine katkıda bulunan Abrar Anwar, Joydeep Biswas, Yan Chang, Jim Fan, Tairan He, Zhenyu Jiang, Jan Kautz, Chenran Li, Toru Lin, Changliu Liu, Wei Liu, Zhengyi Luo, Soha Pouya, Guanya Shi, Xiaolong Wang, John Welsh, Wenli Xiao, Zhenjia Xu, Huihua Zhao ve Yuke Zhu’ya teşekkür ederiz.
