İnsansı robotlar, mekatronik, kontrol teorisi ve yapay zeka kesişiminde birçok zorluğu beraberinde getirir. İnsansı robotların dinamikleri ve kontrolü oldukça karmaşıktır ve dengeyi korumak için gelişmiş araçlar, teknikler ve algoritmalar gerektirir. Robot verilerinin toplanması ve sensörlerin entegrasyonu önemli bir sorun teşkil eder; çünkü insansı robotlar, çevreyi etkili bir şekilde algılayıp etkileşim kurmak için sofistike sensörler ve yüksek çözünürlüklü kameraların birleşimine ihtiyacı vardır. Gerçek zamanlı duyusal veri işleme ve karar verme için güçlü yerleşik bilgisayarlara ihtiyaç duyulmaktadır.
Teknolojilerin, araçların ve robot temelli modellerin geliştirilmesi, esnek robot davranışlarının sağlanması ve doğal insan-robot etkileşiminin kolaylaştırılması araştırmanın sürekli bir odak noktasıdır. NVIDIA Projesi GR00T, insansı robot ekosisteminin inşaatçılarını destekleyen bir araştırma girişimidir ve bu yeni nesil gelişmiş robot geliştirme çabalarını hızlandırmayı hedefler. Bu yazıda, insansı robot geliştirme için yeni GR00T iş akışlarını tartışacağız:
- GR00T-Gen: Çeşitli çevreler oluşturma
- GR00T-Mimic: Robot hareketi ve rota oluşturma
- GR00T-Dexterity: İnce ve ustaca manipülasyon
- GR00T-Mobility: Yürüyüş ve navigasyon
- GR00T-Control: Tüm beden kontrolü
- GR00T-Perception: Çok modlu algılama
GR00T-Gen: Çeşitli Çevreler Oluşturma
GR00T-Gen, genel robotların manipülasyon, yürüyüş ve navigasyon gerçekleştirmesi için OpenUSD‘de simülasyona hazır çevreler ve robot görevleri oluşturan bir iş akışıdır.
Sağlam robot öğrenimi için, çeşitli nesneler ve sahnelerle farklı ortamlarda eğitim yapmak önemlidir. Gerçek dünyada çok çeşitli çevreler oluşturmak genellikle maliyetli ve zaman alıcıdır. Bu nedenle simülasyon, çekici bir alternatif sunar.
GR00T-Gen, 2.500’den fazla 3D varlık içeren ve 150’den fazla nesne kategorisini kapsayan gerçekçi ve çeşitli insan merkezli ortamlar sağlar. Görsel çeşitlilik yaratarak simülasyon için çok sayıda doku eklenmiştir. Alan rastgeleleştirmesi, eğitilen modellerin ve politikaların gerçek dünyada etkili bir şekilde genelleşmesini sağlar.
GR00T-Gen, mobil manipülatörler ve insansı robotlar için bedenler arası destek sağlar ve kapı açma, butona basma ve navigasyon gibi 100’den fazla görev içerir.
GR00T-Mimic: Robot Hareketi ve Rota Oluşturma
GR00T-Mimic, taklit öğrenimi için uzaktan kumandalı demonstrasyonlardan hareket verileri oluşturmak için geliştirilmiş sağlam bir iş akışıdır. Taklit öğrenimi, robotların bir öğretmenden gözlemleyerek ve hareketleri taklit ederek beceriler kazandığı bir eğitim yaklaşımıdır. Bu eğitim sürecinin kritik bir parçası, mevcut olan gösterim verisinin miktarı ve kalitesidir.
İnsansı robotların insan merkezli ortamlarda etkin ve güvenli bir şekilde gezinmesi için, öğretmenlerinin insani demonstratörler olması önemlidir. Ancak, yüksek kaliteli eğitim verilerinin kıtlığı önemli bir zorluk oluşturmaktadır.
Bu sorunu çözmek için, insan eylemlerini yakalayan kapsamlı veri setleri geliştirmek gereklidir. Bu verilerin oluşturulmasında umut verici bir yöntem, bir insan operatörün belirli görevleri göstermek için bir robotu uzaktan kontrol ettiği uzaktan kumanda (teleoperasyon) kullanmaktır. Teleoperasyon yüksek kaliteli gösterim verisi üretebilir, ancak bu sistemlere belirli bir zamanda erişebilen insan sayısı ile sınırlıdır.
GR00T-Mimic, veri toplama sürecini ölçeklendirmeyi amaçlamaktadır. Bu yaklaşım, insan demonstratörlerinden sınırlı sayıda gösterim verisi toplayarak başlar ve ardından bu ilk gösterimler kullanılarak sentetik hareket verileri oluşturulur. Hedef, robotların gerçek dünya ortamlarında görevleri başarıyla gerçekleştirmesi için kapsamlı bir insan eylemleri veritabanı oluşturmaktır.
GR00T-Mimic’i desteklemek için, NVIDIA Araştırması ayrıca, minimal insan demonstrasyonları ile gerçek dünya manipülasyon görevlerini çözmek için temel bir ilk adım olan SkillMimicGen projesini yayımlamıştır.
GR00T-Dexterity: İnce ve Ustaca Manipülasyon
GR00T-Dexterity, ince hassasiyet ve ustaca manipülasyon için model ve politikalar sunan bir çalışma grubudur.
Geleneksel robot kavraması, kavrama noktalarını belirlemekten hareket planlaması yapmaya ve parmakları kontrol etmeye kadar birçok karmaşık bileşenin entegrasyonunu gerektirir. Birçok aktüatöre sahip robotlar için bu sistemlerin yönetimi, özellikle de başarısızlık durumlarını (kaotik kavramalar) yönetmek için durum makineleri kullanıldığında, baştan sona kavrama işlemini önemli ölçüde zorlaştırır.
GR00T-Dexterity, deneysel bir araştırma yazısı olan DextrAH-G‘dan faydalanarak geliştirilmiştir. Bu çalışma, robotların ustalığını geliştirmek için politika geliştirme amaçlı bir güçlendirme öğrenimi (RL) tabanlı yaklaşımdır. Bu iş akışı, simülasyonda eğitilen ve fiziksel bir robota uygulanabilir, uçtan uca, pikselden harekete kavrama sisteminin yaratılmasına olanak tanır. Hızlı ve tepkisel kavrama için derinlik akış girdisi kullanılarak eğitilebilen politikalar geliştirilir.
Bu sürecin hızı, bir geometrik kumaş oluşturarak robotun hareket alanını tanımlamak ve kavrama eylemlerini basitleştirmekten kaynaklanır; bu da eşzamanlı eğitimi optimize eder. NVIDIA Isaac Lab kullanarak, bir kumaş rehberliğinde politika, derinlik girişi ile eğitim uygulayarak hızlı, tepkisel kavramalar geliştirmektedir.
Sonuç olarak GR00T-Dexterity iş akışı, derin girdi ile gerçek dünyaya geçiş sırasında donanım hasarını önlemeye olanak tanıyan bir aktarma sürecinde geliştirilmiştir.
GR00T-Mobility: Yürüyüş ve Navigasyon
GR00T-Mobility, yürüyüş ve navigasyon için model ve politikalar sunan bir dizi referans iş akışı içermektedir. Geleneksel navigasyon yöntemleri, karmaşık ortamlarda zorluk yaşarken, öğrenmeye dayalı yaklaşımlar yeni çevrelere genelleme sağlamada zorluklar yaşar.
GR00T-Mobility, farklı ortamlar ve bedenler arasında gezinti sağlamaya yönelik sağlamlaştırılmış bir iş akışı sunar. Bu iş akışı, ikişer ortam modeli oluşturarak çevre dinamiklerinin zengin bir temsilini oluşturarak daha uyumlu eğitim imkanı sağlar. İş akışı, dünya modellemesini hareket politikası öğreniminden ve RL hassasiyet ayarlamasından ayırarak esneklik sağlar, böylece daha fazla veri kaynağı ile desteklenir ve daha geniş bir genelleme imkanı sunar.
Bu iş akışını kullanarak eğitilen bir model, fotogerçekçi simüle edilmiş verilerden sıfırdan gerçek dünyaya geçiş yaparak, diferansiyel sürüş, Ackermann, dörtlü ve insansı robotlar gibi birçok ortamdaki çeşitli öğelere uygulanabilir.
NVIDIA Uygulamalı Araştırma çabalarının X-MOBILITY: Yerkesel Modelleme ile Sonuç Alma adlı çalışması üzerine geliştirilmiştir.
GR00T-Control: Tüm Beden Kontrolü
GR00T-Control, WBC’yi (Tüm Beden Kontrol) geliştirmek için gelişmiş hareket planlama ve kontrol kütüphaneleri, modeller, politikalar ve referans iş akışları sunan bir dizi bileşendir. Referans iş akışları, çeşitli platformları, önceden eğitilmiş modelleri ve hızlandırılmış kütüphaneleri kullanarak araştırma süreçlerini desteklemektedir.
İnsansı robotların kontrolünü hassas ve sorunsuz bir şekilde sağlamak, gerekli olan merkezi bir bileşendir. GR00T-Control, Isaac Lab ile entegre edilmiş, geleneksel model öngörücü kontrolün yerine geçebilecek bir öğrenme tabanlı alternatif sunmaktadır. Bu iş akışı, OmniH2O: Evrensel ve Usta İnsan-İnsansı Tüm Beden Teleoperasyonu ve Öğrenme adlı araştırmayı temel alarak oluşturulmuştur.
Bu referans iş akışı, hem teleoperasyon hem de otonom kontrol için insansı kontrol politikaları (WBC Politikası) geliştirmeyi mümkün kılar. Bu süreçle, eğitilen bir kontrol politikası, ayrıntılı hareket verilerine erişimi olan simülasyon modelinden yararlanır. Ardından, sınırlı duyusal giriş ile çalışabilen gerçek dünya sürümlere aktarılarak, teleoperasyon gecikmeleri gibi zorluklar ve çoklu otonom görev modlarına geçiş gibi karmaşık görevlerle başa çıkma imkanı sağlar.
GR00T-Perception: Çok Modlu Algılama
GR00T-Perception, ileri düzey algılama kütüphaneleri (örneğin nvblox ve cuVSLAM gibi), temel modeller (örneğin FoundationPose ve RT-DETR) ve NVIDIA Isaac ROS ve Isaac Sim üzerine inşa edilmiş referans iş akışlarını içeren bir settir.
GR00T-Perception’a yeni eklenen bir özellik, ReMEmbR adlı bir çalışma akışıdır. Bu iş akışı, insansı robotların kişisel ve bağlama duyarlı yanıtlarını geliştirmek için uzun süreli olay geçmişlerini “hatırlama” yeteneği sağlar. Bu yaklaşım, görsel dil modelleri, dil modelleri ve bellek getirili sorgulama ile robotların algılama, biliş ve uyum yeteneklerini artırır.
ReMEmbR, robota zamana bağlı bağlamsal bilgileri saklaması için, mekansal farkındalığı, navigasyonu ve etkileşim etkinliğini geliştirmektedir. Bu işlem, görüntü ve ses gibi duyusal verilerin entegrasyonunu içeren yapılandırılmış bir bellek oluşturma ve sorgulama sürecine dayanmaktadır.
Robotların ReMEmbR ile nasıl akıl yürütebildiğini ve eyleme geçebildiğini bu videoda bulabilirsiniz.
Sonuç
NVIDIA Projesi GR00T ile, insansı robot geliştiricilerinin ihtiyaçlarına göre bağımsız veya birlikte kullanılabilecek gelişmiş teknoloji, araçlar ve GR00T iş akışları oluşturuyoruz. Bu geliştirmeler, daha akıllı, uyum sağlayabilen ve yetenekli insansı robotların geliştirilmesine katkıda bulunarak, bu robotların gerçek dünya uygulamalarındaki sınırlarını zorlamaktadır.
Önde gelen robotik firmaları, 1X, Agility Robotics, AI Enstitüsü, Berkeley Humanoid, Boston Dynamics, Field AI, Fourier, Galbot, Mentee Robotics, Skild AI, Swiss-Mile, Unitree Robotics ve XPENG Robotics.
NVIDIA hakkında daha fazla bilgi almak için, CoRL 2024‘e göz atabilir ve robot öğrenimi ile ilgili 21 makale ve dokuz atölye hakkında daha fazla bilgi edinebilirsiniz.
Hemen Başlayın
Isaac Lab ile başlayın veya Isaac Gym’den Isaac Lab’a geçin. Yeni geliştirici rehberleri ve eğitimlerine ulaşabilirsiniz. Isaac Lab Referans Mimarisini inceleyerek, end-to-end robot öğrenme süreci hakkında bilgi edinebilirsiniz.
Robot öğrenimi ve simülasyonu konusundaki en son gelişmeleri 13 Kasım’da gerçekleşecek yayın akışında takip edin ve NVIDIA Isaac Lab Ofis Saatleri programına katılarak pratik destek ve bilgiler edinin.
Eğer insansı robot ekosistemi için yazılım veya donanım geliştiren bir firma iseniz, NVIDIA İnsansı Robot Geliştirici Programı‘na katılmak için başvuru yapabilirsiniz.
Teşekkürler
Bu çalışma, Chenran Li, Huihua Zhao, Jim Fan, Karl Van Wyk, Oyindamola Omotuyi, Shri Sundaram, Soha Pouya, Spencer Huang, Wei Liu, Yuke Zhu ve daha birçok kişinin katkıları olmadan mümkün olamazdı.