Modern robot teknolojileri, klasik analitik dinamiklerin sağladığından daha fazlasını gerektiriyor. Robotların karmaşıklığı, basitleştirilmiş temas modelleri, ihmal edilen kinematik döngüler ve diferansiyellenemez modellerle birlikte önemli zorluklar oluşturuyor. Neural Robot Dynamics (NeRD) bu engelleri aşmak için şu şekilde bir yaklaşım sunuyor:
- Gelecekteki stabil durumları uzun vadede tahmin etme kapasitesine sahip, ifade gücü yüksek ve diferansiyellenebilir modeller kullanmak.
- Karmaşık, temas zengini fiziği yakalamak.
- Görevler, ortamlar ve kontrolörler arasında genelleştirme yaparak simülasyon ve gerçeklik arasındaki farkı daraltmak.
- Gerçek verilere göre ince ayar yapmak.
NeRD, görev özelindeki sinir simülatörlerinin aksine, var olan fizik motorlarında (örneğin, Newton) kolayca entegre edilebilen bir arka uç işlevi görerek ekiplerin mevcut politika öğrenme ortamlarını yalnızca fizik çözücüsünü değiştirerek tekrar kullanabilmesine olanak tanıyor. Analitik modüllerin robot merkezli sinir modelleme ile harmanlanması, robotların dinamiklerinin simülasyon ve gerçek dünya deneyimleri ile sürekli olarak gelişmesini sağlıyor.
Bu yazıda, NeRD’nin uzun süredir var olan simülasyon zorluklarının üstesinden nasıl geldiğini ve Newton gibi fizik motorları için modern robotik alanındaki temel taşlarını nasıl sağladığını keşfedeceğiz.
NeRD Nedir?
NeRD, belirli dinamik modellerin öğrenilmiş bir biçimidir. Bu modeller, ortama temas halinde olan çok eklemlere sahip katı cisimlerin (örneğin, robotlar) gelecekteki durumlarını tahmin edebiliyor.
Bir kez eğitildiğinde, NeRD modelleri:
- Yüzlerce ila binlerce simülasyon adımı boyunca kararlı ve doğru tahminler sunabilir.
- Belirli bir robot için farklı görevler, ortamlar ve alt seviyeli kontrolörlerle genelleşebilir.
- Simülasyon-gerçeklik farkını kapatmak için gerçek dünya verilerine göre ince ayar yapılabilir.
NeRD modelleri, herhangi bir simülatörün verileri üzerinde eğitilebilir. Eğitildikten sonra, modüler çerçevelerdeki analitik çözücülerin yerine geçmek üzere entegre edilebilirler. Böylelikle kullanıcılar, mevcut politika öğrenme ortamlarını yeniden kullanarak NeRD’yi yeni bir fizik arka ucu olarak tek satırlık bir değişiklikle aktif hale getirebilir.
NeRD’yi Newton ile kullanmaya başlayın. Araştırmamızı arXiv‘da görüntüleyin veya proje sayfamızı keşfedin.
Robotik Simülasyonun Geleceği Hakkındaki Vizyon
Robot teknolojileri ilerledikçe, her robotun analitik simülasyonlardan önceden eğitilmiş bir sinir dinamik modeli ile donatıldığını hayal ediyoruz. Bu sinir dinamik modeli, robot gerçek dünya ile etkileşime girdikçe sürekli olarak ince ayar yapabilir ve böylece robotun aşınma ve yıpranma ile çevresel değişiklikleri göz önünde bulundurmasını sağlar.
Robotun sinir dinamik modeli, robotu simüle etmek için sinir dinamikleri ile sahnenin diğer bölümlerinde analitik dinamiklerin kullanıldığı bir hibrit simülasyon sistemine yerleştirilebilir. Bu sürekli geliştirilen sinir robot dinamikleri, bu güncellenmiş simülatörü güçlendiren dijital ikizlerde çeşitli robotik becerilerin öğrenilmesini kolaylaştırmak için gerçek dünya dinamiklerinin daha iyi bir kopyasını sağlar.
Sinir Robot Dinamiği Nasıl Çalışır?
NeRD, genel geçerlilik ve uzun vadeli tahmin doğruluğu elde etmek için iki temel yeniliği bir araya getiriyor: bir hibrit tahmin çerçevesi ve robot merkezli girdi parametrelemesi. NeRD modelleri, geleneksel bir simülatörün zaman entegrasyonu (çözücü) bölümünü değiştirir. Newton gibi çerçevelerde çarpışma tanımlamanın çözücüden ayrıldığı durumlarda, analitik çarpışma tanımayı öğrenilen modelle birleştirebiliriz.
Bu hibrit çerçeve, NeRD’nin ara simülasyon miktarlarını (yani robot durumu, temas bilgileri ve eklem uzayındaki torkları) kullanarak tam simülasyon durumunu tanımlamasına olanak tanıyor. Böylece uygulama farklılıklarından bağımsız olarak robot dinamiklerini geliştirmek için gerekli bilgiler sağlanmış oluyor. Bu, sadece robot durumunu ve görev özelindeki eylemleri girdi olarak alan önceki yaklaşımlardan farklı olarak, eğitim için kullanılan görevlere aşırı uyum sağlanmasını önlüyor.
İkinci olarak, NeRD, öğretilmiş dinamik modelinin mekansal olarak genelleşebilmesi için robot merkezli bir girdi parametrizasyonu kullanıyor. Daha spesifik olarak, robot durumu ve temas ile ilgili miktarlar robotun taban çerçevesine dönüştürülerek NeRD modeline girdi olarak verilmeden önce hazırlanmaktadır.
Bu tür bir robot merkezli durum temsili, NeRD’nin robot hareketinde karşılaşılacak daha önce görülmemiş mekansal yerlerde güvenilir tahminler yapabilmesini sağlar ve modelin uzun vadeli doğruluğunu artırır.
Eğitim Veriseti ve Ağ Mimarisi
NeRD için eğitim veri setleri, bir simülatörden elde edilen verilere dayalı olarak görev bağımsız bir biçimde üretiliyor. Her bir robot örneği için 100K rastgele yolculuk toplayarak, her biri 100 zaman adımında toplamaktadır. Bu yolculuklar, robotun rastgele başlangıç durumları, motor tork limitleri içinde rastgele eklem torku dizileri ile ve isteğe bağlı olarak rastgele çevre yapılandırmaları kullanılarak üretilmiştir.
NeRD, özellikle hafif bir GPT-2 dönüştürücü uygulaması kullanarak, eğitim sürecini gerçekleştirmektedir. Model, son 10 adımın simülasyon durumlarını girdi olarak alır.
NeRD’yi kullanmak için, GitHub’da bulunan açık kaynak kodu kontrol edebilirsiniz.
Model eğitildikten sonra, bu model Newton gibi modüler bir fizik motoruna entegre edilir. Bu, simülatör için değiştirilebilir bir çözücü olarak işlev görerek mevcut analitik dinamikler ve temas çözücülerinin yerini alır. Geliştiriciler, NeRD entegre simülatörü kullanarak daha önce yaptıkları gibi çalışma yapmaya devam edebilir ve mevcut politika öğrenme ortamlarını yeniden kullanabilirler.
Şekil 3. ANYmal dört bacaklı robotu için bir NeRD modelinin eğitildiği veri seti
Açıklama: Rastgele üretilmiş yollar, bir NeRD modelinin eğitilmesi için kullanılır.
NeRD ile Robot Eğitmenin Faydaları
NeRD kullanarak robotları eğitmek, yüksek stabilite, doğruluk ve genelleştirilebilir simülasyon sağlar, böylece politika öğrenimini hızlandırır ve güvenilir bir şekilde gerçek dünya uygulamalarına yönelik simülasyonu kapatır.
Stabilite ve Doğruluk
Eğitilmiş NeRD modeli, karmaşık bir sistemin dinamiklerini, örneğin çift sarkacın, yüzlerce zaman adımında doğru bir biçimde tahmin edebilir. Tek bir NeRD modeli, farklı temas konfigürasyonlarını da simüle etme yeteneğine sahiptir (örneğin, farklı yükseklikler ve zemin düzlemindeki yönelimler). Şekil 4, NeRD entegre simülatörü ile bir Featherstone çözücüsü kullanarak yapılan analitik simülatör arasındaki yan yana karşılaştırmayı göstermektedir.
Yalnızca NeRD Entegre Simülatöründe Robot Politikaları Öğrenme
NeRD’nin verimliliği ve görevler, kontrolörler ve alanlar arasında genelleşebilmesi, büyük ölçekli robotik politika öğreniminin çeşitlendirilmiş görevler için gerçekleştirilmesini sağlamaktadır. ANYmal robotu için bir NeRD modeli önceden eğitildi ve daha sonra NeRD entegre simülatöründe PPO pekiştirmeli öğrenme algoritması kullanılarak ileri yürüyüş politikası ve yan yürüyüş politikası eğitildi.
Öğrenilen politikalar, yerleştirildiğinde %0.1’den daha az hata ile analitik simülatöre sıfırdan aktarılabiliyor (<0.1% hata 1000 adım boyunca ödül birikimi için). Şekil 5 ve 6, hem NeRD entegre simülatörde hem de analitik simülatörde yürütülen NeRD eğitilen politikalarının yan yana görselleştirmesini göstermektedir.
Sıfırdan Simülasyon- gerçeklik Aktarımı
NeRD modelinin doğruluğu, tamamen NeRD entegre simülatöründe eğitilen bir “hedefe git” politikası ile 7-DoF Franka robot kolunda sıfırdan gerçek dünya aktarımı ile de doğrulanmıştır (Şekil 7).
Gerçek Dünya Verilerinden NeRD Modellerinin İnce Ayarı
NeRD modellerinin doğal diferansiyenebilir yapısı, gerçek dünya verileri ile hızla ince ayar yapılmasına olanak tanır. Gerçek dünya küp atma verileri kullanarak bir küp atma görevine yönelik önceden eğitilmiş bir NeRD modeli üzerinde ince ayar yaptık. İnce ayar yapılmış NeRD modeli, analitik simülatöre göre dinamik doğruluğunu önemli ölçüde artırdı (Şekil 8’de gösterilmektedir).
Özet
Neural Robot Dynamics (NeRD), karmaşık ve çok eklemli robotların dinamiklerini uzun süreli olarak doğru bir şekilde tahmin etmek için tasarlanmış bir sinir ağı tabanlı robot simülasyon çerçevesidir. Geleneksel robot simülatörlerinin sağladığı basit modellerden farklı olarak, NeRD robotlara özgü dinamikleri doğrudan verilerden öğrenerek stabil, genelleştirilebilir ve hassas simülasyonlar sağlamaktadır.
Tek bir eğitilmiş NeRD modeli, belirli bir robot için çeşitli görevler, ortamlar ve kontrolörler arasında genelleşebilir ve gerçek dünya verileri ile ince ayar yapılarak simülasyon-gerçeklik farkını azaltabilir. Bu, robot simülasyonu için son derece uyumlu ve gelişmiş bir çözüm oluşturur.
Gelecek Yönelimleri
Karmaşık gerçek dünya robot dinamiklerini modelleme konusunda etkili sinir simülatörleri geliştirmek, aktif araştırma alanlarından biridir. Robotlar için genel geçerliliği olan ve ince ayar yapılabilir sinir dinamik modelleri elde etmek amacıyla bu araştırmalar birkaç heyecan verici yönelime genişletilebilir:
Daha karmaşık yapıya ve daha yüksek serbestlik derecelerine sahip robotlar
Daha karmaşık robotlar (örneğin, insansı robotlar) için bir sinir simülatörü öğrenmek, simülasyon verimliliğini önemli ölçüde artırabilir ve aşağı akış uygulamalarını hızlandırabilir (örneğin, insansı robotlar için tüm gövde kontrolörleri öğrenme).
Kısmen gözlemlenebilen gerçek dünya verilerinden ince ayar yapma
Gerçek dünya robot verileri genellikle sensör sınırlamaları nedeniyle yalnızca kısmen gözlemlenebilir. Örneğin, temas noktaları tam olarak bilinemeyebilir. Kısmen gözlemlenebilen gerçek dünya verilerinden önceden eğitilmiş NeRD modellerini ince ayar yapma yöntemlerini araştırmak, gerçek dünya dinamiklerini tahmin etme doğruluğunu artırabilir ve bu sayede simülasyon-gerçeklik farkını daha iyi kapatabilir.
Robotik manipülasyonu simüle etme
NeRD çerçevesinin geliştirilmesi şu ana kadar esas olarak yürüyüş görevlerine odaklanmıştır. Manipülasyon görevlerini simüle etme desteği, bu çalışmanın doğal bir uzantısıdır ve uygulama alanlarını daha da genişletebilir.
NeRD Kullanımına Başlayın
NeRD modelleri, Newton’da kullanılan simülasyon modülü ile eğitilmektedir. NeRD’yi kullanmak için README.md‘de kullanım talimatlarını görüntüleyin.
- İlk olarak, Newton’u, GPU hızlandırılmış, çekirdek tabanlı programlar yazmak için açık kaynaklı ve genişletilebilir bir fizik motorunu indirin.
- NeRD’nin açık kaynak kodunu indirin ve kullanım talimatları için README’yi görüntüleyin.
- Neural Robot Dynamics hakkında daha fazla bilgi edinin: NeRD nin ayrıntılarını arXiv üzerinden inceleyebilirsiniz.
Dinamik bir robot simüle etmek için sinir fizik çözücüsü kullanmanıza olanak tanıyan NeRD için eğitim ve çıkarım kodunun yayımlanmasını bekleyin.
Göz atmayı unutmayın: Bu araştırma, CoRL ve Humanoids etkinliğinde sergilenecek ve 27 Eylül-2 Ekim tarihlerinde Kore, Seul’de gerçekleşeci
