Birçok parçanın montajı, üretim, otomotiv, havacılık, elektronik ve medikal cihazlar gibi pek çok önemli sektörde kritik bir rol oynamaktadır. Ancak, robotik montaj, karmaşık etkileşimler ve yüksek düzeyde hassasiyet ve doğruluk gerektirmesi nedeniyle hâlâ önemli bir zorluk teşkil etmektedir. Bugünün robotik montaj sistemleri, genellikle sabit otomasyona bağlı kalmakta ve bu da onların adaptasyon yeteneğini ve ölçeklenebilirliğini sınırlamaktadır.
Geleceğin Robotik Montajı: Esnek Otomasyon
Robotların yeni parçalar, pozlar ve ortamlara hızla uyum sağlaması gerektiği bu esnek otomasyona geçişin geleceği olarak görülmektedir. Robotik ile simülasyon ve yapay zeka (AI) entegrasyonu, bu kısıtlamaları aşmak için bir fırsat sunmaktadır. NVIDIA, bu alandaki araştırmaları ilerletmek için birkaç yıldır çalışmakta ve Universal Robots (UR) ile süregelen ortaklıkları, araştırma yeniliklerinin gerçek dünya sanayi uygulamalarına dönüştürülmesine katkı sağlamaktadır.
Simulasyondan Gerçekliğe Geçiş: Dişli Montajı Görevi
Bu yazıda, UR10e robotu üzerinde bir dişli montaj görevinin sıfırdan simülasyondan gerçeğe geçişini gösteriyoruz. Görev, NVIDIA Isaac Lab’da tasarlanmış ve eğitim verilmiş olup, NVIDIA Isaac ROS ve UR10e düşük seviyeli tork arayüzü kullanılarak uygulanmıştır. Amacımız, herkesin bu çalışmayı tekrarlayabilmesi için Isaac Lab ve Isaac ROS’u kendi simülasyondan gerçeğe uygulamaları için kullanabilmesidir.
Isaac Lab, robot öğrenimi için açık kaynaklı, modüler bir eğitim çerçevesidir. Isaac ROS, açık kaynaklı ROS 2 yazılım çerçevesi üzerine inşa edilmiş, hızlandırılmış hesaplama paketleri ve AI modelleri içeren bir koleksiyondur. Geliştiricilere, navigasyon ve algılama gibi yaygın görevler için hazır paketler sunmaktadır.
Isaac Lab’da Temas Zengin Simülasyon
Isaac Lab, doğru fizik ve büyük ölçekli takviye öğrenimi (RL) yaparak temas zengin simülasyonu mümkün kılmaktadır. Daha önce hesaplaması zor olan karmaşık etkileşimlerin simülasyonu artık gerçekleştirilmesi mümkün bir hedef haline gelmiştir.
Isaac Lab, peşin yerleştirme, dişli kaynaştırma ve somun-bolt sıkıştırma gibi zorlu endüstriyel görevleri içermekte ve hem taklit öğrenme (gösterim verilerini taklit etme) hem de RL yöntemlerini desteklemektedir. Bu da herhangi bir robot bedenleşmesi için eğitim yaklaşımlarında esneklik sunmaktadır.
RL, montaj problemleri için güçlü ve etkili bir teknik olup, insan gösterimleri gerektirmemekte ve algılama, kontrol ve sabitleme hatalarına karşı oldukça dayanıklıdır. Ancak, simülasyon ile gerçek dünya arasındaki fark – gerçeklik farkı – hala önemli bir zorluktur. Bu yazıda yer alan iş akışı, IndustReal’den alınan kavramları kullanarak bu farkı kapatmaktadır.
Dişli Montaj Görevini Isaac Lab’de Eğitim Süreci
Dişli montaj görevi, dişlilerin algılanması, kavranması, taşınması ve hedef millere yerleştirilmesi ile ilgilidir. Şekil 2, görev sırasında, bir dişli için başlangıç durumundan hedef duruma kadar olan farklı halleri göstermektedir. Bu işlem, üç temel yetenek gerektirmektedir: kavrama oluşturma, boş alan hareketi oluşturma ve yerleştirme.
Kavrama oluşturma, parçalar için uygun kavrama pozları elde etmek amacıyla hazır bir kavrama planlayıcı kullanmaktadır. Hareket oluşturma ve yerleştirme ise politika öğrenmek için RL kullanarak gerçekleştirilir. Robot kolları için hareket oluşturma iyi bir şekilde öne çıkmış olsa da, RL tabanlı bir hareket oluşturma politikasının eğitilmesi, daha zorlayıcı yerleştirme görevine geçmeden önce politikanın kalibrasyonu ve hata ayıklama adımları sağlar.
Şekil 3, Isaac Sim ve Isaac Lab kullanarak hareket oluşturma ve yerleştirme görevleri için politika öğrenme sürecini sergilemektedir. Her görev için varlıklar ve sahne spesifikasyonları, Isaac Sim’deki simülasyon ortamını tanımlar; Isaac Lab ise eğitim ortamını sağlar. Her iki görevin politikaları, Isaac Lab’da uygulanan düşük seviyeli bir empedans kontrolörüne dayanmaktadır.
Hareket oluşturma ve yerleştirme yetenekleri bağımsız olarak öğrenilen ayrı takviye öğrenme problemleri olarak formüle edilmiştir.
- Hareket Oluşturma: Robot, belirli bir hedef pozuna (örneğin bir kavrama pozuna) gitmek için, belirlenen robot çalışma alanında rastgele başlangıç eklem açıları ile hareket etmelidir. Gözlemler, robotun eklem pozisyonları ve hedef uç efektör pozisini içerirken, eylem alanı eklem pozisyonu hedeflerini içermektedir. Ödül fonksiyonu, uç efektör ile hedef arasındaki mesafeyi minimize eder ve ani veya saldırgan robot hareketleri için ceza verir.
- Yerleştirme: Dişli, robotun kavrayıcısında başlatılır ve hedef milin yakınına rastgele bir pozisyonda konumlandırılır. Amaç, dişliyi milin tabanına taşımaktır. Gözlemler, robotun eklem pozisyonları ve hedef mil pozisini içerirken, eylem alanı eklem pozisyonu hedeflerini içermektedir. Ödül fonksiyonu, dişli ile hedef arasındaki mesafeyi minimize eder ve yine ani veya saldırgan robot hareketleri için ceza verir.
Her iki yetenek için eklem pozisyon hedefleri 60 Hz’de üretilmekte, bu da daha düşük seviyeli bir empedans kontrolörü tarafından uygulanmaktadır.
Ajans, başlangıçta robot kol pozisyonlarının farklı konfigürasyonları, kavramadaki dişlerin pozisyonları, dişli boyutları ve genel görevin aşamalarını içeren bir çeşitlilik seti ile eğitilmiştir. Simülasyondan gerçeğe geçişi kolaylaştırmak için, robot dinamikleri (eklem sürtünmesi ve damping) ve kontrolör kazançlarına dair alan rastgeleliği uygulanmıştır. Eğitim, ajansın görevde etkili bir şekilde öğrenmesini sağlamak için değerli deneyimler elde etmesine olanak tanıyan paralel ortamlar üzerinden gerçekleştirilmiştir.
Ağ Yapısı ve RL Algoritması Ayrıntıları
Her politika, 256 birimlik bir Uzun Kısa Süreli Bellek (LSTM) ağı ile yapılandırılmıştır. Üzerinde 256, 128 ve 64 nöron içeren üç katmanlı bir çok katmanlı algılayıcı (MLP) bulunmaktadır. Politikalar, rl-games kütüphanesinden Proksimal Politika Optimizasyonu (PPO) algoritması kullanılarak eğitilmiştir. Eğitim, Isaac Sim 4.5 ve Isaac Lab 2.1 kullanılarak NVIDIA RTX 4090 GPU üzerinde gerçekleştirilmiştir.
Sonuçlar
Şekil 4, eğitilmiş politikaların UR10e robotu üzerinde kullanılan hareket oluşturma ve yerleştirme işlemlerini göstermektedir.
Şekil 4: Eğitilmiş politikaların UR10e robotu üzerindeki testleri hareket oluşturma (solda) ve yerleştirme (sağda)
Şekil 5, öğrenilen becerilerin kombinasyonlarını göstermektedir. Robot, öğrenilen yetenekleri kullanarak rastgele pozisyonlarda yerleştirilen üç dişliyi başarılı bir şekilde monte edebilmekte ve bu işlemi kavrama planlayıcısını ve her iki öğrenilen beceriyi tekrar ederek gerçekleştirmektedir. Politikalar, dişlilerin montaj sırasına ve başlangıç konumlandırmalarına karşı dayanıklıdır.
Şekil 5: Eğitilmiş RL politikaları, robotun bir dişleyi alıp yerleştirerek montaj işlemi gerçekleştirdiği ardışık aşamalardır: dişli 1’e git → kavrama → yerleştirme → dişli 2’ye git → kavrama → yerleştirme, şeklinde döngü halinde devam etmektedir.
UR Tork Kontrol Arayüzü ile Simülasyondan Gerçeğe Geçiş
Bu çalışma, robotların nesnelerle güvenli ve uyumlu (yumuşak) etkileşimlerini sağlayan bir teknik olan empedans kontrolü kullanmaktadır. Pozisyon kontrolörleri yüksek hassasiyet sunmasına rağmen, katılıklıkları algılama veya gerçek dünya hizalama zorlukları nedeniyle adaptasyon yeteneklerini kısıtlayabilmektedir. Empedans kontrolü, daha esnek bir alternatif sunmaktadır.
Sanayi robotlarında sıkça bulunan katı pozisyon kontrolörlerinin aksine, empedans kontrolü doğrudan tork komutları gerektirmektedir. UR, bu tür kontrolü sağlamak için doğrudan tork kontrol arayüzü üzerine erken erişim imkânı sunmaktadır.
NVIDIA ekibinin UR ile işbirliği yaparak, Isaac Lab yöntemlerini kullanarak eğitimli politikalar geliştirdi ve bunları UR10e robotu üzerinde Isaac ROS ve UR tork arayüzü kullanarak uyguladı. Ayrıca, Segment Anything ve FoundationPose paketleri de kullanılmıştır.
Simülasyondan Gerçeğe Geçiş Süreci
Şekil 6, eğitimli politikaların UR10e robotu üzerinde uygulanmasında kullanılan simülasyondan gerçeğe geçiş çerçevesini göstermektedir. İş akışı, bir RGB görüntüsü ile başlayarak, Segment Anything’ten bir segmentasyon maskesi elde edilmektedir. Bu maske, derinlik görüntüsü ile birleştirilerek, 6D dişli pozlarının tahmini için FoundationPose’a aktarılmaktadır.
Dişli pozları ve UR eklem enkoderlerinden elde edilen eklem pozisyonları gözlemleri, politikaya delta eklem pozisyonlarını tahmin etmesi için aktarılır. Delta eklem pozisyonları, mutlak hedef eklem pozisyonlarına dönüştürülerek empedans kontrolörüne giriş olarak verilmekte ve robotun görevi gerçekleştirmesi için gereken eklem torklarını hesaplamaktadır. Sonuçlar Video 1’de gösterilmektedir.
Harekete Geç!
Bu yazı, UR10e robotu üzerinde dişli montaj görevinden simülasyondan gerçeğe geçişin sıfırdan gerçekleştirilmesini öne çıkardı. Görev, NVIDIA Isaac Lab’da tasarlanmış ve eğitim alınmış olup, NVIDIA Isaac ROS ve UR10e düşük seviyeli tork arayüzü kullanılarak uygulanmıştır.
Şimdi, kendi temas zengin manipülasyon politikalarınızı geliştirmeye başlamak için hazır mısınız? İşte yararlanabileceğiniz kaynaklar:
- NVIDIA Isaac Sim ve Isaac Lab indirin ve temas zengin ortamları keşfetmek için eğitimi başlayın.
- Bu yazıda yer alan algoritmalar hakkında daha fazla bilgi edinmek için IndustReal: Simülasyondan Gerçeğe Geçiş ve Endüstriyel Robot Montaj Görevlerinin Gerçekliğe Geçişi başlıklı makaleleri okuyabilirsiniz.
- Isaac ROS dökümantasyonunu referans alın.
- UR doğrudan tork komutuna erişim sağlayan robot yazılımını indirin.
- NVIDIA Robotik Araştırma ve Geliştirme Bülteni (R²D²) için okuyun ve temas zengin manipülasyon konusundaki gelişmeleri takip edin.
Herkesin bu politikaları test edebilmesi ve kendi politikalarını eğitmesi için Isaac Lab ortamları ve eğitim kodları yakında sizlerle olacak. Bu politikaları kendi UR robotlarınızda uygulayabilmeniz için bir referans iş akışı da sunulacaktır.
Gelişmelerden haberdar olmak için bültenimize abone olmayı ve NVIDIA Robotik LinkedIn, Instagram, X ve Facebook üzerinden takip etmeyi unutmayın. NVIDIA dokümantasyonları ve YouTube kanallarında da yeni kaynaklar keşfedin. Robotik yolculuğunuza başlamak için ücretsiz NVIDIA Robotik Temeller kurslarına bugün kaydolun.
NVIDIA Isaac kütüphaneleri ve AI modelleri ile fiziksel AI sistemleri geliştirme yolculuğunuza başlayın.
Teşekkürler
UR simülasyondan gerçeğe geçiş gösterisinin geliştirilmesinde Yashraj Narang ve Buck Babich’e, yeni geliştirilen doğrudan tork kontrol arayüzü ile teknik destek sağladığı için Universal Robots’tan Rune Søe-Knudsen’e teşekkür ederiz. Ayrıca bu gösterim üzerinde çalışan Bingjie Tang, Michael A. Lin, Iretiayo Akinola, Ankur Handa, Gaurav S. Sukhatme, Fabio Ramos, Dieter Fox ve Yashraj Narang’a teşekkür ederiz.
