“R²D² ile Robotik Montaj ve Temas Zengin Manipülasyonu NVIDIA Araştırmasıyla Keşfet”

NVIDIA Robotik Araştırma ve Geliştirme Bülteni (R²D²) bu sayısında, NVIDIA Araştırma tarafından geliştirilen robotik montaj işlemleri için çeşitli temas zengin manipülasyon iş akışlarını ele alıyor. Bu workflow’lar, sabit otomasyonun karşılaştığı zorluklar olan dayanıklılık, uyum sağlama yeteneği ve ölçeklenebilirlik gibi konuları nasıl ele alabileceğini gösteriyor.

Temas Zengin Manipülasyon Nedir?

Temas zengin manipulasyon, robotun çevresindeki nesnelerle sürekli ya da tekrar eden fiziksel temas gerektiren robotic görevleri tanımlar. Bu, güç ve hareketin hassas kontrolünü gerektirir. Basit al ve bırak işlemlerinin ötesinde, bu tür görevler friksiyon, uyum sağlama ve belirsizlik altında hizalama gibi unsurları yönetmeyi gerektirir.

Robotik, robotik, üretim ve otomotiv gibi endüstrilerde önemli bir rol oynamaktadır. Bu endüstrilerde, askı yapma, dişli takma, vidalama ya da montaj gibi karmaşık ve yüksek hassasiyet gerektiren görevler sıklıkla yapılmaktadır. Temas zengin manipülasyon, robotların bu karmaşık görevleri yerine getirmesine olanak tanır ve gerçek dünya değişkenliklerini yönetmek için kritik öneme sahiptir.

NVIDIA Araştırma Workflow’ları ile Zorlu Robotik Montaj Görevleri

Robotik montaj görevlerini çözmek, dinamik ortamlar içinde hassas manipülasyon gerektirdiğinden zor olmuştur. Geleneksel olarak, robotik montaj sabit otomasyona dayanmaktadır ve bu da esnekliği sınırlandırmaktadır. Ancak, AI, makine öğrenimi ve robotik simülasyon alanındaki ilerlemeler, robotların daha karmaşık görevleri yerine getirmesinde önemli bir rol oynamaktadır. Aşağıda, NVIDIA Araştırma çalışmalarına dayanan robotik montaj görevleri için uygulamaları belirtilmektedir:

Factory: Gerçek zamanlı temas zengin etkileşimler için hızlı, fizik tabanlı bir simülasyon ve öğrenim toolkit’i.
IndustReal: Robotların simülasyonda montaj görevleri öğrenmelerine yardımcı olan bir algoritma ve sistem toolkit’i.
AutoMate: Çeşitli geometrilerde uzman ve genelist robotik montaj politikalarını eğitmek için yeni bir politika öğrenme çerçevesi.
MatchMaker: Generatif AI kullanarak çeşitli, simülasyona hazır montaj varlık çiftlerini otomatik olarak oluşturan yenilikçi bir pipeline.
SRSA: Yeni bir robot montaj görevi için mevcut becerilerin keşfedilmesi için bir çerçeve.
TacSL: GPU tabanlı visuotaktile sensör simülasyonu ve öğrenimi için bir kütüphane.
FORGE: Kuvvet ölçümlerini girdi olarak kullanan pekiştirme öğrenimi politikalarının sıfırdan simülasyondan gerçeğe transferi.

Temas Zengin Manipülasyon Gelişmeleri: Factory, IndustReal ve AutoMate

Gerçek zamanlı temas zengin etkileşimleri simüle etmek, uzun zamandır hesaplamalı olarak zor bir sorun olarak görüldü. Ancak, Factory ile bu alanda önemli bir atılım sağlandı. Bu, SDF (Seviye Seti Fonksiyonu) çarpışmaları, temas azaltma ve Gauss-Seidel çözücüsü kullanan GPU tabanlı bir simülasyon çerçevesidir. NVIDIA Isaac Lab‘da temas zengin simülasyon ortamları artık mevcuttur. Bununla birlikte, IndustReal işlevselliği, 600 denemede %83 ila %99 başarı oranıyla sıfırdan simülasyondan gerçeğe becerilerin transferini mümkün kılmıştır. Bu başarı, simülasyona duyarlı politika güncellemeleri ve SDF tabanlı ödüller gibi yeniliklerle desteklenmiştir. Bu süreç, Franka Panda ve UR10e robotları üzerinde test edilmiştir ve bu yöntemlerin gerçek dünya endüstriyel uygulamaları için kapıları açmıştır.

Images showing contact-rich simulation environments in Isaac Lab. — *Şekil 1. NVIDIA Isaac Lab’daki Temas Zengin Simülasyon Ortamları*

AutoMate, pekiştirme öğrenimi ile taklit öğrenimi kombinleyerek geniş bir montaj görev yelpazesini çözmek için ilk simülasyon bazlı çerçeve olarak tanıtıldı. Yüzde yüz başarı oranıyla simülasyondan gerçeğe transferi sağlayabilen bu çerçeve, 100 simülasyon uyumlu montaj varlığına, yaklaşık 80 görevi çözmek için uzman politikalarına ve 20 görevi ele almak için damıtılmış genelisti politikaya sahiptir. Tüm politikalar, ~%80 başarı oranlarına ulaşmıştır.

AutoMate policy deployment in simulation and real world, with unique assembly IDs shown above each example. Each example is labeled with a unique assembly ID above the images to highlight the correspondence between simulated tasks and their physical counterparts. — *Şekil 2. AutoMate politikalarının simülasyon ve gerçek dünya uygulamaları.*

Yeni Sınırları Zorlamak: İleri Düzey Öğrenme Algoritmaları ve Otomasyon

Factory ve IndustReal’deki yeniliklerin üzerine inşa edilerek, ekip, temas zengin manipülasyonu daha karmaşık montaj zorlukları ile başa çıkacak şekilde genişletti. Otomatik varlık üretimi, beceri geri kazanımı ve uyarlama, pekiştirme ve taklit öğrenimi kullanarak, yeni yenilikçi yöntemler geliştirilmiştir.

MatchMaker: Robotik Montaj için Otomatik Varlık Oluşturma

Image showing the three stages of asset generation using the Matchmaker pipeline and its validations in simulation and real experiments. — *Şekil 3. Matchmaker varlık oluşturma pipeline’ı*

MatchMaker, ICRA 2025‘te sunulmuş, montaj becerilerini öğrenmeyi kolaylaştırmak için çeşitli, simülasyona uyumlu montaj varlık çiftlerini otomatik olarak oluşturan yenilikçi bir üretim sürecidir. Bu yöntem, varlık çiftlerinin elle oluşturulması sorununu çözerek, çarpışmalardan kaçınan, geometrik olarak eşleşen parçalar üretmektedir. MatchMaker, ya hiç girdi almaz, tek bir varlık ya da bir montaj çiftine girdi alarak, ayarlanabilir boşluk ile simüle edilmeye hazır varlık çiftleri oluşturur.

Ana katkılar:

Otomatik dönüşüm: Uyumsuz varlık çiftlerini simülasyona uyumlu modellere dönüştürür.
Varlık çiftleri oluşturma: Yeni montaj görevleri için tek bir varlıktan geometrik olarak eşleşen ikinci bir parça üretir.
Gerçekçi temas etkileşimleri: Kullanıcı tanımlı boşluğa dayanarak ilişki yüzeylerini aşındırarak, parçaların uyumlu olmasını sağlar.

MatchMaker, Şekil 3’te görüldüğü gibi üç aşamada varlık çiftlerini üretir:

Temas yüzeyi tespiti: Bir VLM (GPT-4o) varlık türünü, montaj yönünü ve temas yüzeylerini algılar.
Şekil tamamlama: 3D üretici modeller, çiftin ikinci varlığını tamamlar.
Boşluk belirtme: Temas yüzeyleri aşındırılarak çarpışmanın önüne geçilir, simülatörler ile uyum sağlanır.

Şekil 4, oluşturulan varlık çiftlerinin örneklerini göstermektedir. MatchMaker, simülasyonda ve gerçek dünya ortamlarında test edilerek dayanıklı montaj politikalarının geliştirilmesinde etkili olmuştur.

Examples of assembly pairs generated by MatchMaker. — *Şekil 4. MatchMaker tarafından oluşturulan montaj çiftlerine örnekler*

SRSA: Robotik Montaj Görevleri için Beceri Keşfi ve Uyarlama

SRSA, verimli robot öğrenmeyi sağlamak için önceden eğitilmiş becerilerin kullanılmasını teşvik eden bir çerçevedir. Yeni bir görev için en uygun mevcut politikayı geometrik, dinamik, eylemler ve başarı tahmini temelinde seçerken, hedef görev için bu politikayı ince ayar yapmaktadır.

A flowchart showing an SRSA overview that predicts and retrieves the best prior skill, then fine-tunes it with reinforcement learning. — *Şekil 5. SRSA, en iyi önceki beceriyi geri alarak onu eğitim kütüphanesine ekler*

SRSA, sıfırdan öğrenme yöntemlerine göre daha iyi performans, verimlilik ve kararlılık sunarken sürekli öğrenmeyi de destekler. Bu çerçeve, yeni görevlerde %19 daha yüksek başarı oranı elde eder, %2,4 daha az örnek gereksinimi vardır ve gerçek dünya testlerinde %90 ortalama başarı oranına ulaşmaktadır.

TacSL: Visuotaktile Sensör Simülasyonu ve Öğrenimi için Bir Kütüphane

TacSL (taxel), visuotaktile görüntülerin (popüler bir robotik dokunma sensörü‘nün çıktısı) ve buna bağlı temas kuvvet alanlarının, önceki devlet-of-sanat yöntemlere göre 200 kat daha hızlı GPU tabanlı simülasyonu için bir kütüphanedir.

Images showing the simulation module, task suite and policy learning from the TacSL toolkit. — *Şekil 6. TacSL kitinin bileşenleri*

Dokunma, insanlar için dünyayı anlamak ve etkileşime geçmek adına temel bir hisken robotlarda dokunsal algılama, nesneler ile temas kurmak için özel dokunma sensörleri kullanmak anlamına gelir. Ancak, dokunsal algı robotlarda görsel algıya göre daha az kullanılmaktadır. Bunun nedenleri arasında verilerin anlaşılması, dokunuşu gerçeğe uygun simüle etme ve robotların buna göre hareket etmelerini eğitimle sağlama zorlukları bulunmaktadır.

TacSL, visuotaktile sensörler ve öğrenme algoritmaları için hızlı bir GPU hızlandırma dokunsal simülasyon modülü sunarak bu zorluklara yanıt verir. Bu, robotların gerçekçi dokunma geri bildirimi ile simülasyonda temas zengin görevleri öğrenmesine olanak tanır. TacSL, büyük ölçekli öğretimi destekler ve başarılı simülasyondan gerçeğe geçiş oranı %83 ile %91 arasında değişmektedir.

Video 1. Farklı konum ve yönelimlerdeki peg-içinde soketi ile yerleştirme politikası uygulaması, aydınlatmadaki ani değişimlere karşı dayanıklılığı göstermektedir.

FORGE: Temas Zengin Manipülasyon için Kuvvet Rehberli Keşif

A visual overview of the FORGE training pipeline alongside a robotic arm assembling a planetary gearbox using learned policies. — *Şekil 7. FORGE eğitim pipeline’ı ve çok aşamalı bir dişli montajı örneği*

FORGE, kuvvet ölçümlerini girdi olarak kullanan pekiştirme öğrenimi politikalarının sıfırdan simülasyondan gerçeğe transfer edilmesine olanak tanıyan bir yöntem sunmaktadır. Bu yaklaşım, parçaların pozlarının belirsiz olduğu durumlarda veya görevlerin yüksek hassasiyet ve doğruluk gerektirdiği durumlarda önem taşır.

Ana özellikler:

Kuvvet gözlem girdileri: Manipülasyon sırasında uygulanan kuvveti uyarlamalı olarak ayarlama imkanı sunar.
Kuvvet eşiği mekanizması: Narın parçalarını korumak için maksimum kuvveti sınırlar.
Dinamik rastgeleleştirme şeması: Eğitim sırasında robotun dinamiklerini ve parça özelliklerini değiştirerek gerçek dünya genellemesi sağlar.
Başarı tahmincisi: Otonom görev tamamlama yeteneği sağlar, sabit süreli uygulamalara ihtiyaç duymaksızın.

FORGE, poz tahmin hata payı %5’e kadar olan durumlarda dahi güvenli bir keşif ve başarılı bir uygulama desteği sağlar. Bu yetenek, bir çok aşamalı dişli sisteminin montajında gösterilmektedir; bu görev, soket yerleştirme, dişlerin hizalanması ve somunu vida ile birleştirme gibi üç montaj becerisini gerektirmektedir.

A demonstration of FORGE performing three assembly tasks: peg insertion, aligning and meshing gears, and threading a nut onto a bolt — *Şekil 8. FORGE, üç farklı montaj yeteneğini gerçekleştiriyor: soket yerleştirme, dişlerin hizalanması ve somuna vida takma*

FORGE, soket yerleştirme gibi kuvvet gerektiren görevleri yönetir ve gerekli kuvvetlerin bilinmediği durumlarda başarı tahminine dayanarak kuvvet limitlerini otomatik olarak ayarlar. Bu, karmaşık görevleri yüksek hassasiyetle yönetebilme ve gerçek dünya belirsizliklerine uyum sağlama yeteneğini göstermektedir.

Özet

Robotik montaj, hassas temas ve gerçek dünya uyum yeteneği gerektiren karmaşık bir süreçtir. Bu yazıda, simülasyondan gerçeğe geçiş, dokunsal ve kuvvet algılama ve otomatik varlık üretiminde kaydedilen araştırma gelişmeleri vurgulanmıştır. Bu gelişmeler, daha esnek ve uyumlu otomasyonu mümkün kılmaktadır.

Bu yazı, NVIDIA Araştırma‘dan elde edilen SOTA kırılımları hakkında geliştiricilere daha derin bir içgörü sağlamak amacıyla hazırlanan NVIDIA Robotik Araştırma ve Geliştirme Bülteni (R²D²) serisinin bir parçasıdır. NVIDIA Araştırma‘yı takip ederek, bu alanla ilgili gelişmelerden haberdar olabilirsiniz.

Robotik yolculuğunuza başlamak için ücretsiz NVIDIA Robotik Temel Kurslarına kayıt olabilirsiniz.

Teşekkürler

Bu yazıda belirtilen araştırma katkılarından dolayı Abhishek Gupta, Adam Moravanszky, Ankur Handa, Bingjie Tang, Bowen Wen, Chad Kessens, Chuang Gan, Dieter Fox, Fabio Ramos, Gaurav S. Sukhatme, Gavriel State, Iretiayo Akinola, Jan Carius, Jie Xu, Kaichun Mo, Karl Van Wyk, Kier Storey, Lukasz Wawrzyniak, Michael A. Lin, Michael Noseworthy, Michelle Lu, Miles Macklin, Nicholas Roy, Philipp Reist, Yashraj Narang, Yian Wang, Yijie Guo, Yunrong Guo’ya teşekkür ederiz.