NVIDIA Isaac GR00T N1 ile Genel Amaçlı Humanoid Robot Geliştirmeyi Hızlandırın

Humanoid robotlar, insan çalışma alanlarına uyum sağlamak ve tekrarlayan veya zor görevleri yerine getirmek üzere tasarlanmıştır. Ancak, gerçek dünya görevleri ve öngörülemeyen ortamlarda genel amaçlı humanoid robotlar yaratmak zorlu bir süreçtir. Bu görevlerin her biri genellikle özel bir yapay zeka modelini gerektirir. Her yeni görev ve ortam için bu modellerin sıfırdan eğitilmesi, geniş kapsamlı görev odaklı verilere ihtiyaç duyulması, yüksek hesaplama maliyetleri ve sınırlı genelleme gibi nedenlerle zorlayıcı bir süreçtir.

NVIDIA Isaac GR00T, bu zorlukların üstesinden gelmeye yardımcı olarak, genel amaçlı humanoid robot geliştirilmesini hızlandırmak için açık kaynak SimReady veriler, simülasyon çerçeveleri (NVIDIA Isaac Sim ve Isaac Lab gibi), sentetik veri planları ve önceden eğitilmiş temel modeller sunar.

NVIDIA Isaac GR00T N1 Özellikleri ve Avantajları

NVIDIA Isaac GR00T N1, çeşitli görev ve beceriler için dünya çapında ilk açık temel modeldir. Bu çoklu gövde modeli, dil ve görüntü dahil olmak üzere çoklu girişleri kullanarak çeşitli ortamlarda manipülasyon görevlerini yerine getirir.

GR00T N1, geniş bir humanoid veri kümesi üzerinde ve NVIDIA Isaac GR00T Blueprint bileşenleri ile üretilen sentetik veriler ile internet ölçeğinde video verileri kullanılarak eğitilmiştir. Özel gövdeler, görevler ve ortamlar için sonradan eğitim ile uyarlanabilir. Bu verilerin bir kısmı, geliştirici topluluğuna açık kaynak NVIDIA fiziksel AI veri kümesi üzerinden ücretsiz olarak sunulmaktadır.

GR00T N1, manipülasyon davranışlarını mümkün kılan tek bir model ve ağırlık seti kullanarak Fourier GR-1 ve 1X Neo gibi humanoid robotları etkin bir şekilde yönetebilir. Tek veya çift elle nesneleri kavrayıp manipüle etme, eşyaları kollar arasında transfer etme gibi çeşitli görevlerde sağlıklı genelleme gösterir.

Ayrıca, karmaşık ve çok adımlı görevleri yerine getirebilir ve bu görevler süresince bağlamı anlamak ve farklı becerileri birleştirmek için gereken anlayışı sürdürebilir. Bu yetenekler, malzeme taşıma, paketleme ve denetim gibi alanlarda yaygın olarak kullanılmasını sağlar.

Bugün, NVIDIA, tamamen özelleştirilebilir model serisinin ilki olan GR00T N1 2B modelinin kullanıma sunulduğunu duyurdu.

GR00T N1 Model Mimarisi

GR00T N1, insan bilişini temel alan çift sistem mimarisine sahiptir ve aşağıdaki tamamlayıcı bileşenleri içerir:

• Görsel-Dil Modeli (Sistem 2): Bu yöntemli düşünme sistemi, NVIDIA-Eagle ile SmolLM-1.7B tabanlıdır. Görsel ve dilsel talimatlar aracılığıyla çevreyi yorumlar ve robotların çevreleriyle ilgili akıl yürütmesini ve doğru eylem planları yapmasını sağlar.
• Difüzyon Dönüştürücü (Sistem 1): Bu eylem modeli, robot hareketlerini kontrol etmek için sürekli eylemler üretir, Sistem 2’nin oluşturduğu eylem planını hassas ve sürekli robot hareketlerine dönüştürür.

Bu sistemler sıkı bir şekilde birbirine bağlıdır ve öğretilen verilerin optimizasyonu sırasında bir arada optimize edilebilirler.

GR00T N1 için Veri Stratejisi

GR00T N1 gibi genel bir modeli eğitmek, farklı veri türlerinin tamamlayıcı faydalarından yararlanan sağlam bir veri yaklaşımı gerektirir. GR00T N1’in eğitim verileri, piramit şeklinde bir yapı oluşturur; verinin miktarı temelden tepeye doğru azalırken, beden spesifikliği artar.

• Temelde, internet ölçeğindeki web verileri ve insan videoları, geniş bir görsel ve dilsel bilgi sağlar. Bu veri setleri, insan-nesne etkileşimlerini yakalayarak doğal hareket kalıpları ve görev anlamları hakkında bilgi sunar.
• Orta katmanda, NVIDIA Omniverse platformunda üretilen sentetik veriler yer alır.
• Tepe katmanında, çeşitli platformlarda teleoperasyon yoluyla toplanan gerçek robot verileri bulunur; bu da robotik yeteneklere dair kesin bilgiler sunar.

İnsan merkezli çevrimiçi videolar, insan-nesne etkileşimleri hakkında değerli bilgiler sağlarken, robotların motor kontrol sinyallerinden yoksundur. Simülasyon verileri, GPU hızlandırması ile sonsuz, gerçek zamanlı veriler sağlar; ancak simülasyon ile gerçeklik arasında bir boşluk vardır.

Gerçek robot verileri bu boşluğu kapatır, ancak maliyetli ve zaman alıcıdır. Bu farklı veri setlerini birleştirerek ve latent action training gibi tekniklerin kullanımı, robotların büyük ölçekli, etiketlenmemiş insan video verilerinden süpervizyon olmadan öğrenmesini sağlar ve güvenilir bir strateji oluşmasına yardımcı olur. Böylece GR00T N1’in öğrenme performansı ve uyarlanabilirliği artırılmış olur.

Bu yaklaşım, NVIDIA Isaac GR00T planı ile pratiğe dökülmüştür. Bu çalışma ile sadece 11 saatte 750K’dan fazla sentetik yol oluşturulmuş ve bu veri, 6500 saatlik ya da bizzat dokuz ay süren insan demonstrasyon verilerine eşdeğer olmuştur. Sentetik verinin gerçek verilerle entegrasyonu, yalnızca gerçek veri kullanılarak yapılan bir eğitimle karşılaştırıldığında GR00T N1 için %40 performans artışı sağlamıştır.

GR00T N1 ile Uygulama Yapın

GR00T N1 ile başlamak için aşağıdaki adımları izleyebilirsiniz:

• Veri hazırlama: Robot demonstrasyon verilerinizi (video, durum, eylem) bir GR00T veri kümesine uygun olarak düzenleyin.
• Veri doğrulama: Verinin doğru formatta olduğundan emin olmak için doğrulama betiğini kullanın.
• Sonradan eğitim: Pytorch betiklerini kullanarak önceden eğitilmiş GR00T N1 modelini özel veri kümeniz ile ince ayar yapın.
• Çıktı: Çıktı betiğini robot kontrolcünüze bağlayarak hedef donanımınızda veya simülasyon ortamınızda eylemleri gerçekleştirin.
• Değerlendirme: Modelin görev başarı oranını almak için değerlendirme betiklerini çalıştırın.

Performans

GR00T N1 modelleri, çeşitli robot gövde tipleri ve manipülasyon görevlerinde performansını değerlendirmek üzere hem simüle edilmiş hem de gerçek dünya benchmark’ları ile test edilmiştir. Simülasyon deneyimleri üç farklı benchmark kullanırken, gerçek dünya testleri GR-1 humanoid robot ile tabak manipülasyon görevlerine odaklanmıştır.

Simülasyon Benchmark’ları

Simülasyon deneyimleri için üç benchmark kullanılmıştır: Bunlardan ikisi önceden yapılan çalışmalardan açk kaynaklar, bir diğeri ise gerçek dünya tabak manipülasyon görevlerini yansıtan yeni bir settir ve modelleri farklı robot gövde tipleri ve çeşitli manipülasyon görevleri üzerinde değerlendirmek amacıyla seçilmiştir.

Gerçek Benchmark’lar

Modeller, nesne manipülasyonu, koordineli iki ellerin hareketleri ve gelişmiş mekansal farkındalık gerektiren çeşitli görevlerde değerlendirildi; böylece karmaşık etkileşimlerde ince kontrol sağlandı.

GR00T N1 modeli, Difüzyon Politikası temel yöntemiyle karşılaştırıldığında daha yumuşak ve akıcı bir hareket sergilemekte ve özellikle daha küçük sonradan eğitim veri kümesi ile ince ayar yapıldığında kavrama doğruluğunda belirgin bir artış göstermektedir.

Ayrıca, GR00T N1’in yeni görevleri öğrenme verimliliği daha yüksektir ve dil talimatlarına daha hassas bir şekilde uyum sağlamaktadır.

Bugün Başlayın

GR00T N1 ile çalışmaya başlamak için aşağıdaki kaynaklara ulaşabilirsiniz:

• NVIDIA Isaac GR00T-N1-2B modelineHugging Face üzerinden erişim sağlayabilirsiniz.
• Özelleştirmek için örnek veri setleri ve PyTorch komut dosyaları /NVIDIA/Isaac-GR00T GitHub deposundan erişilebilir.

Sonradan eğitim ve çıktı için aşağıdaki kaynakları kullanabilirsiniz:

• Sonradan eğitim için minimum yapılandırma, en az bir NVIDIA RTX A6000 veya bir NVIDIA GeForce RTX 4090 GPU’sudur. Daha talepkar ihtiyaçlar için önerilen yapılandırmalar NVIDIA DGX Spark veya NVIDIA DGX H100 sistemleridir.
• Çıktı için GR00T N1 modeli, NVIDIA RTX A6000 GPU veya NVIDIA Jetson AGX Orin süper bilgisayarına yerleştirilebilir.

Model hakkında daha fazla bilgi için NVIDIA Isaac GR00T N1 Açık Temel Modeli adlı beyaz geleyin.

Bu model, NVIDIA Isaac GR00T sentetik hareket ve veri üretim sistemleri ile birlikte Isaac Lab ve Isaac Sim gibi simülasyon çerçeveleri sayesinde genel amaçlı humanoid robotlar yaratmanızı sağlar.

NVIDIA CEO’su Jensen Huang’ın GTC Anahtarında ve Humanoid Robot in Yapma Giriş başlıklı GTC anahtar oturumlarında daha fazla bilgi için izleyebilirsiniz.

Gelişmelerden haberdar olmak için bültenimize abone olun ve NVIDIA Robotik’i YouTube, Discord ve geliştirici forumlarında takip edin.