Genel robot teknolojileri yeni bir döneme girdi; bu yenilikler, mekatronik ve robot yapay zeka temel modellerindeki gelişmelerle güçlendiriliyor. Ancak, önemli bir engel var: robotların montaj ve denetim gibi beceriler için devasa eğitim verisi ihtiyaçları var, oysa manuel demostrasyonlar ölçeklenebilir değil. NVIDIA Isaac GR00T-Dreams planı, bu sorunu çözüyor; sadece bir görüntü ve dil istemi kullanarak, devasa miktarlarda sentetik hareket verisi üretiyor.
NVIDIA Cosmosdünya model tabanlı modelleri (WFMs) ve üretken yapay zeka ile geliştiriciler, NVIDIA Isaac GR00T N1.5 gibi modeller için eğitim verilerini hızla üretebilirler. Bu model, insan benzeri robotların akıl yürütme ve becerileri için dünyada ilk açık temel modeldir.
Bu yazı, Isaac GR00T-Dreams planını tanıtıyor, gelişmiş yeteneklerini ve Isaac GR00T N1.5 modelinin geliştirilmesindeki rolünü detaylandırıyor.
NVIDIA Isaac GR00T-Dreams Planının Özeti
Isaac GR00T-Dreams planı, devasa miktarlarda sentetik hareket verisi üretecek bir referans akışıdır. Bu veriler, insan benzeri robotların yeni ortamlarda yeni eylemler gerçekleştirmesi için öğretilmektedir.
Bu plan, robotların davranışları genelleyebilmesini ve yeni ortamlara uyum sağlamasını sağlarken, 최소 insan demonstrasyon verisiyle çalışır. Sonuç olarak, küçük bir insan demonstratör ekibi, binlerce insanın üreteceği eğitim verisinin aynı miktarını oluşturabilir.
GR00T-Dreams planı, Isaac GR00T-Mimic planı ile tamamlanmaktadır. NVIDIA Omniverse ve Cosmos Transfer-1 dünya modelinden faydalanarak, bilinen görevler için mevcut gösterim verilerini ölçeklendirir. GR00T-Mimic, robotun bu belirli yeteneklerde derinleşmesine ve uzmanlaşmasına yardımcı olur. GR00T-Dreams ise Cosmos Predict-2 ve Cosmos Reason kullanarak tamamen yeni veriler yaratır ve robotu geniş bir adaptasyon yeteneğine sahip bir genel uzman haline getirmeye çalışır.
GR00T-Dreams Planı Akışı
Genel uzman robotlar eğitimi için güçlü bir “gerçekten-gerçeğe” veri akışı sunan bu plan, gerçek robot verilerini kullanarak sentetik hareketler oluşturur; bu veriler daha sonra fiziksel robotları eğitmek için kullanılır. Bu yaklaşım, kapsamlı insan gösterimlerine olan ihtiyacı önemli ölçüde azaltır. Süreç aşağıdaki adımları içerir.
Adım 1: İnsan Gösterimleri ile İkinci Eğitim
Öncelikle, geliştiriciler, bir humanoid robot için bir görev, örneğin al-paket bırak, yapan sınırlı bir insan-teleoperasyon hareketi seti toplar. Bu gerçek dünya verisi, Cosmos Predict-2 dünya modelini ikinci eğitim için kullanılır. Bu eğitim adımı, modelin belirli hareket yeteneklerini ve o robota özgü işlevsel kısıtlamaları öğrenmesine olanak tanır.
Adım 2: “Rüyalar” Üretme
Daha sonra, geliştiriciler, uygun bir görüntü ve yeni metin tabanlı talimatlar ile ince ayar yapılmış Cosmos modelini yönlendirir. Bu, üretken modelin, birçok çeşitli ve yeni görev senaryoları veya gelecekteki dünya durumu (bu senaryolara rüyalar denir) yaratmasını sağlar; bu rüyalar açılma, kapama, nesneleri düzenleme, temizleme ve sınıflandırma gibi durumları içerir. Bu senaryolar, 2D videolar olarak sunulur.
Adım 3: Akıl Yürütme ve Filtreleme
Birçok rüya üretildikten sonra, Cosmos Reason modeli, her rüyayı değerlendirip kalitesini filtrelemek için kullanılır. Başarısız ya da hatalı görev girişimlerini gösteren “kötü” rüyalar filtrelenir ve sadece en yüksek kaliteli ve en alakalı senaryolar bir sonraki aşama için seçilir.
Adım 4: Sinirsel Hareketleri Çıkartma
Seçilen rüyalar, başlangıçta sadece 2D videolardaki piksel içerikleridir. İnvers Dinamik Modelleri (IDM) kullanılarak işlenir, bu model eylem etiketleme için bir üretken yapay zeka modelidir. Model, iki görüntü çerçevesi alarak—bir ‘önce’ ve bir ‘sonra’—aralarındaki eylem segmentini tahmin ederek çalışır.
Bu kritik adım, rüya videolarındaki görsel bilgiyi, robotun öğrenebileceği eylem verilerine dönüştürür. Bu 2D videolar, şimdi 3D eylem verisiyle zenginleştirilmiş olup sinirsel hareketler olarak adlandırılır.
Adım 5: Görü- Motor Politikasını Eğitme
Son olarak, bu sinirsel hareketler, gelişmiş performans için gerçek veri ile birlikte eğitim yaparak veya yalnızca bu verilerle eğitilerek yeni davranış ve görünmemiş ortamlar için genelleştirme sağlamaktadır.
Robot Öğrenimi için Gelişmiş Yetenekler
GR00T-Dreams planı, yeni davranışlar, yeni ortamlar ve daha fazlası dahil olmak üzere robot öğrenimi için gelişmiş yetenekler açmaktadır.
Yeni davranışlar: Robotlar, yalnızca bir görevden (örneğin al-paket bırak) eğitim verisi olsa bile, dil talimatlarından yeni eylemler öğrenebilirler.
Yeni ortamlar: Robotlar, sadece bir laboratuvar ayarında eğitilmiş dünya modeline rağmen, tamamen görünmemiş ortamlara genelleyebilirler.
Birçok robot tipi: Humanoidlerden manipülatörlere (örneğin Franka ve SO-100) kadar çeşitli robot gövde yapılarına ve farklı kamera açışlarına uyum sağlar.
Karmaşık görevler için geliştirilmiş öğrenme: Değişken nesneleri manipüle etme (katlama) veya araç kullanma (çekiçle vurma) gibi zorlu, temasa dayalı görevler için eğitim verilerini artırır ve başlangıçtaki gerçek çerçeveden gerçek-deneyim akışı sağlar.
GR00T N1.5’i GR00T-Dreams ile İkinci Eğitim
Görüş dili eylem (VLA) modelleri, GR00T-Dreams kullanılarak yenilikçi davranışlar ve görünmemiş ortamlarda çalışabilme yeteneği kazanacak şekilde ikinci eğitim yapılabilir.
NVIDIA Araştırma, GR00T-Dreams planını kullanarak, GR00T N1.5 geliştirmek için sentetik eğitim verileri üreterek bu süreci sadece 36 saat içinde tamamladı. Bu süreç, manuel insan veri toplama ile yaklaşık üç ay sürerdi.
GR00T N1.5, GR00T N1’in ilk güncellemesidir. Bu model, evrensel humanoid robot akıl yürütmesi ve becerileri için dünya çapında ilk açık temel modeldir. Bu model, dil ve görseller dahil çoklu mod girişlerle çeşitli ortamlarda manipülasyon görevlerini yerine getirebilir.
GR00T N1.5’teki yenilikler:
- Dil talimatlarının anlaşılmasında daha yüksek doğruluk
- Isaac GR00T-Dreams planının sağladığı, yeni nesnelere ve ortamlara daha iyi genelleme imkanı
- Eagle 2.5 kullanarak geliştirilmiş görsel-dil temeli ile daha iyi mekansal anlayış
- Malzeme elde etme ve üretim görevlerinde daha yüksek başarı oranı
Açık NVIDIA Fiziksel AI Veri Kümesi
NVIDIA, Açık NVIDIA Fiziksel AI Veri Kümesi koleksiyonunu genişletti. Bu veri seti, Hugging Face’teki en çok indirilen robotik veri setidir. İlk olarak Mart 2025’te başlatılan veri seti artık, Unitree G1 robotundan ve 24,000 simüle edilmiş teleoperasyon hareket verisinden gelen binlerce yeni robotik hareket içeriyor.
Bu koleksiyon, çeşitli manipülasyon görevleri için sentetik simülasyon verileri de içermekte olup, GR00T N1.5’in geliştirilmesinde kritik rol oynamıştır.
GR00T N Modellerinin Ekosistem Tarafından Benimsenmesi
GR00T N modellerinin erken benimseyicileri arasında AeiRobot, Foxlink, Lightwheel ve NEURA Robotics bulunmaktadır.
AeiRobot, endüstriyel robotlarının karmaşık al-paket görevlerini anlamasını sağlamak için bu modelleri kullanıyor. Foxlink ise endüstriyel robot kollarının esnekliğini ve verimliliğini artırmakta. Lightwheel, fabrikalarda humanoid robotların daha hızlı devreye alınması için sentetik verileri doğrulamak amacıyla bu modelleri değerlendiriyor. NEURA Robotics ise ev otomasyonu sistemlerinin geliştirilmesini hızlandırmak için bu modelleri test ediyor.
Robot Öğrenimini Hızlandırmaya Başlayın
NVIDIA Isaac GR00T-Dreams planı, insan benzeri robotlara yeni eylemler öğretmek için geniş miktarda sentetik hareket verisi üreten bir referans akışıdır. Bu plan, robotların davranışları genelleştirebilmesini ve yeni ortamlara minimal insan gösterim verisi ile uydurulmasını sağlar.
GR00T-Dreams ile başlamak için:
- Açık kaynaklı uçtan uca bir akış için github sayfasından inceleyin.
- Üretilen rüyalar için Cosmos Predict-2 modelini keşfedin.
- GR00T-Dreams‘in temelini oluşturan araştırma ile ilgili daha fazla bilgi için DreamGen sayfasını inceleyin, DREAMGEN: Sinirsel Hareketler ile Robot Öğreniminde Genellemenin Kilidini Açma başlıklı makaleyi okuyun.
GR00T N1.5 ile başlamak için:
- Isaac GR00T N1.5’i Hugging Face’ten indirin.
- Post-eğitim için örnek veri setleri ve PyTorch betiklerini github üzerinde inceleyin.
Gelişmelerden haberdar olmak için, bültene abone olun ve NVIDIA Robotics’i takip edinLinkedIn, Instagram, X, ve Facebook. NVIDIA belgelerinigözden geçirin ve YouTube kanalları ile NVIDIA Geliştirici Robotik forumuna katılın.