“NVIDIA Holoscan Sensör Köprüsü ile Geliştiricilere Anlık Veri İşleme İmkanı”

Hızla gelişen robotik ve kenar AI alanında, sensör verilerini etkin bir biçimde işleyip transfer edebilmek büyük önem taşıyor. Pek çok kenar uygulaması, tek sensörlü sabit fonksiyonlu çözümlerden uzaklaşıp, görsel, işitsel, sıcaklık, kuvvet/tork, iletişim sensörleri, IMU’lar, lidar sistemleri, ultrasonlar, motorlar ve aktüatörlerden oluşan çeşitli sensör dizilerine yöneliyor.

NVIDIA’nın Holoscan Sensor Bridge (HSB), gerçek zamanlı veri akışını sağlamak ve yüksek hızlı sensör ile aktüatör entegrasyonunu basitleştirmek için geliştirilmiş ileri düzey bir Ethernet üzerinden sensör akış teknolojisidir. NVIDIA Holoscan, fiziksel sensörleri, işleme hattına bağlayan HSB’yi içerir. Donanım ve AI işlemesi arasında sıkı bir entegrasyonun gerekli olduğu düşük gecikmeli, uçtan uca iş akışlarını mümkün kılar.

Bu blog yazısı, yüksek hızlı sensör işlemenin zorluklarına dalarak, HSB’nin ultra düşük gecikme, kullanım kolaylığı, ölçeklenebilirlik ve sağlam güvenlik özellikleri ile bu sorunları nasıl çözdüğünü vurguluyor. Bu özellikleri sayesinde HSB, robotik, tıbbi görüntüleme ve endüstriyel otomasyon gibi birçok alanda büyük değer sunuyor.

Yüksek Hızda Sensör İşlemeyle İlgili Zorluklar

Fiziksel AI ve robotik geliştiricileri, sensör entegrasyonu konusunda birkaç temel nedenden dolayı büyük zorluklarla karşı karşıya.

1. Geliştirme Süresi ve Çeşitlilik:
Sensör sürücülerini geliştirmek ve sistemlere entegre etmek zaman alıcıdır; çünkü farklı sensör türleri ve bunların benzersiz arayüz gereksinimleri vardır. Bu karmaşıklık genel geliştirme sürecini yavaşlatabilir.

2. Gerçek Zamanlı İşleme ve Düşük Gecikme:
Robotik ve tıbbi aletler gibi uygulamalar için gerçek zamanlı işleme ve düşük gecikme sağlamak kritik öneme sahiptir. Hızlı veri alma, işleme ve iletim işlemleri geciktirilmemelidir; aksi takdirde sistem performansı bozulabilir veya sistem arızaları yaşanabilir.

3. Sensör Akışındaki Karmaşıklıklar:
Sürekli sensör veri akış uygulamaları, yüksek veri hızlarının yönetimi, veri güvenliği, işlevsel güvenlik sağlama ve çoklu sensörler arasındaki verileri senkronize etme gibi zorluklarla karşılaşmaktadır.

Holoscan Sensor Bridge Nedir?

Holoscan Sensor Bridge, düşük gecikmeli veri akışı ve kontrol için tasarlandı. Kullanıcı veri protokolü (UDP) kullanarak sensör verilerini Ethernet üzerinden doğrudan GPU belleğine aktarıyor. Bu, gecikmeyi ve CPU kullanımını azaltıyor. NVIDIA ConnectX SmartNIC’ler ve kamera üzerinden Ethernet teknolojileri ile optimize edilerek, video, kenar AI ve robotik için gerçek zamanlı işleme sağlıyor. HSB, brüt sensör verilerini Holoscan SDK’sına yönlendirerek, elde etmeden çıkarıma ve görselleştirmeye kadar birleşik bir hat sağlıyor.

HSB’nin Temel Özellikleri ve Faydaları

Holoscan Sensor Bridge, geliştiricilerin performanstan ödün vermeden geliştirme sürelerini hızlandırmasına olanak tanır.

1. Ultra Düşük Gecikme: Sensörlerden gelen verilerin işlenip aktarılması sırasında gecikmenin minimumda olması, insansı robotlar, otonom araçlar ve tıbbi görüntüleme gibi gerçek zamanlı veri işleme gerektiren uygulamalar için kritik önemde.
2. Kullanım Kolaylığı: Yazılım tanımlı mimari, FPGA programlama uzmanlığına ihtiyaç duymadan kolay bir şekilde dizilimi ve API programlamayı mümkün kılar. Bu, farklı sensörler için sensör yazılım geliştirmeyi hızlandırır.
3. Ölçeklenebilirlik: Çok modlu sensör entegrasyonu ile kullanıcılar büyük veri hacimlerini yönetebilir. HSB IP, 100 Mbps’den 100 Gbps’ye kadar bant genişliği destekler ve özelleştirilebilen yapılandırma parametreleri sunar.
4. Güvenlik ve Emniyet: Redundans, arıza tespiti, filigranlama ve Mac SEC desteği gibi özellikler içerir; bu da SIL 2 seviyesinde bir güvenlik sağlamaya yardımcı olur.

Holoscan Sensor Bridge Yazılımına Giriş

NVIDIA Holoscan SDK ile geliştiriciler, modüler operatörleri özelleştirilebilir boru hatlarına birleştirerek yüksek performanslı akış uygulamaları geliştirebilir. Holoscan Sensor Bridge ana yazılımı, ağ bağlantılı sensörlerden veri işleyerek, görüntü dönüştürme, sinyal işleme, çıkarım ve görselleştirme gibi görevler için hazır operatörler kullanarak özel boru hatları oluşturmanıza olanak sağlar. Sensör nesneleri, yapılandırma ve izleme için aygıt spesifik API’ler sunarak, farklı sensörler ve uygulamalar için boru hatlarını adapte etmeyi kolaylaştırır.

Holoscan uygulamaları, ana uygulama sınıfını bölerek ve yapılandırma yönteminde veri boru hattını tanımlayarak yapılandırılmıştır. Gerekli operatörleri birbirine bağlar. Platform esnek ve açıktır: benzersiz gereksinimleri karşılamak için operatörleri özelleştirip değiştirebilirsiniz.

HSB ile Görüntü Sensörlerinde Performans Artışı

Modern gömülü kenar sistemleri, farklı arayüzlere sahip, yüksek çözünürlük, hızlı kare hızları, düşük gecikme ve hassas senkronizasyon gerektiren kameralar talep etmektedir. HSB, USB kameralarına göre 5 kat daha düşük gecikme ile ve MIPI kameralarına göre 1.5 kat daha düşük gecikme sunarak, camdan cama gecikmeyi 17 ms kadar azaltmaktadır. RDMA ve kameralar üzerinden Ethernet kullanarak, verinin GPU belleğine doğrudan aktarımını gerçekleştirmekte ve neredeyse sıfır CPU kullanımı ile daha hızlı yanıt süreleri ve gerçek zamanlı işletim sağlamaktadır. HSB v2.0 sürümü ile geliştiriciler, en son araçları kullanarak belirli kullanım senaryolarındaki gecikmeyi doğru bir şekilde ölçebilirler.

Geleneksel mobil endüstri işlemci arayüzü (MIPI) kameraları ile bir Argus kamera boru hattı, genellikle birden fazla çekirdek uzay sürücüsü gerektirmekte, veriyi CPU belleğine gönderip ardından GPU belleğine iletmektedir. HSB ile geleneksel çekirdek uzay sürücüleri, kullanıcı uzayı API’leri ile değiştirilmiştir; bu da geliştiricilerin kamera ve kontrol işlevleri için ayrı sürücüler oluşturmasını gereksiz hale getirmiştir.

Bu sadeleştirilmiş yaklaşım, geliştiricilerin uygulama mantığına odaklanmasına olanak tanırken, aynı zamanda esneklik sunarak, NVIDIA CUDA tabanlı ISPlere, HSB donanımındaki yazılım ISP uygulamalarına veya NVIDIA Jetson AGX ve NVIDIA IGX’nin dahili ISPlere entegrasyon sağlar. Bu, HSB boru hatlarının çeşitli yapılandırma seçeneklerine nasıl uyum sağlayabileceğini göstermektedir.

Farklı ISP seçeneklerini kullanma üzerine referans örnekleri, kullanıcı kılavuzunda bulunabilir:

• GPU tabanlı CUDA ISP örneği, HSB Pipeline’a bir CUDA tabanlı ISP’yi nasıl bağlayacağınızı gösterir.
• Jetson donanım ISP örneği, HSB Pipeline’a NVIDIA Jetson Donanım ISP’yi bağlamayı gösterir.

Çoklu Sensör Zaman Senkronizasyonu:

HSB’nin bir diğer önemli özelliği, Hassas Zaman Protokolü (PTP) desteğidir. IEEE 1588-2019 standardına dayanan bu özellik, Sensor Bridge’in iç saatini ana sistemle senkronize eder ve her sensör verisinin elde ediliş anında kesin bir şekilde zaman damgalanmasını sağlar. Senkronizasyonda 1 mikro saniye içinde ve genellikle 100 nanosekundan daha yüksek bir hassasiyetle senkronizasyon başarır; bu da onu tıbbi görüntüleme, robotik ve otonom sistemler gibi yüksek performans gerektiren uygulamalar için son derecede uygun hale getirir. Kesin zaman damgaları sayesinde, her sensör olayının ne zaman meydana geldiğini takip edebilir ve birden fazla kaynaktan gelen verileri güvenli bir şekilde hizalayıp dağıtılmış sistemlerde güvenilir koordinasyon sağlayabiliriz.

HSB Ekosistemi

HSB, bir sensör ile bilgi işlem teknolojisi platformu olarak, hızlı pazar erişimi için sensörler, donanımlar ve hizmet ortakları ile canlı bir ekosistem sunmaktadır. Sensör ortakları, HSB destekli geniş bir üretim hazır kameralar ve sensör çözümleri sunarak, gerçek zamanlı performans ve yüksek bant genişliği işleme sağlamaktadır. Donanım ortakları, düşük gecikmeli, esnek sensör konfigürasyonları ve arayüzleri ile hızlı bir şekilde özel bağlantılar tasarlamak için FPGA tabanlı değerlendirme kartları sunar. Hizmet ortakları, NVIDIA Holoscan yazılım API’lerini kullanarak AI çözümleri ve sensör entegrasyonu uygulama konularında uzmanlaşmıştır.

Hızlı ve doğru sensör veri analizi, tıbbi görüntüleme ve teşhis alanlarında devrim yaratıyor. Holoscan Sensor Bridge, endoskoplar, cerrahi robotlar ve radyoloji alanlarında gerçek zamanlı analiz gücü sağlıyor. Virtual Incision gibi şirketler, HSB’yi kamera geliştirmede hız kazanmak için kullanıyor. Virtual Incision’dan CTO Shane Farritor, “Holoscan Sensor Bridge ile kamera geliştirme ve dağıtım sürecimizi devrim niteliğinde değiştirebildik. Verilog yerine Python ve C kodu kullanabilmek, geliştirme süremizi haftalardan haftalara kısaltarak büyük bir fark yarattı.” şeklinde ifade ediyor.

Yazılım tanımlı radyo, 6G ve test ve ölçüm uygulamalarında, analog sensörlerin yanı sıra veri dönüştürücüler de büyük önem taşımaktadır. Holoscan Sensor Bridge, bu sensörleri GPU’lara bağlayarak, hızlı ve etkili sinyal işleme için NVIDIA IGX GPUDirect RDMA’dan yararlanmaktadır.

Holoscan Sensor Bridge ile Başlarken

NVIDIA, Holoscan Sensor Bridge ile kullanıcıların başlangıç yapmasına yardımcı olacak kapsamlı belgeler, geliştirici kitleri ve referans örnekleri sunmaktadır. Holoscan Sensor Bridge’i keşfetmek için:

1. NVIDIA Jetson AGX Orin Geliştirici Kiti veya NVIDIA IGX Orin Geliştirici Kiti edinin.
2. HSB için donanım ortaklarımızdan Holoscan Sensor Bridge değerlendirme kartları ile başlayın. Lattice (HSB FPGA IP) ve Microchip (HSB FPGA IP) ile tanışın.
3. HSB yazılımını ve HSB kullanıcı kılavuzunu indirin.
4. HSB sensör ekosistemimizden tam entegre HSB sensörlerini nasıl kullanacağınızı izleyin:
   1. Leopard görüntü işleme için Jetson AGX Orin’e bağlanmış 5.1 MPixel derinlik stereo HSB kamerasını tanıtıyor.
   2. Econ, küçük form faktörlü HSB kamerasını Jetson AGX Orin’e bağlamayı gösteriyor.
   3. D3, HSB üzerinden Jetson AGX Orin’e bağlanmış IP69 dayanıklı bir kamerayı, bir görüntü dil modeli çalıştırırken sergiliyor.
   4. YUAN, HSB’yi çoklu modları (HDMI, SDI ve analog sinyaller) içeren tıbbi cihaz entegrasyonu için kullanmaktadır.
5. HSB ile ilgili daha fazla bilgi edinmek için Ridge Run: Holoscan Sensor Bridge ile Gecikmeyi İyileştirme adlı eğitimi inceleyin.

AI, robotik, dijital ikizler ve gelişmiş simülasyon teknolojileri ile endüstriyel otomasyonu daha akıllı, daha güvenli ve daha verimli hale getirdiğimizin altını çizin GTC Paris‘da.

NVIDIA GTC Paris anahtarı etkinliğini izleyin ve GTC Paris oturumlarını keşfedin.

Gelişmelerden haberdar olmak için bültenimize abone olun ve NVIDIA Robotics’i LinkedIn, Instagram, X ve Facebook üzerinden takip edin.

NVIDIA dokümantasyonu ve YouTube kanallarında keşfedin ve NVIDIA Geliştirici Robotik forumuna katılın. Robotik yolculuğunuza başlamak için bugün ücretsiz NVIDIA Robotik Temeller kurslarına kaydolun.

NVIDIA Isaac kütüphaneleri ve AI modelleri ile fiziksel AI sistemleri geliştirin.