NVIDIA’nın Jetson Orin Nano Super Developer Kit‘inin tanıtımı, küçük sınır cihazlar için üretken yapay zeka çağını başlattı. Yeni Super Mod ile geliştirici kitine %70’e varan bir performans artışı sağlandı ve bu, onu en uygun fiyatlı yapay zeka süper bilgisayarı haline getirdi.
JetPack 6.2, Jetson Orin Nano ve Jetson Orin NX üretim modüllerinin Super Mod desteği ile kullanılmasını sağladı. Bu sürüm, artan performansla, yeni ve mevcut robotik ile kenar yapay zeka uygulamaları için daha iyi bir değer ve daha düşük toplam sahip olma maliyeti sunuyor.
Bu yazıda, Super Mod’un detayları, yeni güç modları, popüler üretken yapay zeka modellerinin Jetson Orin Nano ve Orin NX modüllerindeki performans karşılaştırmaları, güncellenmiş dökümantasyon ve Super Mod’u destekleyen NPN ortakları hakkında bilgiler yer alıyor.
Yeni Güç Modları ile Performans Artışı
JetPack 6.2, Jetson Orin Nano ve Orin NX serilerinde, GPU, DLA belleği ve CPU saat hızlarını artırarak güç artışı sağladı.
| MODÜL | MEVCUT GÜÇ MODLARI (mevcut flaşlama yapılandırmalarıyla) |
YENİ GÜÇ MODLARI (sadece yeni flaşlama yapılandırmalarıyla) |
| NVIDIA Jetson Orin Nano 4GB | 7W, 15W | 10W, 25W,MAXNSÜPER |
| NVIDIA Jetson Orin Nano 8GB | 7W, 15W | 15W, 25W,MAXNSÜPER |
| NVIDIA Jetson Orin NX 8GB | 10W, 15W, 25W,MAXN | 10W, 15W, 20W, 40W,MAXNSÜPER |
| NVIDIA Jetson Orin NX 16GB | 10W, 15W, 25W,MAXN | 10W, 15W, 25W, 40W,MAXNSÜPER |
Jetson Orin Nano modülleri artık 25W moduna ve yeni sınırsız MAXN SÜPER moduna sahip. Benzer şekilde, Jetson Orin NX modülleri de daha yüksek bir 40W referans güç modunu ve sınırsız MAXN SÜPER modunu kullanabiliyor.
MAXN SÜPER, en yüksek çekirdek sayısını ve CPU, GPU, DLA, PVA ve SOC motorları için saat frekansını etkinleştiren sınırsız bir güç modudur. Bu modda toplam modül gücü, termal tasarım gücü (TDP) bütçesini aşarsa, modül düşük frekansa throttling yaparak daha düşük performans sağlıyor, bununla birlikte termal bütçe içinde kalıyor.
Uygulamanız ve ihtiyaçlarınız için güç tüketimi veya termal stabilite ile performans arasında doğru dengeyi bulmak için kendi özel güç modunuzu oluşturmanızı tavsiye ediyoruz.
Tablo 2, Jetson Orin Nano 4GB ve 8GB ile Jetson Orin NX 8GB ve 16GB’nin orijinal ve Süper Mod’daki ayrıntılı teknik özelliklerini karşılaştırıyor.
| ORIN NANO 4GB | ORIN NANO 4GB (SÜPER) |
ORIN NANO 8GB | ORIN NANO 8GB (SÜPER) |
ORIN NX 8GB | ORIN NX 8GB (SÜPER) |
ORIN NX 16GB | ORIN NX 16GB (SÜPER) |
|
| BEKLENEN YAPAY ZEKÂ PERFORMANSIINT8 | 20 TOPS (Seyrek)
10 TOPS (Yoğun) |
34 TOPS (Seyrek)
17 TOPS (Yoğun) |
40 TOPS (Seyrek)
20 TOPS (Yoğun) |
67 TOPS (Seyrek)
33 TOPS (Yoğun) |
70 TOPS (Seyrek)
35 TOPS (Yoğun) |
117 TOPS (Seyrek)
58 TOPS (Yoğun) |
100 TOPS (Seyrek)
50 TOPS (Yoğun) |
157 TOPS (Seyrek)
78 TOPS (Yoğun) |
| NVIDIA AMPERE GPU | 512 CUDA Çekirdekleri
16 Tensör Çekirdekleri 625 MHz 20/10 INT8 TOPs (S/D) 5 FP16 TFLOPs |
512 CUDA Çekirdekleri
16 Tensör Çekirdekleri 1020 MHz 34/17 INT8 TOPs (S/D) 8.5 FP16 TFLOPs |
1024 CUDA Çekirdekleri
32 Tensör Çekirdekleri 625 MHz 40/20 INT8 TOPs (S/D) 10 FP16 TFLOPs |
1024 CUDA Çekirdekleri
32 Tensör Çekirdekleri 1020 MHz 67/33 INT8 TOPs (S/D) 17 FP16 TFLOPs |
1024 CUDA Çekirdekleri
32 Tensör Çekirdekleri 765 MHz 50/25 INT8 TOPs (S/D) 13 FP16 TFLOPs |
1024 CUDA Çekirdekleri
32 Tensör Çekirdekleri 1173 MHz 77/38 INT8 TOPs (S/D) 19 FP16 TFLOPs |
1024 CUDA Çekirdekleri
32 Tensör Çekirdekleri 918 MHz 60/30 INT8 TOPs (S/D) 15 FP16 TFLOPs |
1024 CUDA Çekirdekleri
32 Tensör Çekirdekleri 1173 MHz 77/38 INT8 TOPs (S/D) 19 FP16 TFLOPs |
| CPU | 6X A78 1.5 GHz | 6X A78 1.7 GHz | 6X A78 1.5 GHz | 6X A78 1.7 GHz | 6X A78 2.0 GHz | 6X A78 2.0 GHz | 8X A78 2.0 GHz | 8X A78 2.0 GHz |
| DLA (S/D) | NA | NA | NA | NA | 20/10 INT8 TOPs | 40/20 INT8 TOPs | 40/20 INT8 TOPs | 80/40 INT8 TOPs |
| DRAM BW | 34 GB/s | 51 GB/s | 68 GB/s | 102 GB/s | 102 GB/s | 102 GB/s | 102 GB/s | 102 GB/s |
| MODÜL GÜCÜ | 7W 10W |
7W 10W 25W |
7W 15W |
7W 15W 25W |
10W 15W 20W |
10W 15W 25W 40W |
10W 15W 25W |
10W 15W 25W 40W |
Ayrıca, yeni güç modlarını kullanırken ürününüzün mevcut veya yeni termal tasarımının yeni teknik özellikleri karşılayacağından emin olun. Daha fazla bilgi için güncellenmiş Termal Tasarım Rehberi‘ne göz atın.
Güç Tahmin Aracının Güncellenmesi
NVIDIA’nın sunduğu Güç Tahmin Aracı, sistem parametrelerini değiştirerek kullanıcıların özel güç profilleri oluşturmasına yardımcı olan bir araçtır. GPU, CPU, DLA ve diğer bileşenler üzerindeki yük seviyelerini ayarlayarak tahmini güç tüketimi sağlamak için kullanılabilir. Bu araç, performans ve güç tüketimi arasında istenen dengeyi bulmak için optimal parametre ayarlarını oluşturmanıza yardımcı olur.
Super Mod desteğiyle güncellenmiş olan Güç Tahmin Aracı’nı kullanmanız ve yüksek performanslı uygulamalarla dağıtıma geçmeden önce pratikte doğrulamanız önerilir.
Üretken Yapay Zeka Modellerindeki Performans Artışı
JetPack 6.2 ile gelen Super Mod, Jetson Orin Nano ve Jetson Orin NX modüllerinde %100’e varan bir tahmin performansı artışı sağlıyor. En popüler büyük dil modelleri, görsel dil modelleri ve görsel dönüştürücüler üzerine karşılaştırmalar yapıldı.
Büyük Dil Modelleri
Aşağıdaki tablo ve grafik, Llama3.1 8B, Qwen2.5 7B ve Gemma2 2B gibi popüler büyük dil modellerinin Super Mod’daki performans karşılaştırmasını göstermektedir.
DNR, modül üzerindeki belleğin belirli bir modeli çalıştırmak için yeterli olmadığını belirtir. Model performansı, throttling davranışından etkilenebilir.
Tablo 3, Jetson Orin Nano 4GB üzerinde JetPack 6.2 ile gerçekleştirilen LLM performans kazanımlarını göstermektedir.
| Model | Orin Nano 8GB (orijinal) | Orin Nano 8GB (Süper Mod) | Performans Kazancı (x) |
| Gemma 2 2B | 11.40 | 18.60 | 1.64 |
| SmolLM2 1.7B | 23.00 | 35.80 | 1.56 |
Tablo 4, Jetson Orin Nano 8GB üzerindeki LLM performans kazanımlarını göstermektedir.
| Model | Orin Nano 8GB (orijinal) | Orin Nano 8GB (Süper Mod) | Performans Kazancı (x) |
| Llama 3.1 8B | 14.00 | 19.10 | 1.37 |
| Llama 3.2 3B | 27.70 | 43.10 | 1.55 |
| Qwen 2.5 7B | 14.20 | 21.80 | 1.53 |
| Gemma 2 2B | 21.5 | 35.0 | 1.63 |
| Gemma 2 9B | 7.20 | 9.20 | 1.28 |
| Phi-3.5 3.8B | 24.70 | 38.10 | 1.54 |
| SmolLM2 1.7B | 41.00 | 64.50 | 1.57 |
Tablo 5, Jetson Orin NX 8GB ile JetPack 6.2’deki LLM performans kazanımlarını göstermektedir.
| Model | Orin NX 8GB (orijinal) | Orin NX 8GB (Süper Mod) | Performans Kazancı (x) |
| Llama 3.1 8B | 15.90 | 23.10 | 1.46 |
| Llama 3.2 3B | 34.50 | 46.50 | 1.35 |
| Qwen 2.5 7B | 17.10 | 23.80 | 1.39 |
| Gemma 2 2B | 26.60 | 39.30 | 1.48 |
| Gemma 2 9B | 8.80 | 13.38 | 1.52 |
| Phi-3.5 3.8B | 30.80 | 41.30 | 1.34 |
| SmolLM2 1.7B | 51.50 | 69.80 | 1.35 |
Tablo 6, Jetson Orin NX 16GB ile JetPack 6.2’deki LLM performans kazanımlarını göstermektedir.
| Model | Orin NX 16GB (orijinal) | Orin NX 16GB (Süper Mod) | Performans Kazancı (x) |
| Llama 3.1 8B | 20.50 | 22.80 | 1.11 |
| Llama 3.2 3B | 40.40 | 45.80 | 1.13 |
| Qwen 2.5 7B | 20.80 | 23.50 | 1.13 |
| Gemma 2 2B | 31.60 | 39.00 | 1.23 |
| Gemma 2 9B | 10.56 | 13.26 | 1.26 |
| Phi-3.5 3.8B | 35.90 | 40.90 | 1.14 |
| SmolLM2 1.7B | 59.50 | 68.80 | 1.16 |
Görüntü Dil Modelleri
Super Mod’un performansını artırdığı bir diğer alan da görsel dil modelleridir. Aşağıda VILA1.5 8B, LLAVA1.6 7B ve Qwen2 VL 2B model performansları karşılaştırılmıştır.
DNR, modül üzerindeki belleğin belirli bir modeli çalıştırmak için yeterli olmadığını belirtir. Model performansı, throttling davranışından etkilenebilir.
Tablo 7, Jetson Orin Nano 4GB üzerindeki VLM performans kazanımlarını göstermektedir.
| Model | Orin Nano 4GB (orijinal) | Orin Nano 4GB (Süper Mod) | Performans Kazancı (x) |
| PaliGemma2 3B | 7.2 | 11.2 | 1.56 |
Tablo 8, Jetson Orin Nano 8GB üzerindeki VLM performans kazanımlarını göstermektedir.
| Model | Orin NX 16GB (orijinal) | Orin NX 16GB (Süper Mod) | Performans Kazancı (x) |
| VILA 1.5 3B | 0.7 | 1.1 | 1.51 |
| VILA 1.5 8B | 0.6 | 0.8 | 1.45 |
| LLAVA 1.6 7B | 0.4 | 0.6 | 1.38 |
| Qwen2 VL 2B | 2.8 | 4.4 | 1.57 |
| InternVL2.5 4B | 2.5 | 5.1 | 2.04 |
| PaliGemma2 3B | 13.7 | 21.6 | 1.58 |
| SmolVLM 2B | 8.1 | 12.9 | 1.59 |
Tablo 9, Jetson Orin NX 8GB üzerindeki VLM performans kazanımlarını göstermektedir.
| Model | Orin NX 16GB (orijinal) | Orin NX 16GB (Süper Mod) | Performans Kazancı (x) |
| VILA 1.5 3B | 0.8 | 1 | 1.25 |
| VILA 1.5 8B | 0.7 | 1.04 | 1.50 |
| LLAVA 1.6 7B | 0.5 | 1.2 | 2.54 |
| Qwen2 VL 2B | 3.4 | 4.8 | 1.41 |
| InternVL2.5 4B | 3 | 4.1 | 1.37 |
| PaliGemma2 3B | 17.1 | 23.9 | 1.40 |
| SmolVLM 2B | 9.7 | 14.4 | 1.48 |
Tablo 10, Jetson Orin NX 16GB üzerindeki VLM performans kazanımlarını göstermektedir.
| Model | Orin NX 16GB (orijinal) | Orin NX 16GB (Süper Mod) | Performans Kazancı (x) |
| VILA 1.5 3B | 1 | 1.3 | 1.23 |
| VILA 1.5 8B | 0.8 | 1 | 1.25 |
| LLAVA 1.6 7B | 0.6 | 0.7 | 1.07 |
| Qwen2 VL 2B | 4 | 4.8 | 1.20 |
| InternVL2.5 4B | 2.8 | 4.4 | 1.57 |
| PaliGemma2 3B | 20 | 23.8 | 1.19 |
| SmolVLM 2B | 11.7 | 14.3 | 1.22 |
Tüm VILA ve LLAVA modelleri INT4 hassasiyetiyle MLC kullanılarak çalıştırılırken, diğer modeller Hugging Face Transformers ile FP4 hassasiyetinde çalıştırıldı.
Görüntü Dönüştürücü Modelleri
Super Mod tüm bu performans artışlarını, popüler görüntü dönüştürücü modellerle (ViT) de sağlamaktadır. Aşağıda CLIP, DINO ve SAM2 gibi modellerin performans karşılaştırmaları gösterilmektedir.
DNR, modül üzerindeki belleğin belirli bir modeli çalıştırmak için yeterli olmadığını belirtir. Model performansı, throttling davranışından etkilenebilir.
Tablo 11, Jetson Orin Nano 4GB üzerindeki ViT performans kazanımlarını göstermektedir.
| Model | Orin Nano 4GB (orijinal) | Orin Nano 4GB (Süper Mod) | Performans Kazancı (x) |
| clip-vit-base-patch32 | 126.8 | 189.5 | 1.49 |
| clip-vit-base-patch16 | 63.2 | 112.4 | 1.78 |
| DINOv2-base-patch14 | 49.3 | 79.3 | 1.61 |
| SAM2 base | 2.5 | 3.8 | 1.54 |
| vit-base-patch16-224 | 62.4 | 103.3 | 1.66 |
Tablo 12, Jetson Orin Nano 8GB üzerindeki ViT performans kazanımlarını göstermektedir.
| Model | Orin Nano 8GB (orijinal) | Orin Nano 8GB (Süper Mod) | Performans Kazancı (x) |
| clip-vit-base-patch32 | 196 | 314 | 1.60 |
| clip-vit-base-patch16 | 95 | 161 | 1.69 |
| DINOv2-base-patch14 | 75 | 126 | 1.68 |
| SAM2 base | 4.4 | 6.3 | 1.43 |
| Grounding DINO | 4.1 | 6.2 | 1.52 |
| vit-base-patch16-224 | 98 | 158 | 1.61 |
| vit-base-patch32-224 | 171 | 273 | 1.60 |
Tablo 13, Jetson Orin NX 8GB üzerindeki ViT performans kazanımlarını göstermektedir.
| Model | Orin NX 8GB (orijinal) | Orin NX 8GB (Süper Mod) | Performans Kazancı (x) |
| clip-vit-base-patch32 | 234.0 | 361.1 | 1.54 |
| clip-vit-base-patch16 | 101.7 | 204.3 | 2.01 |
| DINOv2-base-patch14 | 81.4 | 160.3 | 1.97 |
| SAM2 base | 3.9 | 7.4 | 1.92 |
| Grounding DINO | 4.2 | 7.4 | 1.75 |
| vit-base-patch16-224 | 98.6 | 192.5 | 1.95 |
| vit-base-patch32-224 | 193.1 | 313.5 | 1.62 |
Tablo 14, Jetson Orin NX 16GB üzerindeki ViT performans kazanımlarını göstermektedir.
| Model | Orin NX 16GB (orijinal) | Orin NX 16GB (Süper Mod) | Performans Kazancı (x) |
| clip-vit-base-patch32 | 323.2 | 356.7 | 1.10 |
| clip-vit-base-patch16 | 163.5 | 193.6 | 1.18 |
| DINOv2-base-patch14 | 127.5 | 159.8 | 1.25 |
| SAM2 base | 6.2 | 7.3 | 1.18 |
| Grounding DINO | 6.2 | 7.2 | 1.16 |
| vit-base-patch16-224 | 158.6 | 190.2 | 1.20 |
| vit-base-patch32-224 | 281.2 | 309.5 | 1.10 |
Tüm ViT modelleri FP16 hassasiyeti kullanılarak NVIDIA TensorRT ile çalıştırılmıştır ve ölçümler FPS cinsindendir.
Jetson Orin Nano ve Jetson Orin NX ile JetPack 6.2’ye Başlamak
NVIDIA’nın Jetson ekosistemi, geliştirici kitini ve üretim modüllerini JetPack görüntüsüyle flaşlamak için çeşitli yollar sunmaktadır.
Jetson Orin Nano Geliştirici Kiti veya modüllere JetPack 6.2’yi yüklemek için aşağıdaki yöntemlerden birini kullanabilirsiniz:
- SD-Kart görüntüsü JetPack SDK sayfasından.
- SDK Yöneticisi, kurulum talimatlarına göre flaşlamak için.
- Flaşlama betiği, bootloader, kernel ve kök dosya sistemi için, Flaşlama Desteği üzerinden.
Yeni Flaşlama Yapılandırması
Yeni güç modları yalnızca yeni flaşlama yapılandırmasıyla kullanılabilir. Varsayılan flaşlama yapılandırması değişmemiştir. Yeni güç modlarını etkinleştirmek için flaşlama sırasında yeni yapılandırmayı kullanmanız gerekmektedir.
Flaşlama işlemi için kullanılacak yeni yapılandırma:
jetson-orin-nano-devkit-super.conf
JetPack 6.2’ye güncelledikten veya flaşladıktan sonra, aşağıdaki komutu çalıştırarak yeni elde edilen Süper Mod’u başlatın.
Jetson Orin Nano Modüllerindeki MAXN SÜPER mod:
sudo nvpmodel -m 2
Jetson Orin NX Modüllerindeki MAXN SÜPER mod:
sudo nvpmodel -m 0
Ayrıca, güç modlarını sayfanın sağ üst köşesindeki güç modu menüsünden de seçebilirsiniz.
Jetson AI Lab
Jetson AI Lab, kenar cihazlar için optimize edilmiş üretken yapay zeka teknolojileriyle keşif ve deneyler yapma merkezi olarak NVIDIA tarafından sunulmaktadır. Geliştiricilere destek olur ve yaklaşık 50 öğretici, önceden oluşturulmuş konteyner ve yerinde LLM, SLM, VLM, difüzyon politikaları ve konuşma modelleri dağıtmak için kaynaklar sunar.
Kesintisiz erişim sağlayarak, tüm seviyelerdeki geliştiricilerin yerel olarak üretken yapay zeka uygulamaları geliştirmelerine ve dağıtmalarına olanak tanır ve açık kaynak kenar yapay zeka ve robot öğrenimini geliştirir.
JetPack 6.2 ile güçlendirilmiş geliştirici kitinizle üretken yapay zeka dünyasına kolayca adım atın:
- Ollama with Open Web UI: Temel LLM uygulama örneği
- NanoOWL: Kesintisiz ViT modeli ile etkileşimli demo
- LeRobot: HuggingFace LeRobot ile fiziksel AI uygulaması
Güncellenmiş Dökümantasyon, Datasheet ve Tasarım Rehberleri
Yeni performans artışıyla birlikte aşağıdaki kaynaklar güncellenmiş olup, Jetson İndirme Merkezi’nden indirilebilir:
- Jetson Orin NX Modül datasheet’i
- Jetson Orin Nano Modül datasheet’i
- Jetson Orin NX Serisi ve Jetson Orin Nano Serisi Tasarım Rehberi
- Termal Tasarım Rehberi
Super Mod’a Hazır Jetson Ekosistem Ortakları
Müşteri dağıtımlarını desteklemek için, Jetson ekosistem ortakları çözümlerini bu artırılmış performansı destekleyecek şekilde geliştirdi.
| Kategori | Jetson ekosistem ortakları |
| ISV çözümleri | DeepEdge Edge Impulse RidgeRun Ultralytics |
| Donanım sistem ortakları | AAEON Advantech Aetina AIMobile ASUSTek Axiomtek Connect Tech Seeed Studio Syslogic Vecow Yuan High-Tech |
| Termal çözümler | Advanced Thermal Solutions Frore Systems |
NVIDIA Jetson Orin Yaşam Döngüsü ve Yol Haritası
Müşteri talebindeki artış nedeniyle NVIDIA, Jetson Orin ürün yaşam döngüsünü 2032 yılına kadar uzattığını açıkladı. Bu performans artırımı ile Jetson Orin Nano ve Orin NX serileri mevcut ve gelecekteki modeller için ideal platformlardır.
Gelecek olan JetPack 5.1.5 sürümü de Jetson Orin NX ve Jetson Orin Nano modülleri için Super Mod’u etkinleştirecektir. JetPack 5 ile geliştirme yapan geliştiriciler ve müşteriler, bu performans artışından faydalanacaklardır.
JetPack 6.2 ile Uygulama Performansınızı Artırın
JetPack 6.2, mevcut Jetson modüllerinde %100’e varan bir tahmin performansı artışı sağlayan devrim niteliğinde bir sürümdür. Ek maliyet olmadan uygulamalarınızı süper güçlendirmek için bu güncellemeyi kaçırmayın. JetPack 6.2’ye bugün geçin ve Jetson platformunuzun tam potansiyelini ortaya çıkarın.
Gelişmelerden haberdar olmak için bültenimize abone olun ve NVIDIA Robotics’i LinkedIn, Instagram, X ve Facebook’dan takip edin. Daha fazla bilgi için belgelerimize göz atın veya geliştirici forumlarımıza, Discord ve YouTube kanallarımıza katılın.
