“NVIDIA Jetson Orin Nano Geliştirici Kiti’ne ‘Süper’ Yenilikler”

Generatif yapay zeka alanı hızla gelişmekte; her gün yeni büyük dil modelleri (LLM), görsel dil modelleri (VLM) ve görsel dil eylem (VLA) modelleri ortaya çıkmaktadır. Geliştiricilerin bu dönüşüm çağının ön saflarında kalabilmeleri için kuvvetli bir platforma ihtiyaçları vardır. Bu platform, buluttan kenara kadar en son modelleri sorunsuz bir şekilde dağıtabilmeli ve CUDA kullanarak optimize edilmiş çıkarım ile açık ML çerçevelerini desteklemelidir.

NVIDIA, robotik ve çok modlu ajanlar için generatif AI iş yüklerine yönelik yeni uygulamaları desteklemek amacıyla, NVIDIA Jetson Orin Nano Geliştirici Kitini bir yazılım güncellemesi ile yeniden tanıtmaktadır. Bu güncelleme, performansta 1.7 katlık bir artış sağlayarak 249 dolarlık oldukça uygun bir fiyatla sunulmaktadır. Bu olağanüstü performans artışı ve gelişmiş AI erişilebilirliği nedeniyle Jetson Orin Nano Geliştirici Kiti, NVIDIA Jetson Orin Nano Süper Geliştirici Kiti olarak yeniden adlandırılmaktadır.

Jetson Orin Nano Geliştirici Kiti, yalnızca bir yazılım güncellemesiyle Jetson Orin Nano Süper Geliştirici Kitine yükseltilebilir.

Yeni Jetson Orin Nano Süper Geliştirici Kiti

Jetson Orin Nano Süper Geliştirici Kiti, aşağıdaki geliştirmeleri sunmaktadır:

• 1.7 kat daha yüksek generatif yapay zeka modeli performansı.
• 67 Sparse TOPs, önceki 40 Sparse TOPs’tan önemli bir artış.
• 102 GB/s bellek bant genişliği, önceki 65 GB/s bant genişliğinden önemli bir sıçrama.
• 1.7 GHz CPU saat hızı, önceki 1.5 GHz’ten yükselmiştir.
• 249 dolarlık yeni fiyat, önceki fiyat 499 dolardı.

Jetson Orin Nano Süper Geliştirici Kiti, aynı donanım mimarisi ile, GPU, bellek ve CPU saat hızlarını artıran yeni bir güç modu ile bu performans artışını sağlamaktadır. Önceki tüm Jetson Orin Nano Geliştirici Kitleri, en son JetPack sürümüne yükseltilerek yeni güç modundan faydalanabilmektedir.

Jetson Orin Nano Süper Geliştirici Kiti Konfigürasyonu

Geniş Kapsamlı LLM, VLM ve ViT Çalışmaları

NVIDIA Jetson Orin Nano Süper Geliştirici Kiti, generatif yapay zeka yeteneklerini gömülü uygulamalara entegre etmek veya ulaşılabilir bir bilgisayarda en son generatif yapay zeka modellerini deneyimlemek isteyenler için performansıyla devrim niteliğindedir.

Büyük dil modelleri (LLM), görsel dil modelleri (VLM) ve görsel dönüştürücüler (ViT), yenilikleri tetikleyen dönüşümcü AI mimarileridir. Temel LLM’ler, dil işleme ve insan benzeri metin üretiminde mükemmel sonuçlar verir, NVIDIA Riva gibi akışkan konuşma tanıma ve sentez boru hatları ile birleştirildiğinde doğal insan/makine arayüzleri sağlar.

Küçük dil modelleri (SLM) ise, daha büyük modellerle rekabet edebilmek için tarama ve damıtma teknikleri ile hızla gelişmiştir ve genellikle 7B parametreden daha az boyutlarda gömülü uygulamalar için optimize edilmiştir.

Bugün açık LLM’lerin ve SLM’lerin, LLM ayrıştırma ve akıl yürütmeyi gerçek dünya sistemlerine bağlayan yapılandırılmış G/Ç ile ajans aracı kullanımı için eğitilmiş olması yaygındır.

LLM ince ayarları ve hafıza verimli LoRA’lar için destek, NVIDIA NeMo dahil birçok ML çerçevesinde iyileşmiştir ve SLM’lerin uygulamaya özel alanlarda uyum ve uzmanlık sağlamak için iyi bilinen tarifler sunmaktadır.

Görsel Dönüştürücüler (ViT), görüntü parçalarını gömme olarak tokenize ederek, görüntüler için Transformatörlerin gücünü kullanır ve temel görevler olan:

• Özellik çıkarımı
• Sınıflandırma
• Algılama
• Bölütleme
• Poz tahmini

ViT’ler, 3D nokta bulutları ve videolar gibi daha yüksek boyutlu modlara da genişleyerek, NVIDIA Cosmos Tokenizers kullanarak yaratıcı yeni hibrit modellerin geliştirilmesine olanak tanımaktadır. ViT’ler, ek ince ayar gerektirmeden çeşitli nesne sınıfları ve konu sınıflarına karşı dinamik çalışma zamanlı sorgularla açık kelime dağarcığı olan dil destekleri ile özel görsel yetenekleri birleştiren yeni hibrit modeller sunar.

VLM’ler (örneğin VILA), görsel ve metinsel modlar arasında köprü oluşturarak sahne betimlemelerini anlayabilir ve oluşturabilir; ilgi alanı nesnelerini tespit edebilir ve metni OCR ile çıkarabilir. Kullanıcıların görüntüler veya video dizileri hakkında sorgulara karşı çok modlu akıl yürütme uygulayabilirler.

VLM’ler, SLM’lerin yanı sıra, video izleme akışlarının uzaktan izlenmesinde esnek olay tabanlı uyarılar ve özetleme gibi kenar uygulamaları için giderek daha fazla ihtiyaç duyulmaktadır. Jetson Platform Servisleri üzerinden VLM İş Akışı gibi referanslarla desteklenen eğitim, gelişim ve uygulama yolları sağlanmaktadır.

Jetson Orin Nano Süper Kullanıcı Navigasyonu

Performans artışından yararlanmak için, SD Kart görüntüsünü JetPack SDK sayfasından indirin ve Başlangıç Kılavuzunu izleyin.

NVIDIA, artırılmış performans desteği ile JetPack 6.1 tabanlı bir SD kart görüntüsü yayınlamıştır. Jetson Orin Nano Geliştirici Kiti için artırılmış performansla JetPack 6.1‘i SDK Yöneticisini kullanarak da kurabilirsiniz. SDK Yöneticinizi güncellediğinizden emin olun ve kurulum sırasında JetPack 6.1 (rev. 1)‘i seçin.

JetPack ile çalışmaya başladığınızda, süper performansı açmak için aşağıdaki komutu kullanarak güç modunu değiştirin. Mod 2, maksimum güç modu olan MAXN modunu getirir.

sudo nvpmodel -m 2

Ayrıca, Ubuntu masaüstünün üst çubuğunun sağ tarafındaki Güç Modu Seçicini kullanarak güç modunu değiştirebilirsiniz.

Jetson Orin Nano Süper ile Galip Bir Tecrübe

NVIDIA, Jetson Orin Nano Geliştirici Kiti üzerinde generatif yapay zeka keşfetmek için çeşitli eğitimler ve önceden hazırlanmış kapsayıcılar sunmaktadır. Eğer robotik ile ilgileniyorsanız, LeRobot eğitimine göz atmayı unutmayın. Generatif AI sohbet botu oluşturmak isteyenler için özel bir eğitim bulunmaktadır.

Hugging Face LeRobot ile ortaklık kuran NVIDIA, açık AI platformu üzerinde robotik araştırmaları hızlandırmayı hedeflemektedir. LeRobotu Jetson Orin Nano Süper Geliştirici Kiti üzerinde çalıştırabilirsiniz. Bu uygulama, görsel girdiler ve önceki yörüngeleri kullanarak belirli bir görev için eylemleri tahmin eden generatif AI modellerini çalıştırır.

Generatif Yapay Zeka Sohbet Botu Deneyimi

Jetson Orin Nano Süper Geliştirici Kiti üzerinde bir generatif AI sohbet botu çalıştırabilirsiniz. Bu sohbet botu, Ollama ve Open WebUI ile birlikte çalışır. Kullanıcı deneyimini ve yetenekleri artıran, veri destekli bir içerik oluşturma (RAG) özelliği ile donatılmıştır.

Jetson AI Lab ile Gelişmiş Yetenekler

Jetson AI Lab, kenar cihazları için optimize edilmiş en son generatif yapay zeka teknolojilerini keşfetmek ve denemek üzere bir merkezdir.

NVIDIA, geliştiriciler ve iş ortaklarıyla iş birliği yaparak açık kaynak kenar AI ve robot öğrenimini ilerletmek amacıyla topluluk destekli bir ortam yaratmaktadır. Popüler makine öğrenimi çerçevelerine ve Jetson cihazlarda optimize edilmiş çıkarım mikro hizmetlerine olan geniş destek ile, en son araştırma yeniliklerini ve modellerini kolayca geliştirebilir ve dağıtabilirsiniz.

Jetson Orin Nano ve NX Serilerinde Yeni Performans Artışı

NVIDIA, Jetson Orin Nano ve Orin NX serilerindeki performansı da yenilemektedir. Küçük AI kameralarından büyük otonom makinelere kadar her kenar cihaz, generatif AI modellerini çalıştırmak için gerekli hesaplama yeteneğine ihtiyaç duymaktadır.

Aynı modül donanımıyla, farklı modüller arasında 1.7 kat artan performanstan yararlanabilirsiniz.

• Orin Nano serisi: GPU, CPU ve bellek üzerindeki frekanslarda ve performansta iyileştirmeler.
• Orin NX serisi: GPU ve DLA üzerindeki iyileştirmeler.

Generatif Yapay Zeka Geliştiricisi Olun

Jetson Orin Nano Süper Geliştirici Kiti, kenar bilişim için generatif AI geliştirmede öncü olmanın en iyi platformudur. Şimdi başlamanın ve gerçek dünya zorluklarıyla başa çıkmak için NVIDIA ile birlikte çalışan gelişmiş geliştiriciler ve araştırmacılardan oluşan dinamik bir topluluğa katılmanın tam zamanı!

Mevcut Jetson Orin Nano Geliştirici Kiti kullanıcıları, artırılmış performansın kilidini açmak için JetPack SDK’larını güncelleyebilirler.

Bizi takip etmek için bültenimize abone olun. LinkedIn, Instagram, X ve Facebook hesaplarımızı takip edin. Daha fazla bilgi için belgelerimizi keşfedin veya geliştirici forumlarımıza, Discord ve YouTube kanallarımıza katılın.