“NVIDIA Jetson ve RTX Üzerinde Google DeepMind’in Gemma 3n Uygulamasını Çalıştırma”

Güncel Gelişmelerle NVIDIA’nın Gemma 3n Desteği

Bugün itibarıyla, NVIDIA, Gemma 3n’in genel kullanımını RTX ve Jetson cihazlarıyla desteklemeye başladı. Gemma, Google I/O’da Google DeepMind tarafından tanıtılan bir model olarak, multi-modal uygulamalar için optimize edilmiş yeni iki modeli barındırıyor.

Gemma 3n ile Gelen Yenilikler

Gemma’nın yeni versiyonu artık metin ve görsel yeteneklerinin yanı sıra ses yeteneklerini de içermektedir. Her bir bileşen, güvenilir araştırma modelleri ile entegre edilmiştir: Evrensel Ses Modeli ses için, MobileNet v4 görsel için ve MatFormer metin için kullanılmaktadır.

En büyük gelişme ise, Per-Lay Embeddings olarak adlandırılan bir yenilik. Bu teknoloji, parametrelerin RAM kullanımında önemli bir azalma sağlar. Gemma 3n E4B modeli, 8 milyar ham parametreye sahip olsa da, dinamik bellek kullanımı ile 4 milyar bir modelin boyutunda çalışabilmektedir. Bu özellik, geliştiricilerin kaynak sınırlı ortamlarda daha kaliteli bir model kullanmasına olanak tanır.

Jetson ile Robotik ve Kenar AI Desteklemek

Gemma ailesi, kenar uygulamalarını destekleyen NVIDIA Jetson cihazlarında gerçekten etkili bir şekilde çalışmaktadır. Hafif mimarisi ve dinamik bellek kullanımı, belirli kaynak sınırlı ortamlara uyum sağlamak için idealdir.

Jetson geliştiricileri, Gemma 3n Etki Yarışması‘na katılabilir. Bu yarışmanın amacı, bu teknolojiyi kullanarak erişilebilirlik, eğitim, sağlık hizmetleri, çevresel sürdürülebilirlik ve kriz yanıtı gibi alanlarda anlamlı ve olumlu bir değişim yaratmaktır. Toplamda 10.000 dolardan başlayan çeşitli nakit ödülleri, farklı teknolojileri kullanarak yapılan başvurular için sunulmaktadır.

Başlamak için, Gemma 3 Geliştirici Günü’nde sunulan canlı metin ve görüntü demosuna göz atabilir ve Gemma’yı yerel olarak dağıtmak için GitHub repository’si‘ni ziyaret edebilirsiniz.

NVIDIA RTX ile Geliştiricilerin ve AI Meraklılarının Olanakları

NVIDIA RTX AI PC’leri sayesinde geliştiriciler, Gemma 3n modellerini Ollama kullanarak kolayca dağıtabilir. AI meraklıları, RTX hızlandırmaları ile Gemma 3n modellerini en sevdikleri uygulamalarında kullanabilirler. Geliştiriciler, Gemma 3n’i hem RTX hem de Jetson cihazlarına birkaç basit adımla yerel olarak yayımlayabilirler:

1. Ollama’yı İndir ve Windows için kurulum yapın.
2. Bir terminal penceresi açın ve aşağıdaki komutları tamamlayın:

ollama pull gemma3n:e4b
ollama run gemma3n:e4b “Shakespeare’in Hamlet'ini özetle” 

NVIDIA, Ollama ile birlikte çalışarak NVIDIA RTX GPU’ları için performans optimizasyonları sağlıyor ve Gemma 3n gibi en son modellerin hızlandırılmasını sağlıyor. Ollama, bu model için arka planda Ollama motorunu kullanarak, GGML kütüphanesinden faydalanıyor. Daha fazla bilgi için NVIDIA’nın GGML kütüphanesine katkılarını öğrenebilirsiniz.

Veri İçin Özel Gemma Özelleştirmeleri

Geliştiriciler, Hugging Face‘den Gemma 3n modellerini kullanabilir ve açık kaynak olan NVIDIA NeMo Çerçevesi‘ni deneyebilirler. Bu çerçeve, Llama modellerinin post-training Llama modelleri için daha yüksek doğruluk elde etmeleri için kapsamlı bir çerçeve sunmaktadır. NeMo içindeki iş akışı, veri hazırlama, verimli ince ayar ve model değerlendirmesi gibi süreçleri kapsayan uçtan uca bir tasarıma sahiptir.

İş akışı şunları içerir:

• Veri Kürasyonu (NeMo Curator): NeMo, verileri hazırlamak için yüksek kaliteli veri setleri sunarak kaynağı ve filtrasyonu sağlayan araçlar sunar. Bu işlem, modelin girdisi için gereken veri kalitesini garanti eder.
• İnce Ayar (NeMo): Veriler hazırlandıktan sonra, NeMo Llama modellerinin verimli ince ayarını sağlar. Bu süreç, LoRA (Düşük Sıralı Uyarlama), PEFT (Parametre Verimli İnce Ayar) ve kapsamlı özelleştirme için tam parametre ayarı gibi çeşitli teknikleri destekler.
• Model Değerlendirme (NeMo Evaluator): İnce ayar işleminden sonra, NeMo Evaluator kullanılarak adapte edilen modellerin performansını özel testler ve standartlarla değerlendirmek için kullanılır.

Topluluk Modellerini Geliştirmek ve İş Birliği
NVIDIA, açık kaynak ekosistemine etkin şekilde katkıda bulunmaktadır ve yüzlerce projeyi açık kaynak lisansları altında yayımlamıştır. NVIDIA, AI saydamlığını teşvik eden ve kullanıcıların AI güvenliği ve dayanıklılığı konusundaki çalışmalarını paylaşmasına olanak tanıyan Gemma gibi açık modellere bağlıdır.

Bugün Başlayın!

Verilerinizi kullanarak, Gemma 3n E4B’yi NVIDIA hızlandırmalı platformda deneyin, NVIDIA API kataloğu‘ndan bir konteyner indirin veya RTX cihazlarınızda test edin.