“NVIDIA Blackwell Desktop’ta Unsloth ile Büyük dil modeli (LLM) Eğitimi ve Ölçeklendirme”

LLM’lerin (Büyük Dil Modelleri) ince ayarını yapma ve güçlendirme öğrenimi (RL) için gereken ileri düzey uzmanlık ve karmaşık iş akışları, pek çok kişi için erişilemez hale geliyor. Ancak açık kaynak Unsloth projesi, süreci basitleştirerek LLM özelleştirmelerini keşfetmeyi kolaylaştırıyor. NVIDIA Blackwell GPU’larının verimliliği ve yüksek verimi ile bir araya geldiğinde, bu kombinasyon LLM geliştirme erişimini demokratikleştiriyor ve daha geniş bir uygulayıcı topluluğunun yenilik yapmasına olanak tanıyor.

Unsloth Nedir?

Unsloth, LLM ince ayarı ve RL süreçlerini basitleştiren ve hızlandıran açık kaynak bir çerçevedir. Kendi özel Triton çekirdeklerini ve algoritmalarını kullanarak:

• %200 daha hızlı eğitim verimliliği
• %70 daha az VRAM kullanımı
• Hiçbir doğruluk kaybı olmadan

Popüler Llama, gpt-oss ve DeepSeek gibi modelleri desteklemekte ve artık NVIDIA Blackwell GPU’ları için NVFP4 hassasiyetiyle optimize edilmiştir. NVIDIA DGX Cloud AI ekibinin desteğiyle, Unsloth, GeForce RTX 50 Serisi, RTX PRO 6000 Blackwell Serisi ve NVIDIA GB10 tabanlı geliştirici çalışma istasyonları gibi tüketici GPU’larından, NVIDIA HGX B200 ve NVIDIA GB200 NVL72 gibi kurumsal sınıf sistemlere kadar geniş bir yelpazede erişilebilir hale geliyor. Bu sayede ince ayar işlemleri herkes için ulaşılabilir oluyor.

Unsloth, NVIDIA Blackwell Üzerinde Nasıl Performans Gösteriyor?

Unsloth benchmark’ları, NVIDIA Blackwell ile birlikte önemli kazançlar sağladığını göstermektedir. Diğer optimize edilmiş kurulumlarla, özellikle Flash Attention 2 ile karşılaştırıldığında:

• %200 artış eğitim hızında
• %70 VRAM azalması (70B+ parametre modelleri için bile)
• 12 kat daha uzun bağlam pencereleri

Bu sonuçlar, artık tek bir Blackwell GPU üzerinde 40 milyar parametreye sahip modellerin ince ayarının yapılabileceği anlamına geliyor.

Test kurulumu: 32 GB VRAM’e sahip NVIDIA GeForce RTX 5090 GPU, Alpaca veri seti, batch boyutu = 2, gradient birikimi = 4, rank = 32, QLoRA tüm lineer katmanlara uygulanmıştır.

NVIDIA GPU’larında Unsloth Kurulumu Nasıl Yapılır?

Unsloth kurulumu oldukça kolaydır. İster hızlı bir pip yüklemesi, ister izole bir sanal ortam, isterse de konteynerleştirilmiş Docker dağıtımı tercih edin. Aşağıdaki örnekleri GeForce RTX 50 Serisi gibi herhangi bir Blackwell nesil GPU’da deneyebilirsiniz.

pip install unsloth

20B Model Çalıştırma

Aşağıdaki örnek, gpt-oss-20b modelini çalıştırmanın görünümünü göstermektedir:

from unsloth import FastLanguageModel
import torch
max_seq_length = 1024
fourbit_models = [
    "unsloth/gpt-oss-20b-unsloth-bnb-4bit",
    "unsloth/gpt-oss-120b-unsloth-bnb-4bit",
    "unsloth/gpt-oss-20b",
    "unsloth/gpt-oss-120b",
] 
model, tokenizer = FastLanguageModel.from_pretrained(
    model_name = "unsloth/gpt-oss-20b",
    max_seq_length = max_seq_length,
    load_in_4bit = True,
    full_finetuning = False,
)

Docker Dağıtımı

Unsloth, önceden oluşturulmuş Docker imajı sunar. Bu, NVIDIA Blackwell GPU’ları üzerinde desteklenmektedir.

Docker konteynerinin çalışması için NVIDIA Container Toolkit‘ın sisteminizde yüklü olması gerekir. Aşağıdaki komutu çalıştırmadan önce, kendi bilgilerinizle doldurun:

docker run -d -e JUPYTER_PASSWORD="mypassword" 
  -p 8888:8888 -p 2222:22 
  -v $(pwd)/work:/workspace/work 
  --gpus all 
  unsloth/unsloth

İzole Bir Ortam Kullanma

Unsloth’u Python kullanarak kurmak için aşağıdaki komutları terminalden çalıştırabilirsiniz:

python -m venv unsloth
source unsloth/bin/activate
pip install unsloth

Dikkat: Sisteminizden dolayı, pip3 / pip3.13 ve python3 / python3.13 kullanmanız gerekebilir.

xFormers ile İlgili Sorunları Giderme

Eğer xFormers ile ilgili sorunlar yaşıyorsanız, kaynağından inşa edin.

Öncelikle mevcut xFormers’i kaldırın:

pip uninstall xformers -y

Ardından, klonlayıp inşa edin:

pip install ninja
export TORCH_CUDA_ARCH_LIST="12.0"
git clone --depth=1 https://github.com/facebookresearch/xformers --recursive
cd xformers && python setup.py install && cd ..

UV Kullanımı

Eğer uv kullanmayı tercih ediyorsanız, Unsloth’u yüklemek için şu komutu kullanın:

uv pip install unsloth

Unsloth, 20B ve 40B modellerinin yalnızca bir Blackwell GPU’da yerel olarak deneysel olarak çalıştırılmasına olanak tanırken, aynı iş akışları NVIDIA DGX Cloud ve NVIDIA Cloud Partner’lara tam taşınabilirlik sağlamaktadır. Bu, 70B+ modellerin ince ayarını yapmak için Blackwell GPU’larının kümeleri ile ölçek oluşturma ve güçlendirme öğrenimi ile kurumsal iş yüklerini, kodda tek bir değişiklik yapmadan gerçekleştirmek mümkün.

LLM Eğitim Koşullarını Dönüştürmeye Başlayın

Deneysel çalışmalardan üretime geçmek için NVIDIA DGX Cloud ve NVIDIA Cloud Partners, her ölçek için eğitim ve ince ayar yapma gücünü sunmaktadır. Bu, esnek hesaplama, kurumsal depolama ve gerçek zamanlı izleme ile tamamen yönetilen AI ortamlarında birleştirilir ve NVIDIA GPU’ları için optimize edilmiştir.

Unsloth’un kurucu ortağı Daniel Han’a göre, “AI, özel bir kulüp olmamalıdır. Bir sonraki büyük AI atılımı, öğrencilerden, bireysel araştırmacılardan veya küçük startuplardan gelebilir. Unsloth, onlara ihtiyaç duydukları araçları sağlamak için burada.”

Unsloth ile NVIDIA GeForce RTX 50 Serisi GPU, NVIDIA RTX PRO 6000 Blackwell Serisi GPU veya NVIDIA DGX Spark sisteminde başlayarak modelleri ince ayar yapabilirsiniz. Daha sonra, NVIDIA DGX Cloud veya bir NVIDIA Cloud Partner ile kesintisiz bir şekilde Blackwell GPU kümelerini kullanarak kurumsal sınıf güvenilirlik ve görünürlük elde edebilirsiniz. LLM’leri NVIDIA Blackwell GPU’ları ve Unsloth ile ince ayar yapma konusunda adım adım kılavuzu ve NVIDIA DGX Spark’ta yazılımı yüklemek için kontrol edin.