“Pentium II ve 128MB RAM ile Windows 98’de Llama 2 LLM’nin Açık Kaynak AI Gösterimi: Aşırı Koşullarda Yapay Zeka Deneyimi”

EXO Labs, 26 yıl önce üretilmiş bir Windows 98 Pentium II PC’de yapay zeka dil modeli LLM‘nin nasıl çalıştırılabileceğine dair detaylı bir blog yazısı kaleme aldı. Sosyal medyada paylaşılan kısa bir videoda, eski bir Elonex Pentium II @ 350 MHz cihazının Windows 98 işletim sistemine girdiği gösteriliyor. Ardından EXO, Andrej Karpathy’nin Llama2.c kaynak kodunu temel alan özel C programıyla LLM’ye Sleepy Joe hakkında bir hikaye yazmasını istiyor. Ve inanılmaz bir şekilde, hikaye oldukça makul bir hızda oluşturuluyor.

LLM running on Windows 98 PC

26 year old hardware with Intel Pentium II CPU and 128MB RAM.

Uses llama98.c, our custom pure C inference engine based on @karpathy llama2.c

Code and DIY guide 👇 pic.twitter.com/pktC8hhvva

— EXO Labs (@exolabs) December 28, 2024

Demokratik Erişim İçin Çalışmalar

EXO Labs’ın bu çarpıcı başarısı, kuruluşun nihai hedefinin yalnızca başlangıcı. Eylül ayında görünür hale gelen bu gizemli organizasyon, yapay zekaya erişimin demokratikleştirilmesine odaklanıyor. Oxford Üniversitesi‘nden bir ekip, EXO’yu kurarak, birkaç büyük şirketin yapay zekayı kontrol etmesini kültür, gerçeklik ve toplum için kötü bir durum olarak değerlendiriyor. EXO, “Sınır modellerini eğitmek ve herhangi bir insanın bunları her yerde çalıştırmasına olanak tanımak için açık bir altyapı oluşturmayı” amaçlıyor. Bu yaklaşım, sıradan insanların yapay zeka modellerini neredeyse her cihazda eğitip çalıştırabilmesini sağlamayı hedefliyor.

Eski Donanımın Yeniden Kullanımı

Bir eski Windows 98 PC’yi eBay’den almak, projenin temeli için kolay olsa da, EXO’nun aşması gereken birçok engel vardı. EXO, eski Elonex markalı Pentium II’ye veri yüklemenin zorluğundan bahsediyor ve dosyaları “iyi eski FTP” ile aktarmak zorunda kaldıklarını belirtiyor. Modern kodların Windows 98 için derlenmesi ise daha büyük bir zorluk oldu. EXO, Andrej Karpathy’nin llama2.c kütüphanesini bulduğu için mutlu oldu; bu kütüphane “700 satırlık saf C kodudur ve Llama 2 mimarisi ile modellerde çıkarım yapabilir.” Bu kaynak ile eski Borland C++ 5.02 IDE ve derleyici kullanılarak kod, Windows 98 uyumlu bir yürütülebilir dosyaya dönüştürülebildi. Kodun tamamına GitHub’dan buradan ulaşabilirsiniz.

Llama Yetenekleri ve Gelecek Vizyonu

EXO’dan Alex Cheema, Andrej Karpathy’ye kodu için teşekkür etti ve “Windows 98’de 35,9 tok/saniye” hızla çalışan bir 260K LLM ile mükemmel bir performans sergilediğini vurguladı. LLM’nin küçük olmasına rağmen, bu hız, 350 MHz’lik tek çekirdekli bir PC’de oldukça makuldür. EXO bloguna göre, 15M LLM’ye geçildiğinde, hız 1 tok/saniyeden biraz fazlaya düşmektedir.

EXO, gelecekteki BitNet projesinden de bahsediyor. BitNet, ternary ağırlıklar kullanan bir transformator mimarisidir; bu mimari sayesinde 7B parametreli bir model yalnızca 1.38 GB depolama alanına ihtiyaç duyar. Ayrıca BitNet, CPU öncelikli bir modeldir, bu da pahalı GPU gereksinimlerinden kaçınmayı sağlıyor.

Sonuç olarak, EXO Labs, yapay zekanın geleceğinin, zenginlerle ve mega şirketlerle sınırlı olmasını istemeyenler için yardım arayışında olduklarını belirtiyor. Eğer siz de bu misyona katkıda bulunmak istiyorsanız, EXO ile Discord Retro kanalları üzerinden iletişime geçebilirsiniz.