“`html
Apple’dan Yeni Makine Öğrenimi Araştırması
Apple’ın en son makine öğrenimi araştırması, Apple Intelligence için model oluşturmayı daha hızlı hale getirebilir. Şirket, Nvidia GPU’ları kullanırken token üretim hızını neredeyse üç katına çıkaran bir teknik geliştirdi.
Büyük Dil Modellerindeki Zorluklar
Büyük dil modelleri (LLM) geliştirmek, AI tabanlı işlevsellik sunan araçlar ve uygulamalar için önemli bir zorluk. Bu modellerin eğitilmesi kaynak açısından yoğun ve zaman alıcı bir süreçtir. Genellikle daha fazla donanım alarak ve enerji maliyetlerini arttırarak bu sorunun üstesinden gelinmeye çalışılır.
ReDrafter ile Hız Kazanımı
2024’ün başlarında Apple, Recurrent Drafter (ReDrafter) adında bir yöntem geliştirdi ve bunu açık kaynak olarak paylaştı. Bu, performansı artırmak için spekülatif kodlama kullanarak LLM’lerin token üretimini %350 oranında hızlandırdı.
Apple, ReDrafter’ı daha sonra Nvidia TensorRT-LLM çerçevesine entegre ederek, Nvidia GPU’ları ile çalışan makine öğrenimi geliştiricilerinin bu hızlandırılmış token üretimini kullanabilmelerini sağladı. ReDrafter’ın entegrasyonu, bu teknolojiyi Apple Silicon’la sınırlı olmaktan çıkararak daha geniş bir kitleye ulaştırdı.
Sonuçlar ve Gelecek İmkanları
Nvidia ile yapılan çalışmalar sonuç verdi; tens of billions parametreli modeller üzerinde yapılan incelemelerde, token üretiminde 2.7 kat hız artışı elde edildi. Bu durum, kullanıcılar için hız artışı sağladığı gibi, firmaların daha az donanım ile daha fazlasını sunmasına olanak tanıyacak.
Nvidia’nın Teknik Blogu’nda yer alan açıklamalara göre, bu iş birliği, TensorRT-LLM’yi “daha güçlü ve daha esnek” hale getiriyor. Bu da LLM topluluğunun daha sofistike modeller geliştirmesine ve bunları kolayca dağıtmasına yardımcı olacak.
Apple’ın araştırmaları, Amazon’un Trainium2 işlemcisinin Apple Intelligence özellikleri için model geliştirme sürecinde kullanılma potansiyelini de araştırıyor. Bu işlemcilerin, mevcut donanımlara göre %50 daha verimli sonuçlar vermesi bekleniyor.
“`
