Llama 3.3 70B Modeli Tanıtıldı
Meta, Llama ailesinin en yeni üyesi olan Llama 3.3 70B modelini duyurdu. Bu model, daha önceki en büyük model olan Llama 3.1 405B’ye göre daha düşük maliyetle benzer performans sunuyor.
Meta’nın Generatif AI’dan sorumlu VP’si Ahmad Al-Dahle, X platformunda yaptığı bir paylaşımda, bu metin bazlı modelin, en son post-training teknikleri kullanılarak geliştirildiğini belirtmiş ve core performansın önemli ölçüde iyileştirildiğini vurgulamıştır.
Rekabetin Gerisinde Kalmayacak
Al-Dahle, Llama 3.3 70B’nin Google’ın Gemini 1.5 Pro’su, OpenAI’nin GPT-4o’su ve Amazon’un yeni çıkış yapan Nova Pro’su gibi rakiplerine karşı üstün performans sergilediğini gösteren bir grafik paylaştı. Bu grafikte, dil anlama becerisini değerlendiren MMLU gibi birçok endüstri benchmark’ında daha iyi sonuçlar aldığı görülmektedir.
Llama 3.3’ü tanıtıyoruz — 70B’lik yeni modelimiz, 405B modelimizin performansını sunuyor ama daha kolay ve maliyet açısından daha verimli çalışıyor. Bu model, online tercih optimizasyonu gibi en son post-training teknikleri kullanarak core performansı iyileştiriyor…
— Ahmad Al-Dahle (@Ahmad_Al_Dahle) December 6, 2024
Açık Modellerle Hedef Büyütme
Llama 3.3 70B, Hugging Face gibi platformlardan indirilebilir ve Meta’nın açık modellerle AI alanında hakimiyet sağlamayı hedeflediğini gösteriyor. Ancak, Meta’nın kısıtlı kullanım şartları, belirli geliştiricilerin bu modelleri nasıl kullanabileceğini sınırlandırıyor. Örneğin, aylık 700 milyondan fazla kullanıcısı olan platformların özel bir lisans talep etmesi gerekiyor.
Yine de, Llama modellerinin kesin anlamda “açık” olmadığını belirtmek çoğu için önem taşımıyor; çünkü bu modeller 650 milyondan fazla indirme sayısına ulaşmış durumda.
Meta, Llama’yı içsel olarak da kullanıyor. Meta AI, tamamen Llama modelleri ile güçlendirilmiş durumda ve şu an yaklaşık 600 milyon aylık aktif kullanıcıya sahiptir. Meta CEO’su Mark Zuckerberg, Meta AI’nın dünyadaki en çok kullanılan AI asistanı olma yolunda ilerlediğini iddia ediyor.
Regülasyonlar ve Zorluklar
Llama’nın açık doğası, Meta için hem avantaj hem de dezavantaj olmuştur. Geçtiğimiz Kasım ayında, bir rapor, Çinli askeri araştırmacıların Llama modelini kullanarak bir savunma chatbotu geliştirdiğini iddia etti. Buna karşılık, Meta, Llama modellerini ABD savunma müteahhitlerine sunma kararı aldı.
Meta, ayrıca AB’nin AI Yasası ile uyum sağlama konusundaki kaygılarını dile getirdi. Bu yasa, AI için bir düzenleyici çerçeve oluştururken, Meta, yasanın uygulanmasının “çok öngörülemez” olduğunu ve açık model stratejilerine engel teşkil ettiğini belirtti.
AB regülatörleri, daha önce Meta’dan Avrupa kullanıcı verileri üzerinde eğitim çalışmalarını durdurmasını istemişti. Meta, bu talebe uyarak veri koruma yasalarıyla ilgili GDPR uyumunu gözden geçirmeye karar verdi.
Gelecek için Yatırımlar
Meta, Llama’nın gelecekteki nesillerinin eğitimi ve kullanımı için bilgisayar altyapısını artırmayı planlıyor. Şirket, Louisiana’da 10 milyar dolarlık bir AI veri merkezi inşa edeceğini duyurdu ve bu, Meta’nın bugüne kadarki en büyük AI veri merkezi olacak.
Zuckerberg, Meta’nın Q4 kazanç çağrısında, Llama 4’ü eğitmek için gerekli olan hesaplama gücünün Llama 3 için gerekli olanın 10 katı kadar olacağını ifade etti. Şirket, model geliştirme için 100,000’den fazla Nvidia GPU’yu sağlayarak rakipleriyle boy ölçüşen bir kaynak havuzuna sahip olmayı hedefliyor.
Generatif AI modellerinin eğitim süreci oldukça maliyetli. Meta’nın kapita harcamaları, yılın ikinci çeyreğinde yüzde 33 oranında artarak 8.5 milyar dolara ulaştı; bu da önceki yıl 6.4 milyar dolardan yüksektir. Bu artış, sunucular, veri merkezleri ve ağ altyapısına yapılan yatırımlardan kaynaklanmaktadır.
