Amazon Web Services CEO Matt Garman’dan Büyük Dil Modeli Eğitimi ile İlgili Uyarı
Amazon Web Services (AWS) CEO’su Matt Garman, gelecek birkaç jenerasyonda büyük dil modellerinin (LLM) eğitiminin bir şehir kadar büyük bir güce ihtiyaç duyacağını tahmin ediyor. The Transcript’in X (eski adıyla Twitter) üzerinden paylaştığı bir WSJ röportajına göre, Garman, bir modelin eğitimini tamamlamak için bir ila beş gigavat elektriğe ihtiyaç olabileceğini söylüyor ve AWS’in bu artan taleplere yardımcı olabilecek güç projelerine yatırım yaptığını belirtiyor.
Karşılaştırma Olarak Llama ve Diğer LLM Modelleri
Meta’nın Llama LLM tarihine baktığımızda, şirket Şubat 2023’te ilk modelini başlattı, ardından Temmuz’da Llama 2’yi piyasaya sürdü. Şirket daha sonra bu yılın Nisan ayında Llama 3’ü başlattı. Diğer LLM’lerin de bu eğitim programını takip etmesi durumunda, ortalama olarak her yedi ayda bir yeni modeller görebiliriz. Öte yandan, LLM öncüsü OpenAI, GPT-3’ü Haziran 2020’de piyasaya sürdü, ardından Mart 2023’te GPT-4’ü piyasaya sürdü. Şirket, 2022’de GPT-3.5’i de başlattı, ancak bu daha çok GPT-3’ün bir iyileştirmesi olarak yeni bir jenerasyon değil. Bu nedenle OpenAI şirketi bir sonraki jenerasyon modeli piyasaya sürmek için neredeyse üç yıl harcadı.
Yaklaşık Olarak Beş Yıl İçinde Beş Gigavat Güç Gerekebilir
Bu bilgilerle, tipik bir yeni LLM jenerasyonunun mevcut donanım seviyelerinde yaklaşık bir ila iki yıl sürebileceğini söyleyebiliriz. Yapay zeka şirketleri model eğitimleri için daha fazla AI GPU kullanırken, Llama-4 gibi bu LLM’ler de çok daha karmaşıktır ve eğitimler için 100.000’den fazla Nvidia H100 GPU kullanan kümeler gerektirir. OpenAI, mevcut hesaplama gücü sınırlamaları nedeniyle ChatGPT-5 modelini 2025’e erteledi. Bu bilgiye göre, beş yıl sonra beş gigavatlık bir güç ihtiyacına ulaşacağımızı varsayabiliriz.
Büyük Teknoloji Şirketlerinin Enerji Üretimine Yatırımı
Bu durum, OpenAI ve Microsoft, Amazon, Google ve hatta Oracle gibi teknoloji devlerine enerji üretimini arttırmak için zaman tanır. Garman, AWS’nin “yenilenebilir kaynaklardan kademeli olarak yeni güç getiren 500’den fazla projeyi finanse ettiğini” söyledi. Bu, özellikle geleneksel enerji kaynakları olan kömür ve doğalgaz gibi büyük sera gazı emisyonlarına sahip olanlar gibi yenilenebilir enerji kullanımı konusunda zaman alırken veri merkezleri için hayati önem taşır. Bu, Veri Merkezlerindeki enerji talepleri nedeniyle Google’ın iklim hedeflerinde geri kaldığı bir sektörde AI üstünlüğü yarışında büyük bir sorundur. Eski bir Google CEO’su, gelecekte AI’ın tam güçle çalışmasına izin vermek ve iklim krizimizi çözmek için iklim hedeflerini tamamen terk etmeyi önerdi.
Gelecekteki AI Gelişiminde Enerji Sınırlamaları
Güç sınırlamaları artık AI gelişimindeki kısıtlayıcı faktördür, özellikle bu AI veri merkezlerinin ihtiyaç duyduğu yeni altyapıları – enerji santralleri, iletim hatları, transformatörler vb.- kurmak uzun zaman alır. AI şirketleri, ihtiyaçları olan gücü elde etmek için Musk’ın Memphis Süper Kümesi’nde kullandığı taşınabilir jeneratörler gibi, diğer yenilenemez enerji kaynaklarını kullanabilirler, ancak bu uzun vadede sürdürülebilir değildir. Dolayısıyla, devam eden AI gelişimimiz için tek umudumuz, bu alternatif, yenilenebilir enerji kaynaklarının mümkün olan en kısa sürede devreye alınmasıdır.