Mac Studio, DeepSeek gibi yapay zeka modellerini yerel olarak çalıştırmak için mükemmel bir sistem. Ancak, bunun için M3 Ultra modeline ve birçok yükseltmeye yatırım yapmaya hazırlıklı olmalısınız.
Apple’ın Silicon işlemcileri, makine öğrenimi uygulamaları için sunduğu özellikler sayesinde, AI uyumlu PC pazarında önemli bir konuma sahip. Yeni bir videoda, M3 Ultra Mac Studio’nun yapay zeka alanında çalışanlara oldukça fazla performans sunabileceği görülüyor.
Dave2D tarafından hazırlanan videoda, Apple’ın en hızlı Mac’i olan M3 Ultra Mac Studio test ediliyor. Ancak videoda gösterilen, donanımın sınırlarını keşfetmeye yönelik bir deneyim sunuyor, daha gündelik bir kullanım senaryosu değil.
Videoda gösterilen versiyon, 32 çekirdekli CPU, 80 çekirdekli GPU ve 32 çekirdekli Neural Engine içeren üst düzey M3 Ultra çipiyle donatılmış. Ayrıca, 512GB birleşik belleğe ve 819GB/s bellek bant genişliğine sahip.
Yerel LLM Kullanımı
İncelemede, modelin tipik video içerik oluşturma iş akışlarında büyük bir değişiklik yaratmadığına vurgu yapılıyor. Ancak, bellek miktarının büyüklüğü üzerine odaklanıyor. En belirgin kullanım durumu, bir LLM’yi yerel olarak çalıştırmak. Örneğin, hastanelerde hasta gizliliği nedeniyle verilerin yerinde tutulması, verileri dışarı göndermekten daha iyi bir seçenek.
Deney yapmak için, Deepseek-r1 modeli Mac Studio’da yerel olarak çalıştırıldı. Daha önce bu, 671 milyar parametreli modelin 400 gigabayttan fazla depolama ve 450 gigabayttan az video RAM gerektirmesi nedeniyle kolay değildi.
Apple Silicon’un birleşik bellek kullanması sayesinde, 512GB’lık üst seviye bellek yapılandırması modelin büyük dosya boyutunu kaldırabiliyor. Daha düşük parametreli versiyonları daha az bellekle çalıştırmak mümkün olsa da, en büyük Deepseek-r1 modelini kullanabilmek için en yüksek yapılandırma gerekmekte.
Gerçekten de, test sırasında macOS’un varsayılan olarak video belleği için kullanılabilecek bellek miktarını 384GB ile sınırladığı bulunmuş, bu nedenle testlerin başlaması için bunu aşmak gerekiyordu.
Model çalışmaya başladığında, Mac Studio, saniyede yaklaşık 17 ila 18 token ile sorguları işleyebildi. Bu, çoğu LLM kullanımı için uygun bir seviye.
Güç Tüketimi ve Performans
LLM performansı bir ilgi faktörü olsa da, başka bir önemli nokta da güç tüketimi. Bu modellerin çalıştırılması çok fazla kaynak gerektirebilir. Mac Studio’daki modelin kullanım sırasında 160 ila 180 Watt arası güç tükettiği gözlemlendi.
Bunlar çok gibi görünse de, aynı görevler için özel olarak tasarlanmış çoklu GPU’lara sahip bir PC ile karşılaştırıldığında oldukça küçük bir değer. Otipik bir sistemin enerji tüketiminin, Mac Studio’nunkinin on katı kadar olabileceği öne sürülüyor.
Çok Pahalı Bir Seçenek
M3 Ultra ile Mac Studio, LLM kullanımı ve geliştirme için harika bir seçenek gibi görünse de, önemli bir dezavantajı var: maliyet.
512GB seçeneği yalnızca üst düzey M3 Ultra çip için mevcut ve bu, temel modelin 3,999 dolarlık fiyatına 1,500 dolar ekliyor. 96GB bellekten 512GB’a geçiş yapmak ise 4,000 dolarlık bir ek masraf daha getiriyor, yani toplam maliyet 1TB depolama ile birlikte tam 9,499 dolar oluyor.
Yaklaşık 10,000 doları AI amacıyla bir Mac’e harcamak, çoğu insan için imkânsız. Ancak, maddi imkanları olan şirketler veya kuruluşlar, yerinde bir LLM çalıştırmak üzere M4 Ultra ile bir Mac Studio sahibi olmayı daha kolayca haklı çıkarabilirler.
Böyle işletmeler aynı zamanda bütçeleri varsa bir Mac kümesi oluşturmayı da düşünebilir.
