Meta $META, Muse Spark Open AI modelinin ağırlıklarını Perşembe günü yayımladı ve modeli, M5 Ultra çipli Apple $AAPL‘ın Mac Studio masaüstü bilgisayarlarında çalışacak şekilde optimize ettiğini belirtti.
Modelin toplam 816 milyar parametresi, bunların 42 milyarı aktif ve 1 milyon token’lık bir bağlam penceresi var; Meta bunu belirtti. Model kodlama ve ajan tabanlı işler için tasarlanmış durumda. Geliştiriciler ağırlıkları Hugging Face, Amazon $AMZN SageMaker AI, Google $GOOGL Cloud Model Garden ve Microsoft $MSFT Foundry Models üzerinden indirebilir. Meta modeli, birçok geliştiricinin ücretsiz kullanmasına olanak tanıyan sınırlı ticari koşullara sahip Muse Model Lisansı altında yayımlıyor.
Meta, modelin Apple’ın MLX çerçevesini kullanarak iki M5 Ultra Mac Studio’da çalıştığını söyledi. Her makine, GPU’sina birleştirilmiş belleğin en fazla 512GB’ını sağlayabilir.
Teknik bir yazıda, Apple modelin 4-bit biçimde yaklaşık 493GB bellek gerektiğini ve çıkarım sırasında gereken ek bellekle tek bir Mac Studio’ya sığmayacağını belirtti. Model, Thunderbolt kablolarıyla birbirine bağlanan makineler arasında bölünmek zorunda. Apple, dört Mac Studio’nun modelle saniyede 36’dan fazla token ürettiğini ve tensor paralelizasyonu kullanan iki makinenin ise saniyede yaklaşık 25 token ürettiğini söyledi. Apple ayrıca M5 Ultra’nın ilk token’a ulaşma süresinin bir önceki nesil M3 Ultra’dan en fazla 4,6 kat daha hızlı olduğunu belirtti.
Meta, ajan tabanlı iş akışlarını cihaz üzerinde Muse Code aracıyla test etti. Testler arasında açık kaynaklı Mastodon istemcisi Ice Cubes’e iOS değişiklikleri göndermek ve DaVinci Resolve’i kullanarak video anlarını bulup kesmek yer aldı.
Meta CEO‘su Mark Zuckerberg, X $TWTR üzerinde modelin “@johnternus ve Apple ile yapılan çalışmalar sayesinde yeni Mac Studio’larda harika çalıştığını” yazdı; bu sözler CNBC‘ye göre. Meta AI başkanı Alexandr Wang ise, birçok yüksek performanslı açık ağırlıklı modelin çoğu kişisel bilgisayarın üstesinden gelebileceğinin çok üzerine çıktığını ancak Mac Studio’ların Muse Spark Open’i gerçekçi kılabilecek kadar bellek sunduğunu söyledi; bu sözler de CNBC’ye göre.
M5 Ultra ve 256GB RAM ile donatılmış bir Mac Studio’nun fiyatı en az 10.799 dolar; bu da CNBC’ye göre. 512GB sürümü bu ay gelecek ve kullanıcıların birden fazla makineye ihtiyacı olacak.
Meta ve Apple, yıllarca süren ortak halka açık girişimlerin ardından Muse Spark Open’i Mac Studio’larda çalıştırmak için bir işbirliğini duyurdu. Apple’ın 2021’deki gizlilik değişiklikleri reklam hedeflemeyi kısıtladı ve Meta bunun sonucunda aldığı gelir kaybını 2022 için 10 milyar dolar olarak belirledi. Her iki şirketin temsilcileri de projenin daha yakın bir işbirliğinin başlangıcı olup olmadığını belirtmek istemedi.
Muse Spark Open, bu hafta başında tanıtılan kapalı Meta modeli Muse Wonder’dan daha gelişmiş değil. Wang, CNBC’ye “Bunlar geliştirdiğimiz veya yayımladığımız en yetenekli modeller değil” dedi.
Bu gelişme hakkında düşüncelerinizi, donanım deneyimlerinizi veya sorularınızı Topluluk Forumumuzda paylaşın.
Foruma Katıl & Yanıtla ➔
