Meta öffnet Muse Spark: 816 Milliarden Parameter für Mac Studios

Meta hat am 15. Oktober mit Muse Spark Open ein Sprachmodell mit offenen Gewichten veröffentlicht: 816 Milliarden Parameter insgesamt, davon 42 Milliarden pro Token aktiv, dazu ein Kontextfenster von einer Million Token. Meta nennt es laut eigener Ankündigung das leistungsfähigste offene Modell aus den USA. Die Gewichte sind frei herunterladbar, doch wer das Modell zu Hause laufen lassen will, braucht rund ein Terabyte Arbeitsspeicher.

Ein Riese, von dem nur 5 Prozent arbeiten

Muse Spark Open ist ein sogenanntes Mixture-of-Experts-Modell. Vereinfacht gesagt wählt ein Router für jedes Wort-Stück (Token) nur wenige Spezialisten-Teile aus, statt das ganze Netz zu rechnen. Laut Hugging Face sind es 8 von 256 Experten pro Schicht. Deshalb sind von 816 Milliarden Parametern nur 42 Milliarden aktiv, also gut 5 Prozent. Das Modell versteht Text, Bilder, Audio und Video, antwortet aber nur mit Text. Meta zielt vor allem auf Programmieren und mehrstufige Agenten-Aufgaben.

Zwei Mac Studios statt Rechenzentrum

Meta zeigt eine Variante für Apple-Rechner: zwei Mac Studio mit M5-Ultra-Chip und je bis zu 512 GB gemeinsamem Speicher, verbunden über Apples MLX-Framework. Engadget rechnet vor, dass vier Geräte mit je 256 GB rund 38'000 Dollar kosten würden. Die 512-GB-Version hat Apple für «Ende Oktober» angekündigt, ohne Preis. Auf einem Mac M3 Ultra mit 512 GB lief laut Hugging Face eine stark komprimierte Fassung mit etwa 18 Token pro Sekunde. Stark komprimiert heisst: weniger Rechenaufwand, dafür geringere Genauigkeit.