Mixture of Experts, kurz MoE, ist eine Bauweise für grosse KI-Modelle, bei der das Modell aus vielen kleineren Teilnetzen – den «Experten» – besteht. Für jede Anfrage wird nicht das ganze Modell aktiviert, sondern nur eine Handvoll passender Experten. Ein sogenannter Router entscheidet, welche Experten für die aktuelle Aufgabe zuständig sind.
Der Vorteil: Das Modell kann insgesamt sehr viele Parameter besitzen und damit viel Wissen speichern, muss aber pro Anfrage nur einen Bruchteil davon berechnen. Das macht MoE-Modelle schneller und günstiger im Betrieb als ein gleich grosses Modell, bei dem immer alles aktiv ist. Viele moderne Spitzenmodelle setzen deshalb auf diese Architektur. Für dich als Nutzer bleibt der Aufbau unsichtbar – spürbar ist er höchstens in besserer Geschwindigkeit und tieferen Kosten.