Parameter sind die internen Stellschrauben eines KI-Modells, die während des Trainings justiert werden. Man kann sie sich als die «gelernten Werte» vorstellen, in denen das Wissen des Modells steckt. Ihre Zahl geht bei grossen Sprachmodellen in die Milliarden – daher das «Large» in Large Language Model.
Beim Training passt das Modell diese Parameter Schritt für Schritt so an, dass es Sprache immer besser vorhersagt. Grundsätzlich gilt: Mehr Parameter erlauben mehr Kapazität und oft bessere Leistung, machen das Modell aber auch grösser, langsamer und teurer im Betrieb. Die Zahl der Parameter ist ein gängiges Mass für die «Grösse» eines Modells, sagt aber nicht alles über die Qualität aus. Ein clever trainiertes kleineres Modell kann ein grösseres durchaus schlagen.