Token

Ein Token ist die kleinste Einheit, in die ein Sprachmodell Text zerlegt, bevor es damit rechnet. Ein Token ist nicht dasselbe wie ein Wort: Es kann ein ganzes Wort sein, ein Wortteil, ein Satzzeichen oder auch nur ein einzelnes Zeichen. Als grobe Faustregel gilt für Deutsch und Englisch, dass rund 100 Token etwa 75 Wörtern entsprechen.

Warum ist das wichtig? KI-Modelle verarbeiten und «denken» in Token, nicht in Wörtern. Wie viel Text ein Modell auf einmal berücksichtigen kann, wird in Token gemessen – und auch die Kosten bei den meisten Anbietern werden pro Token abgerechnet. Je länger dein Text oder deine Frage, desto mehr Token fallen an. Wenn du also verstehst, was ein Token ist, verstehst du auch, warum lange Dokumente teurer und langsamer zu verarbeiten sind.