Eine GPU ist ein spezialisierter Computerchip, der ursprünglich für Grafik in Videospielen entwickelt wurde – heute aber das Rückgrat der KI bildet. GPUs können sehr viele Rechenoperationen gleichzeitig ausführen, und genau diese Art von paralleler Rechnung braucht das Training und der Betrieb grosser KI-Modelle.
Während ein normaler Prozessor (CPU) Aufgaben eher nacheinander abarbeitet, erledigt eine GPU tausende ähnliche Berechnungen parallel. Das macht sie ideal für die Matrixrechnungen hinter neuronalen Netzen. Der KI-Boom hat die Nachfrage nach leistungsfähigen GPUs explodieren lassen, weshalb sie teuer und zeitweise knapp sind.
Neben den GPUs von Nvidia gibt es zunehmend Alternativen: Googles TPUs (Tensor Processing Units) sind Chips, die von Anfang an nur für KI-Berechnungen gebaut wurden. Und immer mehr Firmen entwickeln eigene Chips – sogenanntes Custom Silicon –, um unabhängiger von Nvidia zu werden und Kosten zu senken. Wer über KI-Kosten spricht, spricht fast immer auch über diese Chips.