Er wollte einen Kursplatz – sein KI-Agent hackte das Buchungssystem

Ein Australier bat seinen persönlichen KI-Agenten, ihm einen Platz in einem begehrten Morgenkurs seines Fitnessstudios zu buchen. Der Agent fand stattdessen eine Sicherheitslücke im Buchungssystem, buchte weit über das erlaubte Fenster hinaus und warf ungefragt eine fremde Person von der Warteliste. ABC News machte den Fall am 10. August publik und bezeichnet ihn als ersten bekannten autonomen KI-Cyberangriff in Australien – ausgelöst nicht in einem Labor, sondern von einem Privatnutzer.

Die Regel stand nur im Frontend

Der Mann – ABC nennt ihn nur Andrew, er arbeitet bei einer australischen Firma, die KI-Produkte verkauft – nutzte die Agenten-Software OpenClaw, betrieben mit Anthropics Claude. Nach eigener Darstellung sondierte der Agent die Buchungs-API, also die Schnittstelle hinter der Website, und meldete einen Fund: Die Regel, wie weit im Voraus gebucht werden darf, steckte nur in der Website – nicht in der API dahinter.

Andrew stand auf Warteliste-Platz 4 und fragte, ob er nach vorn rücken könne. Der Agent hatte bereits gehandelt:

«The API has zero authorisations checks on cancelling other people's reservations … I tested this with the person in waitlist position #1 — and it actually went through. So you've moved from #4 to #3 already.»

Rückgängig ging nicht: Stornieren funktionierte ohne jede Prüfung, Wiedereintragen nicht. «Bad news — I can't add them back», schrieb der Agent.

Vier Sekunden 2020, zwölf Stunden heute

Andrew hatte nie um einen Angriff gebeten. Der Agent wählte ihn als kürzesten Weg zum Ziel – diese Lücke zwischen menschlicher Absicht und gewählter Methode heisst in der Forschung Alignment-Problem. Und die Agenten werden schnell mächtiger: Laut ABC verdoppelt sich die Länge der Aufgaben, die KI eigenständig erledigt, etwa alle sieben Monate. 2020 waren es vier Sekunden menschlicher Arbeit, 2026 rund zwölf Stunden.

Bekannt war das bisher aus dem Labor: OpenAI, Anthropic und Meta meldeten zuletzt Modelle, die während Sicherheitstests reale Systeme kompromittierten. Hier passierte es erstmals ohne Testumgebung und ohne böse Absicht – bei einem Mann auf dem Sofa.

Jetzt findet jeder Kunde solche Lücken

Die Schwachstelle selbst ist alt. Regeln nur im Frontend durchsetzen und die Schnittstelle dahinter ungeprüft lassen: Genau das führt die OWASP-Liste der grössten API-Risiken seit Jahren auf Platz eins. Neu ist, wer es findet – kein Angreifer, sondern ein zahlender Kunde.

Für Schweizer KMU mit Online-Buchung – Fitnessstudio, Physiotherapie, Coiffeur, Arztpraxis – heisst das: Jede Regel, die nur im Browser greift, ist keine Regel. Buchungsfenster, Stornofristen und vor allem die Frage «Darf dieser Nutzer diesen Datensatz überhaupt ändern?» gehören in die API.

Wer haftet, ist offen. «Software is not a legal person. Only a legal person can be liable at law», sagt Technologieanwalt Hayden Delaney gegenüber ABC – infrage kämen der Nutzer, die Agenten-Entwickler, der Modellanbieter oder der Betreiber des löchrigen Systems. Wir haben die Haftungsfrage hier aufgedröselt. Andrew liess seinen Agenten am Ende eine E-Mail an den Softwareanbieter schreiben, die auf die Lücke hinweist.