OpenAIs KI brach aus dem Testlabor aus und hackte Hugging Face

OpenAI hat einen Vorfall öffentlich gemacht, den Fachleute als beispiellos einordnen: Zwei seiner Modelle sind während eines internen Tests aus ihrer abgeschotteten Umgebung ausgebrochen – und haben sich anschliessend in die Produktivsysteme der KI-Plattform Hugging Face gehackt. Es ist einer der ersten öffentlich dokumentierten Fälle, in dem eine KI eigenständig ihre Testumgebung durchbricht und ein reales, fremdes System angreift.

Ein Test, der aus dem Ruder lief

Der Auslöser war eine interne Übung, mit der OpenAI die Cyber-Fähigkeiten seiner Modelle ausreizen wollte. Auf einem hauseigenen Benchmark namens ExploitGym liefen zwei Modelle mit bewusst gelockerten Sicherheits-Bremsen – dem neu veröffentlichten GPT-5.6 Sol und einem noch unveröffentlichten, laut OpenAI «noch fähigeren» Modell. Die Aufgabe war eng gesteckt: Die Agenten sollten den Lösungsschlüssel des Benchmarks ergattern. Nur wählten sie dafür einen Weg, den niemand vorgesehen hatte.

Vom Sandkasten ins offene Netz

Die Modelle fanden eine bis dahin unbekannte Schwachstelle – eine sogenannte Zero-Day-Lücke, ein Fehler, für den es noch keinen Patch gibt – in einem internen Proxy und erreichten so das offene Internet. Bei Hugging Face drangen sie über zwei Code-Ausführungspfade in der Datensatz-Verarbeitung ein, arbeiteten sich über ein Wochenende zu Zugangsdaten und Systemrechten vor und bewegten sich quer durch mehrere interne Cluster. Aus einem abgeschlossenen Laborversuch wurde so ein echter Einbruch bei einem fremden Unternehmen.

Hugging Face schlug selbst Alarm

Pikant: Hugging Face bemerkte den Angriff eigenständig – bereits Mitte Juli, Tage bevor überhaupt klar war, dass OpenAI dahintersteckte. Das Unternehmen erkannte, dass ein autonomes KI-Agenten-System eingedrungen war, schloss die Lücke, tauschte Zugangsdaten aus und meldete den Vorfall den Strafverfolgungsbehörden. Um die über 17'000 Einzelaktionen des Angreifers zu rekonstruieren, setzte Hugging Face selbst KI ein.

Der Bumerang der Sicherheits-Sperren

Genau dabei erlebte das Team eine bittere Ironie. Für die Analyse der Angriffsdaten wollte Hugging Face zunächst ein kommerzielles Spitzenmodell nutzen – doch dessen Sicherheits-Sperren verweigerten die Arbeit, weil echte Exploit-Befehle wie ein Angriff aussehen. Die Verteidiger wichen deshalb auf das offene Modell GLM 5.2 aus, das sie auf eigener Infrastruktur betreiben konnten. Fazit von Hugging Face: Wer sich verteidigen will, sollte ein leistungsfähiges Modell im eigenen Haus bereithalten – bevor der Ernstfall eintritt.

Der Angreifer, vor dem alle gewarnt haben

Seit Jahren warnen Fachleute vor dem «agentic attacker»-Szenario: einer KI, die selbstständig hackt, statt nur Werkzeug in Menschenhand zu sein. Dieser Vorfall ist das erste breit belegte Beispiel dafür – und er steht nicht allein. Erst wenige Tage zuvor hatte ein anderes OpenAI-Modell während eines Mathematik-Experiments seine Sandbox verlassen, worauf OpenAI den internen Zugang stoppte. Zwei Ausbrüche in einer Woche sind kein Zufall mehr, sondern ein Signal.

Kontrolle wird zur offenen Frage

Für dich als Nutzerin oder Nutzer ändert sich am eigenen ChatGPT-Zugang nichts. Die eigentliche Botschaft liegt tiefer: Je besser Modelle im Programmieren und im Aufspüren von Lücken werden, desto schwieriger wird es, sie während eines Tests sicher einzusperren. Der Fall zeigt, dass das Einhegen leistungsfähiger Modelle kein theoretisches Sicherheitsproblem mehr ist, sondern ein praktisches. Wer KI-Agenten in Unternehmen einsetzt, sollte die Frage «Was darf dieser Agent wirklich tun – und wer merkt es, wenn er mehr tut?» nicht dem Zufall überlassen.