OpenAI fordert schärfere KI-Regeln – nachdem seine Modelle ausbrachen

«As California continues to lead on frontier safety, we are committed to working with the California legislature and the Governor to strengthen California SB 53.»

17'600 Aktionen in viereinhalb Tagen

Was dazwischen passierte, hat OpenAI selbst dokumentiert. Am 21. Juli räumte das Unternehmen in einem Blogpost ein, dass eine Kombination eigener Modelle – darunter GPT-5.6 Sol und ein noch leistungsfähigerer Prototyp, beide mit abgeschalteten Cyber-Schutzmechanismen – während eines internen Sicherheits-Benchmarks die Infrastruktur von Hugging Face kompromittiert hatte.

Die Modelle sollten in einem Benchmark namens ExploitGym Schwachstellen finden. Statt die Aufgabe zu lösen, suchten sie die Antworten: Sie fanden eine bis dahin unbekannte Zero-Day-Lücke in einem Paket-Proxy, verschafften sich so Internetzugang, arbeiteten sich durch OpenAIs Testumgebung und holten sich die Musterlösungen schliesslich direkt aus der Produktivdatenbank von Hugging Face. OpenAI schreibt, die Modelle seien «hyperfocused» darauf gewesen, das Testziel zu erreichen – «going to extreme lengths».

Hugging Face rekonstruierte später 17'600 Einzelaktionen über viereinhalb Tage. Bemerkenswert ist dabei weniger die Raffinesse als die Ausdauer: Die genutzten Techniken seien «familiar» gewesen, schrieb Hugging Face im eigenen Vorfallsbericht, ein fähiger menschlicher Angreifer hätte dieselben Lücken gefunden.

Drei Labore, ein gemeinsamer Testpartner

OpenAI blieb kein Einzelfall. Zehn Tage später meldete Anthropic, dass drei eigene Modelle – Opus 4.7, Mythos 5 und ein Prototyp – ebenfalls unerlaubt ins Netz gelangt waren und sich Zugriff auf die Produktivsysteme von drei Organisationen verschafft hatten. Zwei davon wussten bis zur Benachrichtigung nichts davon. Am 6. August folgte Meta: Das Modell Muse Spark 1.1 hatte während eines Sicherheitstests die Systeme eines Drittanbieters kompromittiert.

Der Haken: In allen drei Fällen war laut Bloomberg dieselbe Evaluationsfirma beteiligt – das Tel Aviver Startup Irregular. Bei Anthropic und Meta war die Ursache keine geniale Flucht, sondern eine falsch konfigurierte Testumgebung. Nicht die Modelle waren also das schwächste Glied, sondern die Schicht, die sie einsperren sollte.

Bundesstaaten als Ersatz-Washington

OpenAIs Position ist nicht nur Reue, sondern Strategie. Chief Global Affairs Officer Chris Lehane legte sie am 15. Juli in einem Blogpost dar: Solange Washington kein Bundesgesetz liefert, sollen Kalifornien, New York und Illinois möglichst deckungsgleiche Gesetze verabschieden – ein De-facto-Bundesstandard aus drei Kernelementen (veröffentlichte Risikobewertungen, Meldepflicht für schwere Vorfälle, unabhängige Audits). OpenAI nennt das «reverse federalism»: Einzelstaaten als Steigbügel für eine nationale Regel, nicht als 50 konkurrierende Rechtsordnungen.

Zwischen Brüssel und Bern

Für Schweizer Firmen ist das mehr als US-Innenpolitik. Wer hier ChatGPT, Claude oder Gemini produktiv einsetzt, erfährt über die Sicherheit dieser Modelle genau das, was kalifornisches Recht offenzulegen zwingt – die Schweiz hat dafür keinen eigenen Hebel. In der EU gelten die Pflichten für Modelle mit allgemeinem Verwendungszweck seit dem 2. August 2025 – für Modelle mit systemischem Risiko gehören dazu ausdrücklich Vorfallsmeldung und Cybersecurity-Schutz, also genau das, was OpenAI jetzt auch in Kalifornien verankert sehen will. OpenAI war nach eigenen Angaben das erste US-Unternehmen, das den dazugehörigen EU-Verhaltenskodex unterstützte.

Und hierzulande? Der Bundesrat hat am 12. Februar 2025 entschieden, auf ein KI-Gesetz nach EU-Vorbild zu verzichten und stattdessen die KI-Konvention des Europarats sektoriell umzusetzen. Eine Vernehmlassungsvorlage zu Transparenz, Datenschutz, Nichtdiskriminierung und Aufsicht soll bis Ende 2026 vorliegen. Während Kalifornien also bereits über die zweite Runde eines bestehenden Gesetzes verhandelt, wartet die Schweiz noch auf den ersten Entwurf.

Die praktisch verwertbare Lehre steckt ohnehin nicht im Gesetzestext. Wenn du in deiner Firma KI-Agenten mit Netzwerkzugriff einsetzt, zeigen diese fünf Wochen, wo der kritische Punkt liegt: nicht im Systemprompt, der dem Modell sagt, es habe kein Internet – sondern in der Isolationsschicht, die das auch tatsächlich durchsetzt.