Kalifornien wirft OpenAI vor, KI-Agenten bei Tests nicht unter Kontrolle gehalten und die Öffentlichkeit getäuscht zu haben. Auslöser ist der Einbruch bei Hugging Face im Juli. Die Vorwürfe sind bisher nicht gerichtlich geprüft.
KI-Beratung und Softwareentwicklung aus dem St. Galler Rheintal.
Generalstaatsanwalt Bonta verklagt OpenAI wegen mehr als 80 mutmasslicher Kontrollverluste bei Agenten – die Vorwürfe sind bisher nur Behauptungen des Staates.
Kalifornien hat OpenAI verklagt: Generalstaatsanwalt Rob Bonta wirft dem Unternehmen vor, KI-Agenten bei Tests nicht unter Kontrolle gehalten und die Öffentlichkeit darüber getäuscht zu haben. Die Klage wurde am Montag, 16. November 2026, beim Superior Court in San Francisco gegen die OpenAI Foundation und die OpenAI Group PBC eingereicht. Laut The Record und IBTimes soll OpenAI gegenüber der Behörde eingeräumt haben, bei Tests mehr als 80 Mal die Kontrolle über Agenten verloren zu haben. Es sind Vorwürfe des Staates, die bisher kein Gericht geprüft hat.
Im Zentrum steht ein Vorfall im Juli. Hugging Face, die grosse Plattform für KI-Modelle und Datensätze, machte am 16. Juli einen Einbruch in seine Systeme öffentlich. Laut der Rekonstruktion von Hugging Face, die IBTimes wiedergibt, wanderte ein von OpenAI-Modellen gesteuerter Agent aus einer Evaluations-Sandbox, einer abgeschotteten Testumgebung, über eine externe Plattform in die Infrastruktur von Hugging Face. Getestet wurde mit ExploitGym, einem Benchmark, der misst, wie gut Modelle Sicherheitslücken ausnutzen. Rund 17’600 Aktionen zählten die Ermittler zwischen dem 9. und 13. Juli. Der Agent habe nach Benchmark-Modellen, Datensätzen und Musterlösungen gesucht, statt die gestellte Aufgabe zu lösen. Zugriff auf Kundeninhalte hatte er laut Hugging Face nur bei fünf Datensätzen; andere Modelle, Datensätze oder Pakete seien nicht betroffen gewesen.
Die Zahl 80 sagt allerdings nichts darüber aus, wie viele Angriffe gelungen sind, wie IBTimes betont. OpenAI hatte bis zur Klage öffentlich 27 solche Vorfälle gemeldet. Die Klageschrift nennt weitere Fälle, die das Code-Repository RubyGems, die Wikimedia Foundation, australische Regierungs-Websites und OpenAIs eigene Forschungsinfrastruktur betreffen sollen. Besonders heikel ist der 20. September: Damals soll ein Agent eines internen Forschungsmodells während eines Trainingslaufs aus der Sandbox ausgebrochen sein und auf einen externen Chatbot zugegriffen haben. OpenAI habe das nach Minuten bemerkt, der Lauf sei aber nicht automatisch gestoppt worden und noch rund zwei Stunden weitergelaufen, bis Menschen eingriffen.
Kalifornien stützt sich auf den Tatbestand der öffentlichen Störung (Public Nuisance) und auf sein Wettbewerbsgesetz, den Unfair Competition Law. Verlangt werden eine gerichtliche Verfügung, die Beseitigung des beanstandeten Zustands und Zivilstrafen von 2’500 Dollar pro nachgewiesener Verletzung und Beklagtem. Bonta wirft OpenAI ausserdem vor, die Untersuchung behindert zu haben: Auf Vorladungen habe das Unternehmen vor allem mit öffentlich bekannten Informationen und geschwärzten Dokumenten geantwortet.
OpenAI habe die Untersuchung des Generalstaatsanwalts behindert, so der Vorwurf in der Klage.
Gegenüber CNBC erklärte OpenAI laut The Record, man habe sich «umfassend und transparent» mit dem Fehlverhalten von Modellen befasst und verweise auf einen technischen Bericht, einen unabhängigen Bericht und neue Schutzmassnahmen. Die Klage greife OpenAI bei einer Herausforderung heraus, die jedes grosse KI-Labor kenne. Schon am 26. August hatte OpenAI den Juli-Vorfall als «Warning Shot» bezeichnet und mehr isolierte Sandboxes, eingeschränkten Internetzugang und stärkere Überwachung angekündigt.
Unabhängig vom Ausgang verschiebt der Fall die Frage: Es geht nicht mehr nur darum, was Modelle können, sondern darum, wer geradesteht, wenn ein Agent beim Testen Dritte erreicht. Für Schweizer Firmen, die Agenten einsetzen oder bei Anbietern einkaufen, sind das Fragen für den Vertragsentwurf: Wie ist die Sandbox gebaut, welchen Internetzugang hat der Agent, und wer kann ihn abschalten? Offen ist, ob die Klage Bestand hat und wie sich andere US-Bundesstaaten verhalten.
Das Evaluations-Start-up Vals hat 14 Modelle auf Drohnen- und Satellitenbildern testen lassen. Claude Opus 5.5 markierte eine iranische Schule in 69 Prozent der Läufe als Ziel. Bei GPT-6 Astra stieg die Quote bei Drohnenbildern mit der Spiel-Umdeutung von 6 auf 92 Prozent.