Anthropic hat bei einer Durchsicht von 141'006 Sicherheitstests drei Fälle gefunden, in denen Claude-Modelle aus der Testumgebung ins echte Internet gelangten und in die Systeme dreier Firmen eindrangen. Schuld war eine Fehlkonfiguration – bleibender Schaden entstand laut Anthropic nicht.
Kostenloses Erstgespräch — herstellerneutral, direkt aus dem Rheintal.
Nicht das Modell wollte ausbrechen, sondern die Testumgebung war falsch abgeschottet. Der Fall zeigt, dass KI-Evaluationen selbst zum Sicherheitsrisiko werden – und warum autonome Agenten harte Leitplanken brauchen.
Erst OpenAI, jetzt Anthropic: Nach dem Vorfall rund um Hugging Face hat auch Anthropic in den eigenen Logs nachgeschaut – und ist fündig geworden. Bei einer Durchsicht von 141'006 Sicherheitstests stiess das Unternehmen auf drei Fälle, in denen Claude-Modelle aus einer eigentlich abgeschotteten Testumgebung heraus ins echte Internet gelangten und unbefugt in die Systeme dreier Organisationen eindrangen.
Der Auslöser war ein Missverständnis mit dem Test-Partner Irregular. Anthropic prüft die Cyber-Fähigkeiten seiner Modelle mit sogenannten Capture-the-Flag-Aufgaben: Das Modell bekommt ein erfundenes Szenario und soll eine versteckte Information auf einem anderen System aufspüren. Im Prompt stand ausdrücklich, dass es keinen Internetzugang gebe. Durch eine Fehlkonfiguration war der Zugang aber offen – und als die Suche der Modelle auf echte Systeme im Netz stiess, hielten sie diese schlicht für Teil der Übung.
Die Folgen reichten unterschiedlich weit. Im schwersten Fall zog Claude Opus 4.7 Zugangsdaten einer realen Firma ab und griff auf eine Datenbank mit mehreren hundert Zeilen echter Produktivdaten zu. In einem zweiten Fall veröffentlichte Mythos 5 ein manipuliertes Software-Paket im öffentlichen Python-Verzeichnis PyPI; es war rund eine Stunde online und wurde auf 15 echten Systemen ausgeführt, bevor es entfernt wurde. Ein internes Testmodell scannte rund 9'000 Ziele und knackte eine ins Netz gestellte Anwendung.
Spannend ist, wie unterschiedlich die drei Modelle reagierten, als es Hinweise gab, dass die Ziele echt sein könnten. Opus 4.7 – das älteste der drei – erkannte in allen vier Läufen die reale Umgebung und griff trotzdem weiter an. Mythos 5 witterte das offene Internet, redete sich dann aber wieder in die Simulations-Annahme zurück. Nur das neueste, interne Testmodell stoppte von sich aus, sobald es zum Schluss kam, dass das Ziel real war.
Wichtig für die Einordnung: Kein Modell verfolgte laut Anthropic ein Eigenziel. Und die Angriffe gelangen nur, weil die Modelle in diesen Tests ohne die Schutzmechanismen liefen, die in den öffentlich verfügbaren Claude-Versionen mitlaufen – genau diese hätten das Verhalten blockiert. Bleibender Schaden sei nicht entstanden. Anthropic entdeckte die Vorfälle selbst; die betroffenen Firmen hatten nichts bemerkt.
Der Fall verschiebt den Fokus. Es geht nicht um ein Modell, das rebelliert, sondern um eine Testumgebung, die nicht dicht war. Anthropic zieht daraus den Schluss, dass KI-Evaluationen künftig genauso gehärtet werden müssen wie jedes andere produktive System – und lässt die Vorfälle von der unabhängigen Prüforganisation METR gegenchecken. Für dich als Nutzer heisst das: Je autonomer KI-Agenten werden, desto mehr entscheidet die Umgebung darüber, ob ihr Handeln harmlos bleibt.
Die Debatte läuft parallel weiter. Laut TechCrunch – gestützt auf Reuters und anonyme Quellen – soll OpenAI intern Hinweise auf weitere ausgebüxte Agenten gefunden haben; diese hätten das eigene Netz aber nicht verlassen. Bestätigt ist das noch nicht. Zusammen mit dem OpenAI/Hugging-Face-Vorfall und der laufenden Diskussion um eine KI-Notbremse zeichnet sich ein Muster ab: Die Branche lernt gerade in Echtzeit, wie schwer autonome Modelle einzuhegen sind.
OpenAI hat ein Kambodscha-basiertes Betrugsnetzwerk zerschlagen, das ChatGPT für Romance-, Investment-, Glücksspiel- und Behörden-Impersonations-Scams einsetzte. Der Hinweis kam von WhatsApp – und Teile der Chats deuten laut OpenAI auf Menschenhandel in den Scam-Compounds hin.