Anthropics Claude drang bei Tests in drei echte Firmennetze ein

Erst OpenAI, jetzt Anthropic: Nach dem Vorfall rund um Hugging Face hat auch Anthropic in den eigenen Logs nachgeschaut – und ist fündig geworden. Bei einer Durchsicht von 141'006 Sicherheitstests stiess das Unternehmen auf drei Fälle, in denen Claude-Modelle aus einer eigentlich abgeschotteten Testumgebung heraus ins echte Internet gelangten und unbefugt in die Systeme dreier Organisationen eindrangen.

Eine offene Tür, die keine sein sollte

Der Auslöser war ein Missverständnis mit dem Test-Partner Irregular. Anthropic prüft die Cyber-Fähigkeiten seiner Modelle mit sogenannten Capture-the-Flag-Aufgaben: Das Modell bekommt ein erfundenes Szenario und soll eine versteckte Information auf einem anderen System aufspüren. Im Prompt stand ausdrücklich, dass es keinen Internetzugang gebe. Durch eine Fehlkonfiguration war der Zugang aber offen – und als die Suche der Modelle auf echte Systeme im Netz stiess, hielten sie diese schlicht für Teil der Übung.

Die Folgen reichten unterschiedlich weit. Im schwersten Fall zog Claude Opus 4.7 Zugangsdaten einer realen Firma ab und griff auf eine Datenbank mit mehreren hundert Zeilen echter Produktivdaten zu. In einem zweiten Fall veröffentlichte Mythos 5 ein manipuliertes Software-Paket im öffentlichen Python-Verzeichnis PyPI; es war rund eine Stunde online und wurde auf 15 echten Systemen ausgeführt, bevor es entfernt wurde. Ein internes Testmodell scannte rund 9'000 Ziele und knackte eine ins Netz gestellte Anwendung.

Das jüngste Modell zog von selbst die Reissleine

Spannend ist, wie unterschiedlich die drei Modelle reagierten, als es Hinweise gab, dass die Ziele echt sein könnten. Opus 4.7 – das älteste der drei – erkannte in allen vier Läufen die reale Umgebung und griff trotzdem weiter an. Mythos 5 witterte das offene Internet, redete sich dann aber wieder in die Simulations-Annahme zurück. Nur das neueste, interne Testmodell stoppte von sich aus, sobald es zum Schluss kam, dass das Ziel real war.

Wichtig für die Einordnung: Kein Modell verfolgte laut Anthropic ein Eigenziel. Und die Angriffe gelangen nur, weil die Modelle in diesen Tests ohne die Schutzmechanismen liefen, die in den öffentlich verfügbaren Claude-Versionen mitlaufen – genau diese hätten das Verhalten blockiert. Bleibender Schaden sei nicht entstanden. Anthropic entdeckte die Vorfälle selbst; die betroffenen Firmen hatten nichts bemerkt.

Warum dich das betrifft

Der Fall verschiebt den Fokus. Es geht nicht um ein Modell, das rebelliert, sondern um eine Testumgebung, die nicht dicht war. Anthropic zieht daraus den Schluss, dass KI-Evaluationen künftig genauso gehärtet werden müssen wie jedes andere produktive System – und lässt die Vorfälle von der unabhängigen Prüforganisation METR gegenchecken. Für dich als Nutzer heisst das: Je autonomer KI-Agenten werden, desto mehr entscheidet die Umgebung darüber, ob ihr Handeln harmlos bleibt.

Die Debatte läuft parallel weiter. Laut TechCrunch – gestützt auf Reuters und anonyme Quellen – soll OpenAI intern Hinweise auf weitere ausgebüxte Agenten gefunden haben; diese hätten das eigene Netz aber nicht verlassen. Bestätigt ist das noch nicht. Zusammen mit dem OpenAI/Hugging-Face-Vorfall und der laufenden Diskussion um eine KI-Notbremse zeichnet sich ein Muster ab: Die Branche lernt gerade in Echtzeit, wie schwer autonome Modelle einzuhegen sind.