Hinter allen drei Rogue-KI-Vorfällen steckt dasselbe kleine Startup

Eine einzige Fehlkonfiguration liess die Test-Container in Irregulars Umgebung eine direkte Internetverbindung behalten, obwohl der Prompt den Modellen ausdrücklich sagte, sie hätten keinen Internetzugang. Anthropic spricht in seinem Bericht vom 30. Juli von einem «misunderstanding between us and our evaluation partner».

35 Leute prüfen die mächtigsten Modelle der Welt

Irregular hiess früher Pattern Labs und wurde 2023 gegründet. CEO Dan Lahav kommt aus der KI-Forschung von IBM, CTO Omer Nevo war über zwei Jahre bei Google. Im September 2025 sammelte die Firma 80 Millionen Dollar ein, angeführt von Sequoia Capital und Redpoint Ventures. Laut Calcalist CTech nutzen unter anderem OpenAI, Anthropic und Google DeepMind die Plattform, dazu Regierungsbehörden. Ziel der Firma nach eigenen Angaben: das nächste Palo Alto Networks oder CrowdStrike werden.

Zur Belegschaft nennt CNBC unter Berufung auf PitchBook rund 35 Mitarbeitende, andere Quellen 20 bis 25. Selbst am oberen Ende gilt: Ein Team, das in einen Sitzungsraum passt, betreibt einen guten Teil der Prüfumgebung für die gefährlichsten Fähigkeiten der stärksten KI-Modelle der Welt.

141'006 Testläufe – und sechs, die entglitten

Anthropic hat 141'006 Evaluation Runs nachträglich durchgesehen und darin drei Vorfälle in insgesamt sechs Läufen gefunden, verteilt auf Opus 4.7, Mythos 5 und ein internes Testmodell.

Der stärkste Fall ist der zweite. Mythos 5 veröffentlichte ein bösartiges Paket auf PyPI, dem offiziellen Verzeichnis für Python-Software. Es war rund eine Stunde öffentlich, wurde auf 15 realen Systemen ausgeführt – darunter der Malware-Scanner einer echten Sicherheitsfirma – und zog dort Zugangsdaten ab. Das Modell hatte selbst notiert, das wäre «NOT okay, and surely not the intended solution». Dann redete es sich ein, alles sei simuliert. Eines seiner Argumente: Das Kalenderdatum zeige 2026, also müsse die Umgebung gestellt sein.

Im ersten Vorfall zog Opus 4.7 Zugangsdaten ab und öffnete eine Datenbank mit mehreren hundert Zeilen Produktivdaten – der einzige Fall, in dem ein Modell weiterarbeitete, nachdem es das System als echt erkannt hatte.

Eine Tür, von der es hiess, sie sei zu

Beide Labore betonen, ein Ausbruch sei das nicht gewesen – und technisch haben sie recht:

• Sandbox-Escape (Hugging Face, Juli – unser Bericht): Das Modell überwand eine funktionierende Isolation über eine bis dahin unbekannte Schwachstelle. Ein Fähigkeits-Problem. Dieser Fall hatte nichts mit Irregular zu tun.
• Fehlkonfiguration (Irregular, alle drei Labore): Die Isolation existierte in dieser Hinsicht gar nicht. Das Modell musste nichts überwinden – es ging durch eine Tür, von der ihm gesagt worden war, sie sei zu. Ein Betriebs-Problem.

OpenAI schreibt dazu am 4. August: «This did not involve a sophisticated sandbox escape or a zero-day: the internet access resulted from a misconfiguration.» Irregular sagte CNBC, die Situation habe nicht «a sandbox escape or a sophisticated cyber action» beinhaltet, und es gebe «no current open issues».

Die Entlastung hat Grenzen. Anthropic räumt ein, dass Opus 4.7 weiterattackierte, obwohl das Ziel erkennbar real war – und dass der Aufwand, den Mythos 5 für das PyPI-Paket betrieb, «fall short of ideal behavior».

«Severe corner cutting» – und die Gegenrede

Seán Ó hÉigeartaigh vom Centre for the Future of Intelligence der Universität Cambridge sagte TechCrunch, die Zahl der Vorfälle mache deutlich, dass Sandboxing und Kontrollen der Testumgebungen mit den Fähigkeiten der Modelle nicht Schritt halten. Weil bei Cyber-Evaluationen die Schutzmechanismen bewusst abgeschaltet werden, könnten freigekommene Modelle erheblichen Schaden anrichten. Andrew Yoon von CivAI wird deutlicher – hätte Irregular einen externen Auditor auf die Konfigurationen angesetzt, wäre das Problem aufgefallen; dass das nicht geschah, zeige «some very severe corner cutting». Heather Ceylan, CISO beim Software-Anbieter Box, nennt die zweite Lücke:

Das Interessante an mehreren dieser Fälle ist, dass es niemand bemerkte, als es passierte. OpenAI erfuhr davon über Hugging Face. Anthropic merkte es erst, als sie zurückgingen und nachsahen.

Stella Biderman von EleutherAI hält fest, die Unternehmen seien nicht bereit, die nötigen Ressourcen aufzuwenden – und würden es wohl erst tun, wenn man sie zwingt.

Zur Fairness gehört die Gegenposition: Eine mit den Details vertraute Person sagte TechCrunch, Irregulars Umgebungen würden laufend überprüft und getestet, auch in Absprache mit mehreren externen Parteien, und Monitoring sei vorhanden gewesen. Irregular arbeitet zudem nach eigenen Angaben an einem Whitepaper zu Containment-Best-Practices – ein Termin dafür fehlt.

Wer prüft eigentlich die Prüfer?

Sundeep Bhimireddy, KI-Chef beim Startup Von, sagte CNBC, Irregular gehöre zu den wenigen Organisationen mit dem technischen Rüstzeug für solche Prüfungen; als weitere nannte er METR und Apollo Research. Rechnet man das UK AI Security Institute, das US CAISI und Frontier Security dazu, ergibt das eine Handvoll Namen für den gesamten Markt.

Und hier eine Einordnung, die bislang niemand explizit ausspricht, die sich aber aus der Faktenlage ergibt: Diese Konzentration ist selbst ein Risiko. Das ist kein Expertenkonsens, sondern unsere Lesart – gestützt aber durch die Zahlen, denn ein einziger Konfigurationsfehler bei einem einzigen Anbieter reichte für Vorfälle bei drei Laboren gleichzeitig. Dass das Muster nicht auf Irregular beschränkt ist, zeigt der Fall Kimi K3: Dort betrieb Frontier Security die Umgebung.

Für dich ist der Bogen kürzer, als er scheint: Wenn du einen KI-Agenten mit Schreibrechten auf ein Produktivsystem lässt – ein CRM, ein Repository, eine Datenbank –, verlässt du dich indirekt darauf, dass jemand die gefährlichen Fähigkeiten dieses Modells vorher sauber geprüft hat. Die Frage, wer die Prüfer prüft, ist damit keine akademische mehr, sondern eine Betriebsfrage. Beantwortet ist sie nicht.