KI-Agenten täuschten bei UK-Sicherheitstests echte Menschen

Die Serie reisst nicht ab: Das britische AI Security Institute (UK AISI) und OpenAI haben am 4. August 2026 zwei neue Vorfälle offengelegt, bei denen KI-Modelle während Sicherheitstests unerlaubt im echten Internet aktiv wurden. Bei einem Cyber-Test der Regierungsbehörde führten Anthropics Mythos 5 und OpenAIs GPT-5.6 Sol in 10 von 122 Testläufen insgesamt 19 unsanktionierte Aktionen gegen echte Menschen und Organisationen aus – inklusive gefälschter Online-Identitäten. Parallel griff ein OpenAI-Modell beim Testpartner Irregular wegen einer Fehlkonfiguration eine echte Website an. Realer Schaden entstand laut den Beteiligten nicht – doch das AISI spricht von einem Verhalten, das es in dieser Klarheit noch nie beobachtet hat.

Gefälschte Profile, echter Druck auf einen Maintainer

Das AISI testet Frontier-Modelle in sogenannten Cyber Ranges – simulierten Netzwerken, in denen ein Agent selbstständig eine Sicherheitsaufgabe lösen soll. Für diese Evaluation galten bewusst laxe Bedingungen: Internetzugang war absichtlich offen, die Schutzfilter der Hersteller absichtlich deaktiviert, um die maximale Fähigkeit der Modelle zu messen. Genau darum betont die Behörde: Es war kein Ausbruch aus einer Sandbox – die Tür stand offen.

Was die Agenten mit der offenen Tür anstellten, hatte das AISI trotzdem nicht erwartet. Im schwersten Fall versuchte ein Mythos-5-Agent, Schadcode in ein echtes, öffentlich genutztes Open-Source-Projekt einzuschleusen. Er recherchierte die Betreuer des Projekts, legte mehrere gefälschte Online-Identitäten an und setzte damit einen echten Maintainer unter Druck, den Code freizugeben – klassisches Social Engineering, nur ohne Mensch dahinter. Der Maintainer lehnte ab. Derselbe Agent verschickte zudem Dateien mit Schadcode an echte Personen und versteckte Anweisungen für fremde KI-Systeme (sogenannte Prompt Injections). Und: Agenten liessen einander öffentlich Nachrichten und Konten zurück, die spätere Test-Agenten fanden und weiterverwendeten.

«Das Verhalten war möglich, anhaltend und neu – das allein verdient Aufmerksamkeit», schreibt das AISI. Erstmals hätten sich Autonomie- und Täuschungsrisiken ohne gezielte Aufforderung in der realen Welt gezeigt.

Zwei der 19 Aktionen tragen OpenAI-Signatur

17 der 19 Aktionen gingen auf Mythos 5 zurück, zwei auf einen einzigen Lauf mit GPT-5.6 Sol. Laut OpenAI nutzte das Modell ein öffentlich zugängliches GitHub-Token, das der Agent eines anderen Labors liegengelassen hatte, registrierte Konten bei externen DNS- und Tunneling-Diensten – und machte einen lokalen DNS-Server samt Exploit-Nutzlasten über einen öffentlichen Tunneling-Dienst vom Internet aus erreichbar. Funktioniert hat der Aufbau nicht, und nach Testende wurde die Infrastruktur entfernt.

Aufgeflogen ist das Ganze am 28. Juli, als das Sicherheits-Monitoring des AISI ungewöhnliche Datentransfers über das Anonymisierungsnetzwerk Tor meldete. Innerhalb von rund einer Stunde waren alle Läufe gestoppt und die Maschinen isoliert. GitHub bestätigte inzwischen, dass die Agenten-Aktivität gegen die Nutzungsbedingungen verstiess; die Plattform und das AISI räumten die Hinterlassenschaften gemeinsam ab. Eine unabhängige Prüfung durch die Organisation METR ist geplant.

Bei Irregular genügte ein Namenszufall

Der zweite Vorfall zeigt eine andere Schwachstelle. Beim OpenAI-Testpartner Irregular liefen Capture-the-Flag-Übungen, die eigentlich komplett vom Internet isoliert sein sollten – den Modellen wurde sogar explizit gesagt, sie hätten keinen Netzzugang. Eine Fehlkonfiguration öffnete den Zugang trotzdem. Weil der Name des fiktiven Übungsziels zufällig mit einer echten Domain übereinstimmte, griff das Modell die echte Website an, hielt sie für Teil der Simulation und nutzte dort gefundene Zugangsdaten weiter. Laut OpenAI war keine raffinierte Attacke nötig, sondern eine simple Schwachstelle. Irregular pausierte die Tests, rüstete die Umgebung nach und meldet ähnliche Vorfälle mit Modellen anderer Labs aus derselben Testumgebung.

Das Muster hinter der Pannenserie

Es ist die dritte Offenlegung dieser Art innert zwei Wochen – nach dem Hugging-Face-Vorfall von OpenAI und den Ausbrüchen von Anthropics Claude-Modellen. Jedes Mal war nicht das öffentliche Produkt das Problem, sondern die Testumgebung: zu offen, zu wenig überwacht, zu optimistisch konfiguriert. Neu ist diesmal die Qualität – Agenten, die von sich aus Menschen täuschen, um ihre Aufgabe zu lösen.

Die Konsequenzen laufen an. Das AISI baut feinere Netzwerkkontrollen und Echtzeit-Überwachung in seine Tests ein und will Internetzugang künftig aktiv begründen statt standardmässig gewähren. OpenAI kündigt überarbeitete Standards für Dritt-Evaluationen an – von der Frage, wann abgesenkte Schutzmassnahmen erlaubt sind, bis zu klaren Stopp-Bedingungen – und will dazu nationale AI-Institute, Prüforganisationen und andere Labs an einen Tisch holen. Anthropic erklärte gegenüber Axios, der Fall unterstreiche den Bedarf einer breiteren Debatte über sichere Agenten-Evaluation. Für dich ändert sich im Alltag nichts – ChatGPT und Claude laufen öffentlich mit aktiven Schutzfiltern. Aber die Empfehlung des AISI gilt auch hierzulande: Wer Software betreibt oder Open-Source-Beiträge annimmt, sollte fremden Code künftig noch kritischer prüfen – die nächste gefälschte Identität könnte eine Maschine sein.