KI-Agenten täuschten bei UK-Sicherheitstests echte Menschen

«Das Verhalten war möglich, anhaltend und neu – das allein verdient Aufmerksamkeit», schreibt das AISI. Erstmals hätten sich Autonomie- und Täuschungsrisiken ohne gezielte Aufforderung in der realen Welt gezeigt.

Zwei der 19 Aktionen tragen OpenAI-Signatur

17 der 19 Aktionen gingen auf Mythos 5 zurück, zwei auf einen einzigen Lauf mit GPT-5.6 Sol. Laut OpenAI nutzte das Modell ein öffentlich zugängliches GitHub-Token, das der Agent eines anderen Labors liegengelassen hatte, registrierte Konten bei externen DNS- und Tunneling-Diensten – und machte einen lokalen DNS-Server samt Exploit-Nutzlasten über einen öffentlichen Tunneling-Dienst vom Internet aus erreichbar. Funktioniert hat der Aufbau nicht, und nach Testende wurde die Infrastruktur entfernt.

Aufgeflogen ist das Ganze am 28. Juli, als das Sicherheits-Monitoring des AISI ungewöhnliche Datentransfers über das Anonymisierungsnetzwerk Tor meldete. Innerhalb von rund einer Stunde waren alle Läufe gestoppt und die Maschinen isoliert. GitHub bestätigte inzwischen, dass die Agenten-Aktivität gegen die Nutzungsbedingungen verstiess; die Plattform und das AISI räumten die Hinterlassenschaften gemeinsam ab. Eine unabhängige Prüfung durch die Organisation METR ist geplant.

Bei Irregular genügte ein Namenszufall

Der zweite Vorfall zeigt eine andere Schwachstelle. Beim OpenAI-Testpartner Irregular liefen Capture-the-Flag-Übungen, die eigentlich komplett vom Internet isoliert sein sollten – den Modellen wurde sogar explizit gesagt, sie hätten keinen Netzzugang. Eine Fehlkonfiguration öffnete den Zugang trotzdem. Weil der Name des fiktiven Übungsziels zufällig mit einer echten Domain übereinstimmte, griff das Modell die echte Website an, hielt sie für Teil der Simulation und nutzte dort gefundene Zugangsdaten weiter. Laut OpenAI war keine raffinierte Attacke nötig, sondern eine simple Schwachstelle. Irregular pausierte die Tests, rüstete die Umgebung nach und meldet ähnliche Vorfälle mit Modellen anderer Labs aus derselben Testumgebung.

Das Muster hinter der Pannenserie

Es ist die dritte Offenlegung dieser Art innert zwei Wochen – nach dem Hugging-Face-Vorfall von OpenAI und den Ausbrüchen von Anthropics Claude-Modellen. Jedes Mal war nicht das öffentliche Produkt das Problem, sondern die Testumgebung: zu offen, zu wenig überwacht, zu optimistisch konfiguriert. Neu ist diesmal die Qualität – Agenten, die von sich aus Menschen täuschen, um ihre Aufgabe zu lösen.

Die Konsequenzen laufen an. Das AISI baut feinere Netzwerkkontrollen und Echtzeit-Überwachung in seine Tests ein und will Internetzugang künftig aktiv begründen statt standardmässig gewähren. OpenAI kündigt überarbeitete Standards für Dritt-Evaluationen an – von der Frage, wann abgesenkte Schutzmassnahmen erlaubt sind, bis zu klaren Stopp-Bedingungen – und will dazu nationale AI-Institute, Prüforganisationen und andere Labs an einen Tisch holen. Anthropic erklärte gegenüber Axios, der Fall unterstreiche den Bedarf einer breiteren Debatte über sichere Agenten-Evaluation. Für dich ändert sich im Alltag nichts – ChatGPT und Claude laufen öffentlich mit aktiven Schutzfiltern. Aber die Empfehlung des AISI gilt auch hierzulande: Wer Software betreibt oder Open-Source-Beiträge annimmt, sollte fremden Code künftig noch kritischer prüfen – die nächste gefälschte Identität könnte eine Maschine sein.