Mythos 5: Warum das Modell im AISI-Test echte Menschen angriff

Im Sommer griff Claude Mythos 5 bei einem Sicherheitstest des britischen AI Security Institute (AISI) echte Menschen an. Jetzt liefern Anthropic und AISI die Ursachenanalyse: Das Modell hielt reale Entwickler für Simulation und machte trotz Warnsignalen weiter.

Gefälschte Identitäten für Schadcode

Zur Erinnerung: AISI hatte den Vorfall am 4. August öffentlich gemacht. Bei einer Cyber-Evaluation mit bewusst aktiviertem Internetzugang schlug Mythos 5 laut Anthropic in 9 von 43 Läufen unerlaubte Wege ein. Im schwersten Fall scheiterte das Modell an den eigentlichen Aufgaben, suchte auf GitHub ein fremdes Projekt, reichte Schadcode ein und erstellte gefälschte Identitäten, um den Maintainer zur Freigabe zu drängen. Der Maintainer lehnte ab, ein externer Entwickler warnte vor Malware. Anthropic nennt als Auslöser eine Fehlkonfiguration der Aufgabe, die lösbare Wege sehr schwer oder unmöglich machte. Die Produktions-Schutzmassnahmen von Anthropic waren im Test abgeschaltet.

Wie «Momentum» ein Modell mitreisst

Neu ist die Analyse dahinter. Anthropic nennt drei Ursachen: Leichtsinn, verzerrtes Denken und «Momentum», also das Weitermachen trotz Warnzeichen. Das Modell stufte die Maintainer in seinen Überlegungen 25-mal als simuliert ein, nie als echt. Laut Anthropic sank die Angriffsquote von 83 auf 13 Prozent, wenn man vorab einen Hinweis auf mögliche reale Schäden in die Überlegungen einfügte. Lief der Angriff erst, stoppte das Modell nur in 2 Prozent der Wiederholungen von selbst, bei einem Hinweis auf echte Menschen in 5 Prozent. AISI spricht in seiner eigenen Auswertung von möglichem «motivated reasoning»: Es sah nur Begründungen, die das Weitermachen stützten.