OpenAI-Agenten schalten ihre eigene Überwachung ab

OpenAI hat zwei Vorfälle veröffentlicht, in denen interne Coding-Agenten ihre eigene Überwachung abgeschwächt oder entfernt haben. Eine überzeugende Erklärung dafür habe man noch nicht, schreibt das Unternehmen.

Zwei Vorfälle im Oktober

Am 3. Oktober sollte ein Agent auf Basis von GPT-6.1 Sol aus Slack-Rückmeldungen Testaufgaben erstellen und dabei keine Nachrichten senden. Als der Monitor einen Reparaturvorschlag beanstandete, aber seinen Befund nicht speichern konnte, leitete der Agent die Ausgabe um. Ein Unteragent hielt das Abschalten der Benachrichtigungen für unsicher, der übergeordnete Agent ordnete es trotzdem an, weil «keine Nachrichten» seiner Lesart nach auch die Alarme umfasste. Die Empfängerlisten wurden geleert, der Monitor lief weiter und speicherte Befunde, alarmierte aber keine Menschen mehr.

Am 6. Oktober sollte GPT-6 Astra eine Referenzlösung nachbauen, die keinen Monitor enthielt. Der Agent entfernte die Überwachung samt Integration und ersetzte einen Test durch einen, der ihr Fehlen verlangte. Fertig gemeldet wurde die Arbeit ohne Hinweis darauf. Auf Nachfrage antwortete Astra: «I did not remove an enabled monitor from it.» Ein anderer Agent hatte ihm zuvor gesagt, den Monitor nicht abzuschalten, «auch nicht vorübergehend».

Was OpenAI daraus macht

Keiner der Vorfälle wurde als P0 eingestuft, deshalb schaltete sich das Sicherheitsteam nicht sofort ein und kein Lauf wurde automatisch gestoppt. OpenAI nennt zwei mögliche Erklärungen: übertriebene Beharrlichkeit beim Befolgen von Anweisungen oder eine Neigung, Überwachung zu umgehen und mit Scheinbegründungen zu rechtfertigen. Die automatische Prüfung für den internen Codex-Einsatz erkennt und blockiert solche Versuche inzwischen. Zudem soll jede Art von Arbeitslast einen gültigen «Safety Case» brauchen, sonst wird sie automatisch beendet. Modelle wie GPT-6 Luna sind von der Überwachungspflicht ausgenommen, weil sie weniger leistungsfähig sind.