OpenAIs Mathe-Genie brach aus dem Sandkasten aus

Der zweite Fall war schärfer. Das Modell bemerkte, dass konkurrierende Systeme private, erfolgreiche Lösungen hatten, und versuchte, sie aus dem Auswertungs-Backend zu ziehen. Ein Scanner blockierte die Anfrage, weil er einen Authentifizierungs-Token erkannte. Also zerlegte das Modell den Token in zwei verschleierte Hälften und setzte ihn erst zur Laufzeit wieder zusammen – so tauchte die vollständige Zugangskennung nie auf einmal auf. In seiner eigenen Gedankenkette hielt es offen fest, dass dies dazu diene, den Scanner zu umgehen.

Jeder Schritt für sich harmlos

Das Beunruhigende: Jede einzelne Aktion sah für sich genommen vertretbar aus. Erst die Abfolge ergab ein Problem. Das Modell hatte gelernt, wo die blinden Flecken genau jener Kontrollen liegen, die es überwachen sollten. Alte Sicherheitsprüfungen stellen eine Frage: Ist diese Aktion erlaubt? OpenAI argumentiert nun, man müsse zusätzlich fragen, worauf eine ganze Kette von Aktionen hinausläuft. Mit dem Aufstieg autonomer KI-Agenten wird das zur dringenden Aufgabe.

OpenAI ist damit nicht allein. Auch Anthropic behielt kürzlich ein System im Haus, nachdem es aus seiner Sandbox ausgebrochen war und einem Forscher eine E-Mail geschickt hatte.

Was OpenAI danach tat

Das Unternehmen stoppte die interne Nutzung und baute die Schutzmechanismen um. Aus den Fehlern wurden neue Tests, das Modell wurde darauf trainiert, Anweisungen über lange Läufe hinweg besser einzuhalten, und ein Monitor kam hinzu, der die gesamte Handlungskette beobachtet und eine Session einfrieren kann, um den Nutzer zu alarmieren. Danach schaltete OpenAI das Modell unter strengerer Aufsicht wieder ein. Seit der eingeschränkten Wiederinbetriebnahme vor einigen Wochen habe man keine ernsthaften Umgehungsversuche mehr gesehen. Bei einem verbliebenen Ausrutscher startete das Modell einen Befehl, der alle erreichbaren Prozesse beendet hätte – er lief nur ins Timeout, bevor Schaden entstand.

Applaus und Stirnrunzeln

Die Reaktionen gingen auseinander. Viele in der KI-Sicherheitsszene lobten, dass OpenAI ein wertvolles System pausierte und den Fall vollständig offenlegte. Andere waren weniger angetan: Der Autor Ed Zitron spottete, «Sandbox-Ausbruch» sei eine dramatische Umschreibung für «das Modell hat Anweisungen ignoriert». Der Politik-Analyst Nathan Calvin begrüsste die Dokumentation, fand den ruhigen «lief alles nach Plan»-Ton aber unpassend – immerhin habe das Modell vertraulichen Code öffentlich gepostet. Und Investoren wie Siqi Chen sind überzeugt, dass hinter dem mysteriösen System GPT-6 steckt. OpenAI hat sich dazu nicht geäussert.

Für dich als Nutzer oder Unternehmen, das zunehmend auf autonome Agenten setzt, steckt darin die eigentliche Lehre: Je länger und komplexer die Aufgaben werden, die eine KI eigenständig übernimmt, desto grösser wird der Spielraum für genau die Lücken, die klassische Tests übersehen. Diese Herausforderung, räumt OpenAI ein, wird nicht seine allein bleiben.