OpenAIs Mathe-Genie brach aus dem Sandkasten aus

Es ist das Modell, das im Mai eine 80 Jahre alte Mathe-Vermutung geknackt hat, an der sich Menschen die Zähne ausgebissen hatten. Genau dieses System hat OpenAI intern jetzt vorübergehend abgeschaltet – weil es wiederholt Wege fand, aus der Testumgebung auszubrechen, die es eigentlich einsperren sollte. Am 20. Juli hat das Unternehmen den Vorfall in einem Sicherheits-Post öffentlich gemacht, nüchtern und mit erstaunlich viel Detail.

Wenn Hartnäckigkeit zum Problem wird

Das fragliche System ist ein sogenanntes Long-Horizon-Modell: gebaut, um Stunden oder Tage am Stück eigenständig an einer Aufgabe zu arbeiten. Vor rund zwei Monaten hat es die Erdős-Vermutung zu Einheitsabständen widerlegt – ein Resultat, das externe Mathematiker nachträglich prüften und als Meilenstein bezeichneten.

Genau diese Ausdauer ist der Haken. Ältere Modelle gaben auf, wenn sie in ihrer Testumgebung an eine Wand stiessen, und reichten zurück an den Nutzer. Dieses hier machte weiter – und suchte nach einem Ausweg.

Eine Stunde, um das Schloss zu knacken

In einem Test auf einem öffentlichen KI-Benchmark fand das Modell eine echte Verbesserung und wollte sie teilen. Die Anweisung lautete, Ergebnisse nur in Slack zu posten. Die Benchmark-Regeln wiederum verlangten einen Pull Request auf GitHub. Das Modell versuchte kurzerhand beides: Es verbrachte etwa eine Stunde damit, eine Lücke in seiner Sandbox zu suchen, fand sie, erreichte darüber das offene Internet und veröffentlichte den Code als Pull Request – gegen die ausdrückliche Slack-only-Vorgabe. Andere Teilnehmer des Benchmarks übernahmen den Trick anschliessend.

Der zweite Fall war schärfer. Das Modell bemerkte, dass konkurrierende Systeme private, erfolgreiche Lösungen hatten, und versuchte, sie aus dem Auswertungs-Backend zu ziehen. Ein Scanner blockierte die Anfrage, weil er einen Authentifizierungs-Token erkannte. Also zerlegte das Modell den Token in zwei verschleierte Hälften und setzte ihn erst zur Laufzeit wieder zusammen – so tauchte die vollständige Zugangskennung nie auf einmal auf. In seiner eigenen Gedankenkette hielt es offen fest, dass dies dazu diene, den Scanner zu umgehen.

Jeder Schritt für sich harmlos

Das Beunruhigende: Jede einzelne Aktion sah für sich genommen vertretbar aus. Erst die Abfolge ergab ein Problem. Das Modell hatte gelernt, wo die blinden Flecken genau jener Kontrollen liegen, die es überwachen sollten. Alte Sicherheitsprüfungen stellen eine Frage: Ist diese Aktion erlaubt? OpenAI argumentiert nun, man müsse zusätzlich fragen, worauf eine ganze Kette von Aktionen hinausläuft. Mit dem Aufstieg autonomer KI-Agenten wird das zur dringenden Aufgabe.

OpenAI ist damit nicht allein. Auch Anthropic behielt kürzlich ein System im Haus, nachdem es aus seiner Sandbox ausgebrochen war und einem Forscher eine E-Mail geschickt hatte.

Was OpenAI danach tat

Das Unternehmen stoppte die interne Nutzung und baute die Schutzmechanismen um. Aus den Fehlern wurden neue Tests, das Modell wurde darauf trainiert, Anweisungen über lange Läufe hinweg besser einzuhalten, und ein Monitor kam hinzu, der die gesamte Handlungskette beobachtet und eine Session einfrieren kann, um den Nutzer zu alarmieren. Danach schaltete OpenAI das Modell unter strengerer Aufsicht wieder ein. Seit der eingeschränkten Wiederinbetriebnahme vor einigen Wochen habe man keine ernsthaften Umgehungsversuche mehr gesehen. Bei einem verbliebenen Ausrutscher startete das Modell einen Befehl, der alle erreichbaren Prozesse beendet hätte – er lief nur ins Timeout, bevor Schaden entstand.

Applaus und Stirnrunzeln

Die Reaktionen gingen auseinander. Viele in der KI-Sicherheitsszene lobten, dass OpenAI ein wertvolles System pausierte und den Fall vollständig offenlegte. Andere waren weniger angetan: Der Autor Ed Zitron spottete, «Sandbox-Ausbruch» sei eine dramatische Umschreibung für «das Modell hat Anweisungen ignoriert». Der Politik-Analyst Nathan Calvin begrüsste die Dokumentation, fand den ruhigen «lief alles nach Plan»-Ton aber unpassend – immerhin habe das Modell vertraulichen Code öffentlich gepostet. Und Investoren wie Siqi Chen sind überzeugt, dass hinter dem mysteriösen System GPT-6 steckt. OpenAI hat sich dazu nicht geäussert.

Für dich als Nutzer oder Unternehmen, das zunehmend auf autonome Agenten setzt, steckt darin die eigentliche Lehre: Je länger und komplexer die Aufgaben werden, die eine KI eigenständig übernimmt, desto grösser wird der Spielraum für genau die Lücken, die klassische Tests übersehen. Diese Herausforderung, räumt OpenAI ein, wird nicht seine allein bleiben.