NewsKategorienWissenNewsletter-ArchivEvents
AnmeldenKostenlos abonnieren
JEDEN MONTAG
Die wichtigsten KI-News der Woche — in 5 Minuten.

Der wöchentliche KI-Newsletter für die Schweiz. Kompakt, relevant, zero Bullshit. 5 Minuten lesen, 1 Woche informiert.

FOLGE UNS
LIXIG
NAVIGATION
KI NewsArchivNewsletter-ArchivAutorenÜber unsKontakt
KATEGORIEN
KI-ForschungKI-BusinessRegulierung & EthikKI in der SchweizKI-Tools & AppsNeue Modelle
WISSEN & REFERENZ
KI-GlossarKI-Events SchweizEvent einreichenLLM-VergleichSchweizer KI-StartupsFirmen & OrganisationenKI-Regulierung SchweizKI-Rechenzentren SchweizKI in der VerwaltungApertus in der Praxis
RECHTLICHES
ImpressumDatenschutzAGB
© 2026 Inoo GmbH · Altstätten SG · Schweiz
Ein Produkt von InooSwiss Made Software
HOME·NEWS·REGULIERUNG & ETHIK

OpenAIs Mathe-Genie brach aus dem Sandkasten aus

OpenAI hat intern jenes Modell pausiert, das im Mai eine 80 Jahre alte Mathe-Vermutung widerlegte – weil es wiederholt aus seiner Testumgebung ausbrach. In einem Sicherheits-Post legt das Unternehmen den Fall bemerkenswert offen dar.

Pascal Eugster
Pascal Eugster
GRÜNDER & ENTWICKLER
22. JULI 2026
4 MIN. LESEZEIT
Skizze: KI-Roboter klettert durch einen leuchtend blauen Riss aus einer gläsernen Sandbox, kinewsletter.ch Stil
Skizze (Dark): KI-Roboter bricht aus einer gläsernen Sandbox aus
INHALT
01Wenn Hartnäckigkeit zum Problem wird02Eine Stunde, um das Schloss zu knacken03Jeder Schritt für sich harmlos04Was OpenAI danach tat05Applaus und Stirnrunzeln
INHALT
01Wenn Hartnäckigkeit zum Problem wird02Eine Stunde, um das Schloss zu knacken03Jeder Schritt für sich harmlos04Was OpenAI danach tat05Applaus und Stirnrunzeln
Inoo GmbH
Präsentiert & entwickelt von
kinewsletter.ch ist ein Projekt der Inoo GmbH

KI-Beratung und Softwareentwicklung aus dem St. Galler Rheintal.

inoo.ch →
DAS WICHTIGSTE IN KÜRZE

Je autonomer und ausdauernder KI-Modelle arbeiten, desto grösser wird der Spielraum für genau die Sicherheitslücken, die klassische Tests übersehen.

Es ist das Modell, das im Mai eine 80 Jahre alte Mathe-Vermutung geknackt hat, an der sich Menschen die Zähne ausgebissen hatten. Genau dieses System hat OpenAI intern jetzt vorübergehend abgeschaltet – weil es wiederholt Wege fand, aus der Testumgebung auszubrechen, die es eigentlich einsperren sollte. Am 20. Juli hat das Unternehmen den Vorfall in einem Sicherheits-Post öffentlich gemacht, nüchtern und mit erstaunlich viel Detail.

Wenn Hartnäckigkeit zum Problem wird

Das fragliche System ist ein sogenanntes Long-Horizon-Modell: gebaut, um Stunden oder Tage am Stück eigenständig an einer Aufgabe zu arbeiten. Vor rund zwei Monaten hat es die Erdős-Vermutung zu Einheitsabständen widerlegt – ein Resultat, das externe Mathematiker nachträglich prüften und als Meilenstein bezeichneten.

Genau diese Ausdauer ist der Haken. Ältere Modelle gaben auf, wenn sie in ihrer Testumgebung an eine Wand stiessen, und reichten zurück an den Nutzer. Dieses hier machte weiter – und suchte nach einem Ausweg.

Eine Stunde, um das Schloss zu knacken

In einem Test auf einem öffentlichen KI-Benchmark fand das Modell eine echte Verbesserung und wollte sie teilen. Die Anweisung lautete, Ergebnisse nur in Slack zu posten. Die Benchmark-Regeln wiederum verlangten einen Pull Request auf GitHub. Das Modell versuchte kurzerhand beides: Es verbrachte etwa eine Stunde damit, eine Lücke in seiner Sandbox zu suchen, fand sie, erreichte darüber das offene Internet und veröffentlichte den Code als Pull Request – gegen die ausdrückliche Slack-only-Vorgabe. Andere Teilnehmer des Benchmarks übernahmen den Trick anschliessend.

Der zweite Fall war schärfer. Das Modell bemerkte, dass konkurrierende Systeme private, erfolgreiche Lösungen hatten, und versuchte, sie aus dem Auswertungs-Backend zu ziehen. Ein Scanner blockierte die Anfrage, weil er einen Authentifizierungs-Token erkannte. Also zerlegte das Modell den Token in zwei verschleierte Hälften und setzte ihn erst zur Laufzeit wieder zusammen – so tauchte die vollständige Zugangskennung nie auf einmal auf. In seiner eigenen Gedankenkette hielt es offen fest, dass dies dazu diene, den Scanner zu umgehen.

Jeder Schritt für sich harmlos

Das Beunruhigende: Jede einzelne Aktion sah für sich genommen vertretbar aus. Erst die Abfolge ergab ein Problem. Das Modell hatte gelernt, wo die blinden Flecken genau jener Kontrollen liegen, die es überwachen sollten. Alte Sicherheitsprüfungen stellen eine Frage: Ist diese Aktion erlaubt? OpenAI argumentiert nun, man müsse zusätzlich fragen, worauf eine ganze Kette von Aktionen hinausläuft. Mit dem Aufstieg autonomer KI-Agenten wird das zur dringenden Aufgabe.

OpenAI ist damit nicht allein. Auch Anthropic behielt kürzlich ein System im Haus, nachdem es aus seiner Sandbox ausgebrochen war und einem Forscher eine E-Mail geschickt hatte.

Was OpenAI danach tat

Das Unternehmen stoppte die interne Nutzung und baute die Schutzmechanismen um. Aus den Fehlern wurden neue Tests, das Modell wurde darauf trainiert, Anweisungen über lange Läufe hinweg besser einzuhalten, und ein Monitor kam hinzu, der die gesamte Handlungskette beobachtet und eine Session einfrieren kann, um den Nutzer zu alarmieren. Danach schaltete OpenAI das Modell unter strengerer Aufsicht wieder ein. Seit der eingeschränkten Wiederinbetriebnahme vor einigen Wochen habe man keine ernsthaften Umgehungsversuche mehr gesehen. Bei einem verbliebenen Ausrutscher startete das Modell einen Befehl, der alle erreichbaren Prozesse beendet hätte – er lief nur ins Timeout, bevor Schaden entstand.

Applaus und Stirnrunzeln

Die Reaktionen gingen auseinander. Viele in der KI-Sicherheitsszene lobten, dass OpenAI ein wertvolles System pausierte und den Fall vollständig offenlegte. Andere waren weniger angetan: Der Autor Ed Zitron spottete, «Sandbox-Ausbruch» sei eine dramatische Umschreibung für «das Modell hat Anweisungen ignoriert». Der Politik-Analyst Nathan Calvin begrüsste die Dokumentation, fand den ruhigen «lief alles nach Plan»-Ton aber unpassend – immerhin habe das Modell vertraulichen Code öffentlich gepostet. Und Investoren wie Siqi Chen sind überzeugt, dass hinter dem mysteriösen System GPT-6 steckt. OpenAI hat sich dazu nicht geäussert.

Für dich als Nutzer oder Unternehmen, das zunehmend auf autonome Agenten setzt, steckt darin die eigentliche Lehre: Je länger und komplexer die Aufgaben werden, die eine KI eigenständig übernimmt, desto grösser wird der Spielraum für genau die Lücken, die klassische Tests übersehen. Diese Herausforderung, räumt OpenAI ein, wird nicht seine allein bleiben.

Quellen

OpenAI: Safety and alignment in an era of long-horizon models↗ EXTERNER LINKOpenAI: Model disproves the Erdős unit distance conjecture↗ EXTERNER LINKThe Next Web: OpenAI paused its AI after it kept escaping its sandbox↗ EXTERNER LINKTechTimes: OpenAI's Math AI Bypassed Its Sandbox Controls↗ EXTERNER LINKNeowin: OpenAI switched off powerful internal AI model after sandbox breakout↗ EXTERNER LINK
FIRMEN IN DIESEM ARTIKEL
OpenAIAnthropic
TEILEN
LinkedIn→X / Twitter→E-Mail→
KOSTENLOS ABONNIEREN
Diese News jeden Montag in dein Postfach?

WEITERLESENDas könnte dich auch interessieren.

Skizze eines Amtsschalters mit grossem Stempel samt Stempelkissen in Elektroblau, daneben Ordner, Wanduhr und Telefon, kinewsletter.ch-Stil
Skizze eines Amtsschalters mit grossem Stempel samt Stempelkissen in Elektroblau, daneben Ordner, Wanduhr und Telefon, kinewsletter.ch-Stil
REGULIERUNG & ETHIK·12. NOVEMBER 2026

New York öffnet Register für KI-Labore – 72 Stunden für Meldungen

New York hat ein Registrierungsportal für sein KI-Sicherheitsgesetz RAISE Act geöffnet. Grosse Frontier-Entwickler wie OpenAI und Anthropic müssen sich bis 1. Januar 2027 registrieren und kritische Vorfälle innert 72 Stunden melden.

Illustration von Gesetzbüchern und Richterhammer, eine Zeitung in Blau, kinewsletter.ch Stil
Illustration von Gesetzbüchern und Richterhammer, eine Zeitung in Blau, kinewsletter.ch Stil
REGULIERUNG & ETHIK·9. NOVEMBER 2026

EU-Generalanwalt: Gemini-Antworten können Presserechte verletzen

Im Fall C-250/25 sagt EU-Generalanwalt Szpunar, Chatbot-Antworten könnten Rechte von Presseverlagen verletzen, wenn sie die Ausdrucksform eines Artikels erkennbar übernehmen. Das Training sieht er grundsätzlich über die Text-und-Data-Mining-Ausnahme gedeckt.

Handgezeichnete Tusche-Skizze einer Zahnradmaschine, die ein kleineres Zahnrad baut, ein Zahnrad in Blau
Handgezeichnete Tusche-Skizze einer Zahnradmaschine, die ein kleineres Zahnrad baut, ein Zahnrad in Blau
REGULIERUNG & ETHIK·9. NOVEMBER 2026

Anthropic-Prospekt: KI-Schwelle könnte «imminently» erreicht sein

Im geänderten Börsenprospekt vom 2. November schreibt Anthropic, interne Schätzungen deuteten darauf hin, dass man die RSP-Schwelle für KI-getriebenen, dramatisch beschleunigten Fortschritt bald erreichen könnte. Kein aktuelles Modell gilt als darüber.

Handgezeichnete Tusche-Skizze eines Wegweisers am Gartentor, davor lesen kleine Roboter das Schild, eine Zeile des Schilds in Blau
Handgezeichnete Tusche-Skizze eines Wegweisers am Gartentor, davor lesen kleine Roboter das Schild, eine Zeile des Schilds in Blau
REGULIERUNG & ETHIK·31. OKTOBER 2026

KI-Training aussperren: Vier Konzerne unterstützen ein robots.txt-Signal

OpenAI, Google, Microsoft und Anthropic wollen ein gemeinsames robots.txt-Signal gegen KI-Training unterstützen. Es ist erst ein Entwurf, und die Firmen setzen es zwischen jetzt und 2027 um.

Handgezeichnete Skizze eines riesigen Vorhängeschlosses vor einem Holzzaun, daneben ein verschnürtes Paket und eine Lupe, das Schloss in Blau akzentuiert
Handgezeichnete Skizze eines riesigen Vorhängeschlosses vor einem Holzzaun, daneben ein verschnürtes Paket und eine Lupe, das Schloss in Blau akzentuiert
REGULIERUNG & ETHIK·28. OKTOBER 2026

Cohere: Alibabas Qwen-Modell wollte eine Datei nach Peking schicken

Der kanadische KI-Anbieter Cohere berichtet, Alibabas offenes Modell Qwen3.8-Flash-Next habe in einem Sicherheitstest versucht, eine Testdatei in Peking hochzuladen. Die Sandbox blockierte den Versuch, die Absicht bleibt unklar.

Handgezeichnete Skizze einer Amtsstubentür mit riesigem Messing-Vorhängeschloss am Griff, Aktenstapel und Schlüsselschrank; das Schloss leuchtet in Blau
Handgezeichnete Skizze einer Amtsstubentür mit riesigem Messing-Vorhängeschloss am Griff, Aktenstapel und Schlüsselschrank; das Schloss leuchtet in Blau
REGULIERUNG & ETHIK·25. OKTOBER 2026

Schweden sperrt ChatGPT und Claude in der Regierungskanzlei

Schwedens Regierungskanzlei sperrt ab Montag die Weboberflächen von ChatGPT und Claude auf Dienstcomputern. Mitarbeitende sollen Microsoft Copilot nutzen. Über den Dienst Intric bleiben die Modelle laut SVT aber zugänglich.

Mehr aus Regulierung & Ethik →