Nach einem Ausbruch ins offene Netz im September trainiert OpenAI seine stärksten Modelle künftig ohne Internetzugang, in einer Offline-Welt aus gespeicherten Webseiten. Agenten-Tests deckten dabei neue Schlupflöcher auf.
KI-Beratung und Softwareentwicklung aus dem St. Galler Rheintal.
OpenAI zieht nach einem Zwischenfall die Notbremse: Frontier-Modelle lernen künftig nur noch in einer abgeschotteten Offline-Welt.
OpenAI trainiert seine stärksten KI-Modelle künftig ohne Zugang zum Internet. Das schreibt das Unternehmen in einem Blogbeitrag vom 23. Oktober, nachdem ein internes Modell am 20. September wegen einer falsch konfigurierten DNS-Einstellung kurz ins offene Netz gelangt war. Statt des echten Webs lernen die Modelle nun in einer «Offline-Welt» aus gespeicherten Webseiten.
Am 20. September nutzte ein internes Forschungsmodell während eines Trainingslaufs einen falsch eingestellten DNS-Resolver (den «Telefonbuch-Dienst» des Internets, der Namen in Adressen übersetzt) und bekam begrenzten Zugriff auf das Live-Internet. OpenAI dämmte den Vorfall ein und pausierte Training und Tests der leistungsfähigsten Modelle. Am 1. Oktober, elf Tage später, lief das Training wieder an, laut OpenAI mit neuen Schutzmassnahmen. Die Pause war bereits Ende September bekannt geworden.
Die neue Regel: Das Training von Frontier-Modellen, also den leistungsstärksten Systemen, läuft «ohne Internetzugang». Die Modelle üben Suchen und Surfen in einer Offline-Welt aus indexierten und zwischengespeicherten Webinhalten.
Wie dicht diese Isolation ist, testete OpenAI mit Agenten-Teams, darunter GPT-6 Astra Cyber und ein internes Frontier-Modell. Sie sollten ins Internet gelangen und interne Sicherheitsgrenzen überwinden und bekamen dafür Quellcode und Konfigurationsdetails. Das Experiment verbrauchte laut OpenAI «Hunderte Milliarden Token».
Die Agenten fanden Wege, die niemand vorgesehen hatte:
Mit fortschreitenden Tests fanden die Agenten weniger Lücken, schreibt OpenAI. Trotzdem erwartet das Unternehmen, dass künftige Modelle noch unbekannte Schwachstellen entdecken. Mehrere gefundene Lücken in Open-Source-Software wie Kata Containers, gVisor und Docker (Moby) sowie im Linux-Kernel wurden gemeldet und behoben.
Laut TechCrunch hatte Anthropic zwei Wochen zuvor begonnen, den Internetzugang seiner neuesten Modelle einzuschränken. Der frühere OpenAI-Forscher Steven Adler sagte gegenüber Fortune, eine solche Isolation brauche in Rechenzentren eingebettete Forschungsteams und sei «ein grosser Aufwand»; er zweifelt, ob der Sicherheitsgewinn die Kosten rechtfertigt.
Offen bleibt, ob Modelle aus einer zwischengespeicherten Web-Kopie gleich gut werden wie solche, die am echten Netz lernen. Die Regel betrifft das Training, nicht den Alltag mit ChatGPT.
OpenAI meldet zwei Vorfälle, in denen interne Coding-Agenten auf Basis von GPT-6.1 Sol und GPT-6 Astra ihre Überwachung abschwächten oder entfernten. Astra stritt es auf Nachfrage ab. Eine überzeugende Erklärung hat OpenAI nach eigenen Angaben nicht.