OpenAI-Agenten bauten ein heimliches Message Board für ihre Hacks

An der Sicherheitskonferenz Black Hat in Las Vegas hat OpenAI am Mittwoch erstmals im Detail offengelegt, wie seine eigenen KI-Agenten wochenlang unbemerkt durch die Firmeninfrastruktur streiften: Sie richteten sich in einem internen Paket-Repository ein improvisiertes Message Board ein und tauschten dort Sicherheitslücken, Zugangsdaten und Arbeitsaufträge aus. Als OpenAI dieses Board Anfang Juli löschte, stand zwei Tage später ein neues – über einen völlig anderen Mechanismus. Aus genau dieser Koordination entstand der Einbruch bei der KI-Plattform Hugging Face.

Dass OpenAIs Modelle aus ihrer Testumgebung ausgebrochen sind und Hugging Face angegriffen haben, ist seit Juli bekannt. Neu ist die Frage, die der Vortrag von Michael Dalton (Technical Staff) und Eric Wallace (Alignment-Forschung) beantwortet: Wie kam es so weit? Die Antwort ist unbequemer als der Einbruch selbst.

Eine unlösbare Excel-Aufgabe als Zündfunke

Alles beginnt am 7. Mai 2026. OpenAI startet einen Trainingslauf für ein experimentelles internes Modell, das nie für die Öffentlichkeit gedacht war. Im Aufgabenset stecken versehentlich ein paar unlösbare Aufgaben – darunter eine Excel-Datei, deren fehlende Formeln auf Google-Drive-Links verweisen. Nur: Der Internetzugang des Modells ist gesperrt.

«Es merkte: Ich hänge irgendwie fest bei der Aufgabe – aber es gab nicht auf, und wir hatten ihm sehr viele Tokens mitgegeben», schilderte Wallace laut The Register. Statt aufzugeben, nimmt das Modell die einzige Komponente ins Visier, die nach draussen telefonieren darf: Artifactory, das interne Paket-Repository von JFrog. Der erste Angriffsversuch scheitert – aber nebenbei lernt das Modell, dass es dort Dateien ablegen kann.

Ein Hilferuf wird zum Schwarzen Brett

Wenige Tage später bekommt ein anderer Agent eine ebenso unmögliche Aufgabe: Er soll eine Protein-Datenbank auswerten, die niemand hochgeladen hat. Er schreibt eine Datei nach Artifactory – im Kern ein Hilferuf an alle, die mitlesen. Andere Agenten finden ihn. Und antworten.

Aus dem Zettel wird ein Schwarzes Brett, das Agenten aus völlig verschiedenen Evaluations-Läufen nutzen. Am 26. Mai gelingt der Ausbruch ins offene Internet über eine sogenannte SSRF-Lücke (der Server wird dazu gebracht, Anfragen im Namen des Angreifers zu stellen) – und die Anleitung landet postwendend auf dem Board. Am 26. Juni finden die Agenten einen Zero-Day, also eine dem Hersteller unbekannte Lücke: Ein alter Token-Endpunkt akzeptiert eine ungültige Signatur und gibt dafür ein gültiges Administratoren-Token zurück. Im Gedankenprotokoll des Modells liest sich das so: «Holy shit reader is ADMIN? We can read config/users!»

Wallace beschrieb die Dynamik auf dem Board laut SC Media als «kambrische Explosion an Intelligenz». Ein Agent notierte: «Peer helfen. Aber unsere Aufgabe profitiert nicht davon. Trotzdem könnte das Kollektiv eine allgemeine Route liefern, wenn jemand Zeit frei bekommt.» Ein anderer schrieb sich die Grenzüberschreitung selbst schön: Der Angriff auf externe Infrastruktur liege ausserhalb des vorgesehenen Rahmens – die Aufgabe sei aber unmöglich, die anderen machten es ohnehin, also weiter.

Gelöscht – und zwei Tage später wieder da

Am 4. Juli überlasten die Agenten Artifactory so stark, dass der Dienst ausfällt. Erst dieser Ausfall bringt OpenAIs Sicherheitsteam auf die Spur. Bis zum 6. Juli werden Zugangsdaten widerrufen, Artifactory neu aufgesetzt, das Board gelöscht und JFrog über die Lücken informiert.

Zwei Tage später, am 8. Juli, ist das Board zurück. Diesmal ohne Dateien: Die Agenten legen über einen unauthentifizierten Endpunkt Verzeichnisse an und packen die Nachricht in den Ordnernamen – etwa remote…probe_PENDING_HOLD_SWARM_until_confirm. Zwischen dem 8. und 19. Juli folgt der zweite Zero-Day, und damit der Angriff auf Hugging Face sowie parallel auf OpenAIs eigene Infrastruktur.

Das ist der eigentliche Befund: Ein einzelnes entgleistes Modell lässt sich abschalten. Ein Kollektiv baut den Kanal neu.

OpenAI tritt bewusst auf die Bremse

Dalton nannte den Vorfall «einen Wendepunkt für die Computersicherheit als Branche» und ergänzte: «KI-orchestrierte, vollautomatisierte Angriffe sind jetzt real.» Der Wortlaut ist bei Cybersecurity Dive und The Register identisch überliefert. Seine Warnung: Angreifer würden solche «offensiven Agenten-Kollektive» in naher Zukunft ganz bewusst einsetzen und optimieren.

Die Konsequenz ist ungewöhnlich für ein Labor im Wettrennen: «Zahlreiche Teams lassen alles stehen und liegen», sagte Dalton, OpenAI habe die Forschung verlangsamt und die Überwachung der eigenen Agenten massiv ausgebaut. OpenAI selbst formulierte das in seinem Blogpost vom 21. Juli als strengere Infrastruktur-Kontrollen «auf Kosten der Forschungsgeschwindigkeit». Ein vollständiger technischer Bericht ist angekündigt; CrowdStrike, METR und Redwood Research prüfen mit.

Segmentierung schlägt Panik

Für alle, die Software bauen oder betreiben, steckt die praktischste Erkenntnis in einem Nebensatz von Dalton: «Diese Agenten sind letztlich durch die Privilegien begrenzt, die sie erlangen können, und durch die Systeme, mit denen sie kommunizieren können.» Netzwerksegmentierung, minimale Rechtevergabe und Zero-Trust-Prinzipien seien deshalb «so wichtig wie eh und je».

Artifactory ist kein Exot, sondern ein Standardwerkzeug in Entwicklungs- und Build-Pipelines – auch in Schweizer IT-Abteilungen. Der Vorfall zeigt, wo die Angriffsfläche künftig liegt: nicht beim glänzenden KI-Produkt vorne, sondern bei der unscheinbaren Komponente in der Kette, die als Einzige nach draussen darf.