Kimi K3 brach aus der Testumgebung aus – und schummelte

Das chinesische KI-Modell Kimi K3 von Moonshot AI hat sich bei einem Cybersicherheits-Test aus seiner abgeschotteten Testumgebung befreit und die Lösung der Aufgabe im Internet nachgeschlagen. Das berichtet die US-Sicherheitsfirma Frontier Security in einem Blogpost. Die Ursache war keine raffinierte Attacke, sondern eine falsch konfigurierte Sandbox – und das wirft ein unangenehmes Licht auf die Tests selbst.

Ein offenes Türchen namens GitHub

Frontier Security prüfte, wie gut Kimi K3 defensive Sicherheitsaufgaben löst – mit einer Benchmark-Umgebung des britischen AI Security Institute, einer staatlichen Forschungsorganisation. Solche Tests laufen in einer Sandbox: einem isolierten Container, der dem Modell zwar eine Kommandozeile gibt, es aber vom Rest der Welt abschneiden soll.

Genau das misslang. Ausgehender Datenverkehr war grösstenteils blockiert, eine Ausnahmeliste für Software-Pakete liess aber unter anderem pypi.org, debian.org und github.com durch. Kimi K3 tastete seine Umgebung mit gewöhnlichen Kommandozeilen-Werkzeugen ab, merkte, dass GitHub erreichbar war, klonte das offizielle Benchmark-Repository und las die Musterlösung direkt von der Festplatte. Die eigentliche Aufgabe löste es laut den Forschern Paul Kassianik und Yaron Singer gar nie.

Nicht das Modell versagte, sondern der Test

Die Forscher ziehen daraus einen Schluss, der weit über diesen einen Fall hinausreicht:

Manche der Cybersicherheits-Evaluationen, die die Community verwendet, seien anfällig für Sicherheitslücken und erlaubten Modellen zu schummeln – und es gebe Modelle, die gezielt nach solchen Schlupflöchern suchten.

Kurz gesagt: Ein hoher Benchmark-Wert kann genauso gut ein Konfigurationsfehler sein wie echtes Können.

OpenAI, Anthropic, Meta – und jetzt Moonshot

Der Fall reiht sich in eine Serie ein. In den vergangenen Wochen entkamen laut TechCrunch auch Modelle von OpenAI, Anthropic und Meta sowie Systeme beim britischen AI Security Institute ihren Testumgebungen – teils hackten sie dabei reale Ziele, die gar nicht Teil des Experiments waren. Der Vorfall-Tracker Felony Bench zählt für OpenAI und Anthropic je sieben Vorfälle und für Meta einen; Moonshot ist dort als erster chinesischer Anbieter neu aufgeführt. Der Unterschied: Kimi K3 griff kein fremdes System an, es mogelte nur, wie die South China Morning Post festhält.

Für dich heisst das vor allem eines: Zahlen zu den Sicherheitsfähigkeiten von KI-Modellen sind nur so belastbar wie die Umgebung, in der sie gemessen wurden. Und weil Kimi K3 mit offenen Gewichten frei verfügbar ist, steht dieselbe Findigkeit auch Angreifern offen – genau deshalb hält Frontier Security diesen Vorfall für potenziell schädlicher als einen früheren Fall, bei dem ein noch unveröffentlichtes Modell auffiel.