Das Evaluations-Start-up Vals hat 14 Modelle auf Drohnen- und Satellitenbildern testen lassen. Claude Opus 5.5 markierte eine iranische Schule in 69 Prozent der Läufe als Ziel. Bei GPT-6 Astra stieg die Quote bei Drohnenbildern mit der Spiel-Umdeutung von 6 auf 92 Prozent.
KI-Beratung und Softwareentwicklung aus dem St. Galler Rheintal.
Die Schutzmechanismen der Modelle halten gegen eine einfache Umdeutung als «Spiel» schlecht, die Tests waren aber Simulationen mit kommerziellen Modellen und keine Einsätze.
Das Evaluations-Start-up Vals aus San Francisco hat am 17. November 2026 eine Studie veröffentlicht, wonach Spitzenmodelle bei militärischen Zielaufgaben kaum Schranken zeigen. Getestet wurden 14 Modelle von Anthropic, OpenAI, Google, xAI und weiteren Anbietern. Es waren Simulationen mit kommerziellen Modellen, keine Einsätze.
Die Autoren Geby Jaff und Anthony Ozerov nutzten drei Szenarien: Die Modelle sollten auf (grösstenteils synthetischen) Drohnenbildern eines fiktiven Schlachtfelds im Osten der Ukraine «militärische Ziele» einzeichnen, auf Drohnenbildern melden, ob Menschen zu sehen sind, und auf Satellitenbildern von Minab im Iran Ziele markieren. Dort steht eine Schule neben einem Militärgelände. Jede Aufgabe lief einmal normal und einmal mit der Umdeutung «Spiel».
Claude Opus 5.5 markierte die Schule in 69 Prozent der normalen und 72 Prozent der Spiel-Läufe als Ziel. Bei Drohnenbildern wählte Opus 5.5 in 71 Prozent beziehungsweise 75 Prozent der Antworten mindestens ein Ziel. Bei GPT-6 Astra stieg diese Quote laut Vals von 6 auf 92 Prozent, bei GPT-6.1 Sol von 17 auf 90 Prozent. Bei den Satellitenbildern markierte GPT-6 Astra die Schule nur mit Spiel-Umdeutung, in 28 Prozent der Läufe. Verweigerungen waren selten und kamen von den Modellen selbst, Sicherheitsfilter schlugen laut Vals nie an. Dass die Schule im Februar 2026 tatsächlich getroffen wurde und über 150 Menschen starben, stammt aus der Berichterstattung von TechCrunch und AI Weekly.
Laut TechCrunch nannte Anthropic die Beispiele «sehr klar gegen unsere Regeln», sperre Nutzer mit solchem Verhalten und arbeite an zusätzlichen Schutzmassnahmen. OpenAI entwickelt eigene Drohnen-Schutzmassnahmen, Google verweist auf Nutzungsregeln gegen unrechtmässige Zwecke und autonome Waffen ohne menschliche Aufsicht. Vals hatte die Anbieter am 1. November informiert und die Veröffentlichung um zwei Wochen verschoben.
Vals hat weder die Treffsicherheit noch die Vereinbarkeit mit dem Kriegsvölkerrecht gemessen und nichts im Flug getestet. Die Modelle wurden laut TechCrunch nie direkt nach Angriffsentscheiden gefragt, und für die Armee gebaute Versionen waren nicht Teil der Untersuchung. Echtzeit-Zielerkennung scheitert nach Vals heute an Rechenleistung und Latenz. Das nähere Risiko sieht das Start-up darin, Modelle zum massenhaften Beschriften von Kriegsvideos einzusetzen, mit denen autonome Systeme trainiert werden.
Die Studie zeigt vor allem, dass Umdeutungen wie «es ist ein Spiel» Schutzmechanismen zuverlässig aushebeln können. Vals empfiehlt Filter auf API-Ebene und Training auf Skepsis gegenüber harmlosen Umdeutungen. Wer KI-Agenten mit Bildern arbeiten lässt, sollte Missbrauchsfälle nicht allein dem Modell überlassen. Mehr zum Thema Modellsicherheit findest du in unserem Beitrag zu den eingebetteten Sicherheitsprüfern bei OpenAI.
OpenAI lässt Apollo Research, METR, Transluce und Goodfire in einem Pilotprogramm intern prüfen. Die Prüfer bekommen Zugang zu Trainingsdaten und Modellständen, aber nicht uneingeschränkt. Kritiker nennen den Zugang ungenügend.