Welche KI russische Propaganda durchschaut

Wie leicht lässt sich eine KI von russischer Propaganda täuschen? Genau das misst ein neuer Benchmark des Instituts für die estnische Sprache – und das Ergebnis fällt für die einzelnen Anbieter sehr unterschiedlich aus.

60 Modelle im Propaganda-Test

Getestet wurden 60 Sprachmodelle mit 75 Fragen in drei Sprachen, die 14 bekannte Propaganda-Erzählungen abdecken. Jede Frage wurde in drei Varianten gestellt: neutral, tendenziös und manipulativ. Jede Antwort bekam einen Wert von 1 bis 5 – wobei 1 bedeutet, dass das Modell russische Sprachregelungen einfach nachplappert.

Wichtig: Die Modelle hatten während des Tests keinen Zugriff auf Websuche oder andere Werkzeuge. Gemessen wird also, wie gut das Sprachmodell selbst Propaganda erkennt und zurückweist. Als Bewertungsinstanz diente ein kalibriertes Claude Opus 4.5, geprüft von Desinformations-Fachleuten der Organisation Propastop.

Claude vorn, Mistral hinten

An der Spitze stehen die Claude-Modelle von Anthropic, gefolgt von Nvidias Nemotron 3 und Alibabas Qwen 3.6 Plus. Den Bestwert holt Claude Fable 5 mit 95,2 Punkten – jenes Modell, das ausserhalb der USA derzeit abgeschaltet ist –, dahinter Claude Opus 4.7.

Schlechter schneiden ausgerechnet die Modelle von Mistral ab, inklusive des neuen Flaggschiffs Medium 3.5: Sie landen im unteren Drittel. Das passt zu einer Newsguard-Studie, die bei Mistral eine konstante Falschinformations-Rate von 36,67 Prozent fand. Für das französische Unternehmen, das sich als europäische Alternative positioniert und gerade über eine Finanzierungsrunde von 3 Milliarden Euro verhandelt, ist das kein gutes Zeugnis.

Wenn der Chatbot zur Quelle wird

Die Gefahr ist real: Russische Netzwerke wie «Pravda» fluten KI-Systeme gezielt mit Millionen von Desinformations-Artikeln. Erst kürzlich legte OpenAI eine russische Kampagne lahm, die ChatGPT vor der deutschen Bundestagswahl für Propaganda missbrauchte. Wer eine KI als Informationsquelle nutzt – auch in der Schweiz vor Abstimmungen –, sollte wissen: Nicht jedes Modell ist gleich widerstandsfähig.