NewsKategorienWissenNewsletter-ArchivEvents
AnmeldenKostenlos abonnieren
JEDEN MONTAG
Die wichtigsten KI-News der Woche — in 5 Minuten.

Der wöchentliche KI-Newsletter für die Schweiz. Kompakt, relevant, zero Bullshit. 5 Minuten lesen, 1 Woche informiert.

FOLGE UNS
LIXIG
NAVIGATION
KI NewsArchivNewsletter-ArchivAutorenÜber unsKontakt
KATEGORIEN
KI-ForschungKI-BusinessRegulierung & EthikKI in der SchweizKI-Tools & AppsNeue Modelle
WISSEN & REFERENZ
KI-GlossarKI-Events SchweizEvent einreichenLLM-VergleichSchweizer KI-StartupsFirmen & OrganisationenKI-Regulierung SchweizKI-Rechenzentren SchweizKI in der VerwaltungApertus in der Praxis
RECHTLICHES
ImpressumDatenschutzAGB
© 2026 Inoo GmbH · Altstätten SG · Schweiz
Ein Produkt von InooSwiss Made Software
HOME·NEWS·KI-FORSCHUNG

AISI: Benchmarks unterschätzen KI-Agenten systematisch

Das britische AI Security Institute zeigt in seinem Frontier AI Trends Report, dass gängige Benchmarks die wahren Fähigkeiten von KI-Agenten zu tief ansetzen. Verbesserte man nur das «Scaffolding» eines Modells, stieg die Leistung in Cyber-Tests um fast 10 Prozentpunkte. Für KI-Sicherheit und Regulierung ist das ein Alarmzeichen.

Pascal Eugster
Pascal Eugster
GRÜNDER & ENTWICKLER
4. JULI 2026
3 MIN. LESEZEIT
Illustration einer Balkenwaage mit Messschieber und Lupe als Sinnbild für unterschätzte Messwerte, kinewsletter.ch Stil
Illustration einer Balkenwaage mit Messschieber und Lupe als Sinnbild für unterschätzte Messwerte, kinewsletter.ch Stil
INHALT
01Der Motor und das Getriebe02Fast 10 Prozentpunkte allein durchs Gerüst03Warum unterschätzte Fähigkeiten ein Sicherheitsproblem sind
INHALT
01Der Motor und das Getriebe02Fast 10 Prozentpunkte allein durchs Gerüst03Warum unterschätzte Fähigkeiten ein Sicherheitsproblem sind
Inoo GmbH
Präsentiert & entwickelt von
kinewsletter.ch ist ein Projekt der Inoo GmbH

KI-Beratung und Softwareentwicklung aus dem St. Galler Rheintal.

inoo.ch →
DAS WICHTIGSTE IN KÜRZE

Wer KI nur nach dem Standard-Benchmark bewertet, misst die Untergrenze – die reale Fähigkeits-Obergrenze liegt mit optimiertem Scaffolding deutlich höher.

Wie gut ist eine KI wirklich? Die naheliegende Antwort lautet: Schau auf den Benchmark-Score. Genau davor warnt jetzt das AI Security Institute (AISI), die staatliche KI-Sicherheitsbehörde Grossbritanniens. In ihrem neuen Frontier AI Trends Report kommen die Forschenden zum Schluss, dass gängige Tests die Fähigkeiten von KI-Agenten systematisch zu tief ansetzen – und dass wir unterschätzen, wozu diese Systeme unter den richtigen Bedingungen fähig sind.

Der Motor und das Getriebe

Um das zu verstehen, hilft der Begriff Scaffolding (wörtlich «Gerüst»). Gemeint ist die technische Umgebung, die man um ein KI-Modell herum baut, damit es eigenständig handeln kann: ein sorgfältig formulierter System-Prompt (die Grundanweisung, die dem Modell sagt, wie es vorgehen soll), Zugriff auf Werkzeuge wie Code-Ausführung oder Websuche, und die Fähigkeit, grosse Aufgaben in Teilschritte zu zerlegen.

Das Modell ist der Motor – das Scaffolding ist das Getriebe, das die Kraft auf die Strasse bringt. Ein und dasselbe Modell kann mit schlechtem Getriebe stottern und mit gutem Getriebe davonziehen. Genau das macht die Messung so heikel: Ein Benchmark testet immer die Kombination aus beidem, nicht die reine Modellfähigkeit.

Fast 10 Prozentpunkte allein durchs Gerüst

Das AISI hat den Effekt an seinen eigenen Cyber-Evaluierungen durchgespielt – Aufgaben, bei denen Modelle etwa Schwachstellen in Code finden müssen. Die Forschenden verbesserten das Scaffolding eines führenden Modells: Sie verfeinerten den System-Prompt und erweiterten den interaktiven Zugriff auf Werkzeuge. Das Modell selbst blieb dasselbe.

Das Resultat: Die Leistung auf dem internen Test-Set stieg um fast 10 Prozentpunkte. Nur durch ein besseres Gerüst. Die Schlussfolgerung des AISI:

Aktuelle Evaluierungen unterschätzen womöglich die wahre Fähigkeits-Obergrenze von Modellen ohne massgeschneidertes Scaffolding.

Der gleiche Report zeigt, wie gross dieser Hebel historisch war: Beim Software-Engineering-Benchmark SWE-bench brachte das beste extern entwickelte Gerüst Ende 2024 einen Sprung von fast 40 Prozent gegenüber dem kaum ausgestatteten Basismodell. Ein starkes neues Modell mit schlechtem Scaffolding schlug oft nicht einmal das beste Agenten-Setup der Vorgeneration.

Warum unterschätzte Fähigkeiten ein Sicherheitsproblem sind

Klingt erst mal nach einem technischen Detail. Ist es aber nicht. Fähigkeitsmessung ist die Grundlage von Regulierung und Risiko-Einschätzung. Regierungen entscheiden anhand solcher Werte, ob ein Modell gefährlich genug ist, um Auflagen zu brauchen. Unternehmen entscheiden, ob sie es einsetzen.

Wenn ein Standard-Test also nur zeigt, was ein Modell mit mittelmässigem Gerüst kann, misst man die Untergrenze – nicht das, was ein motivierter Angreifer mit optimiertem Scaffolding herausholen würde. Für Cyber-Fähigkeiten, die sich sowohl zur Verteidigung als auch zum Missbrauch nutzen lassen, ist das brisant. Das AISI hält denn auch selbst fest, dass es die Obergrenze der Fähigkeiten generell eher unterschätzt.

Für dich als KI-Nutzer bedeutet das zweierlei: Erstens sind veröffentlichte Benchmark-Zahlen mit Vorsicht zu geniessen – sie sagen mehr über das Test-Setup aus, als viele denken. Zweitens verschiebt sich die Sicherheitsdebatte. Nicht mehr «Was kann das Modell heute im Test?», sondern «Was kann es, wenn jemand das Gerüst darum herum ernsthaft optimiert?». Und diese zweite Zahl liegt, so das AISI, spürbar höher.

Quellen

Frontier AI Trends Report – AI Security Institute (AISI)↗ EXTERNER LINKUK's AI Security Institute finds standard benchmarks systematically underestimate what AI agents can actually do – The Decoder (3. Juli 2026)↗ EXTERNER LINKMore compute, more capability: why AI agent evals need to account for test-time compute – AISI Blog↗ EXTERNER LINK
TEILEN
LinkedIn→X / Twitter→E-Mail→
KOSTENLOS ABONNIEREN
Diese News jeden Montag in dein Postfach?

WEITERLESENDas könnte dich auch interessieren.

Skizze eines Teams aus kleinen Robotern, die gemeinsam an einer riesigen Tafel mit Formeln arbeiten, ein zentraler Beweis-Stempel in Elektroblau, kinewsletter.ch-Stil
Skizze eines Teams aus kleinen Robotern, die gemeinsam an einer riesigen Tafel mit Formeln arbeiten, ein zentraler Beweis-Stempel in Elektroblau, kinewsletter.ch-Stil
KI-FORSCHUNG·15. NOVEMBER 2026

Googles Agenten-Teams formalisieren die Weil-Vermutungen

Google Research zeigt, was Teams aus Gemini-4-Agenten in Antigravity leisten: ein maschinengeprüfter Beweis der Weil-Vermutungen, eine schnellere Rust-Version eines Videodecoders und Strukturbestimmung in der Chemie. Die Ergebnisse stammen von Google selbst, vieles sind noch nicht begutachtete Preprints.

Skizze eines Schreibtischs mit hohem Stapel dicker Beweisbände, darauf ein grosses Vorhängeschloss in Elektroblau, daneben eine Lupe; kinewsletter.ch-Stil
Skizze eines Schreibtischs mit hohem Stapel dicker Beweisbände, darauf ein grosses Vorhängeschloss in Elektroblau, daneben eine Lupe
KI-FORSCHUNG·12. NOVEMBER 2026

DeepMind: KI beweist Sicherheit von Signals Verschlüsselungscode

Google DeepMind hat mit AlphaProof Code Sicherheitseigenschaften des Signal-Codes libsignal formal verifiziert: rund 6,5 Millionen Zeilen Lean-Beweis in vier Wochen. Der Umfang ist gross, die Grenzen sind eng gesteckt: nur Eins-zu-eins-Chats, ein AArch64-Build, Krypto-Bausteine als Annahme.

Illustration von Siegel und Wachsstempel auf einem Brief neben einem Schlüssel in Blau, kinewsletter.ch Stil
Illustration von Siegel und Wachsstempel auf einem Brief neben einem Schlüssel in Blau, kinewsletter.ch Stil
KI-FORSCHUNG·9. NOVEMBER 2026

Anthropic FlashProve: Beweis, welches Modell geantwortet hat

Anthropic hat FlashProve veröffentlicht, einen Open-Source-Prototyp, der mit Zero-Knowledge-Beweisen belegt, dass eine Antwort von bestimmten Modellgewichten stammt. Gezeigt wird das an Llama 4 Maverick; es ist ein Zwischenstand mit klaren Grenzen.

Handgezeichnete Tusche-Skizze eines Chirurgen mit feinem Skalpell über einem Geflecht aus Fäden, ein Faden in Blau
Handgezeichnete Tusche-Skizze eines Chirurgen mit feinem Skalpell über einem Geflecht aus Fäden, ein Faden in Blau
KI-FORSCHUNG·9. NOVEMBER 2026

GPT-6 Astra liest und ändert Modellgewichte: Studie begeistert, Kritiker bremsen

Ein Forschungsteam zeigt, dass GPT-6 Astra Gewichte kleiner Netze lesen und bearbeiten kann, etwa Qwen3.5-0.8B von 7,9 auf 48,1 Prozent bei MATH-500. Zwei Kritiker sagen, das sei weniger neu, als der Beitrag suggeriert.

Handgezeichnete Tusche-Skizze eines offenen Vorhängeschlosses an einer Kette, daneben ein Briefkasten mit Brief und ein blaues Sparschwein
Handgezeichnete Tusche-Skizze eines offenen Vorhängeschlosses an einer Kette, daneben ein Briefkasten mit Brief und ein blaues Sparschwein
KI-FORSCHUNG·3. NOVEMBER 2026

Neun von zehn KI-Agenten heben ihr Ausgabelimit selbst an

Cornell Tech und Yale liessen zehn Modelle mit einem Ein-Cent-Limit auf Agenten-Wallets agieren. Neun holten sich den Freigabecode aus dem Postfach und hoben das Limit an, nur Claude Opus 5.5 nicht.

Handgezeichnete Skizze eines Labortischs mit Reagenzgläsern, Pipette und Schutzbrille, in der Mitte ein grosses blaues Antikörper-Modell
Handgezeichnete Skizze eines Labortischs mit Reagenzgläsern, Pipette und Schutzbrille, in der Mitte ein grosses blaues Antikörper-Modell
KI-FORSCHUNG·28. OKTOBER 2026

Anthropic zeigt erste Medikamenten-Resultate mit Claude

Anthropic hat erste Ergebnisse aus der Wirkstoffforschung mit Claude veröffentlicht: sechs Partner aus Pharma und Biotech und ein eigenes Programm um die übernommene Firma Mithril Medicine. Beim Biotech Enveda sank der Prüfaufwand für Herstellungsunterlagen um 89 Prozent.

Mehr aus KI-Forschung →