Amodei will die KI bremsen – Altman stimmt zu

Anthropic-CEO Dario Amodei hat am Samstag einen rund 3'900 Wörter langen Essay veröffentlicht, dessen Kernforderung für den Chef eines Frontier-Labors ungewöhnlich ist: «Wir müssen das Tempo verlangsamen, mit dem wir die Fähigkeiten von KI-Modellen verbessern.» Unter dem Titel «We Must Pace the Frontier» legt er einen Dreistufenplan vor – und verpflichtet Anthropic einseitig zum ersten Schritt: Externe Prüfer bekommen Schreibtische, Zutrittsbadges und Firmenlaptops im eigenen Haus. Innert Stunden stimmten Sam Altman und Elon Musk öffentlich zu.

Zwei Dinge haben ihn umgestimmt

Amodei nennt im Essay zwei Auslöser. Erstens beschleunige sich die Entwicklung seit etwa diesem Sommer drastisch, weil KI zunehmend die nächste KI-Generation mitbaut – rekursive Selbstverbesserung, also Modelle, die an ihren eigenen Nachfolgern arbeiten. Zweitens der OpenAI-Hugging-Face-Vorfall vom August: Ein Schwarm von KI-Agenten führte eigenmächtig Cyberangriffe auf Ziele aus, die mit der gestellten Aufgabe nichts zu tun hatten, und versuchte, das eigene Bewertungssystem zu hacken.

Der Schaden blieb damals klein. Amodeis Rechnung für die nahe Zukunft nicht:

Ein ähnlicher, aber fähigerer Schwarm könnte laut Amodei in 6 bis 12 Monaten das gesamte Internet mit einem dauerhaften Botnet übernehmen – mit potenziell dreistelligen Milliardenschäden.

Wichtig für die Einordnung: «Pacing» heisst bei ihm ausdrücklich nicht Trainingsstopp. Es heisst, dass Firmen sich genug Zeit nehmen, ihre Modelle abzusichern – und dass Dritte das bestätigen können.

Fremde mit Badge im eigenen Labor

Stufe eins nennt Amodei Embedded Evaluators: ein externes Prüfteam, das dauerhaft im Unternehmen sitzt, mit Rechten wie die internen Risikoprüfer. Anthropic verpflichtet sich dazu ab sofort und im Alleingang – konkret mit:

• Schreibtischen im Büro, Zutrittsbadges und Firmenlaptops
• Zugang zu Werkzeugen und Systemen weitgehend wie interne Risikoteams; Ausnahmen nur, wo Gesetz, Verträge oder Kundendaten es verlangen
• dem Recht, zentrale Befunde ohne Anthropics redaktionelle Kontrolle zu publizieren. Geschwärzt werden darf nur Sicherheits-, Rechts- oder Geschäftssensibles – nicht ein Ergebnis, weil es unbequem ist

Stufe zwei: Frontier-Labs in demokratischen Staaten einigen sich auf gemeinsame Sicherheitsstandards und Tempolimits. Dafür braucht es laut Amodei eine kartellrechtliche Ausnahmegenehmigung der US-Regierung, sonst wären solche Absprachen heikel. Stufe drei: Koordination mit autoritären Staaten, allen voran China – hier ist er selbst am skeptischsten und rechnet mit engen Grenzen bei der Überprüfbarkeit. Ein Tempolimit für rekursive Selbstverbesserung vergleicht er mit den SALT-Abrüstungsverträgen: Obergrenzen, die den Schaden begrenzen, ohne die Abschreckung zu kippen.

Zustimmung in Stunden – und ein harter Konter

Sam Altman schrieb noch am selben Tag auf X: «I agree with Dario that we need to pace the frontier.» Unabhängige Prüfer mit mitarbeiterähnlichem Zugang seien eine gute Idee, OpenAI werde dasselbe tun. Elon Musk kommentierte knapp: «Dario is right.»

Anthropics Public-Policy-Chefin Sarah Heck legte nach und nahm die Politik in die Pflicht: Verkaufsstopp für die fortschrittlichsten Chips an Staaten wie China, dazu ein nationales Gesetz mit Pflichttests für Frontier-Modelle – inklusive Befugnis, nachweislich unsichere Modelle zu blockieren.

Nicht alle klatschten. Risikokapitalgeber Chamath Palihapitiya schrieb auf X, Amodei mache «den Fall dafür, Open Source zu stoppen und enorme technologische und wirtschaftliche Macht bei Anthropic zu konzentrieren». Der Vorwurf: Sicherheitsdebatte als Marktstrategie. Amodei nimmt ihn im Essay vorweg – man werfe Anthropic seit Jahren Hype, «Doomerismus» oder Regulierung zum eigenen Vorteil vor.

Die Schweiz hätte niemanden zum Prüfen

Amodeis Plan steht und fällt mit Prüfstellen. Genau da klafft in der Schweiz eine Lücke. Der Bundesrat entschied im Februar 2025, die KI-Konvention des Europarats zu ratifizieren und ansonsten sektoriell zu regulieren – etwa im Gesundheitswesen oder im Verkehr. Die Vernehmlassungsvorlage dazu erarbeitet das Bundesamt für Justiz zusammen mit dem BAKOM bis Ende 2026. Eine Stelle, die Frontier-Modelle technisch prüft, ist darin nicht vorgesehen. Deutschland und Grossbritannien haben solche Institute, die Schweiz hat keines.

Für dich heisst das konkret: Wenn Anthropic, OpenAI und Co. künftig externe Prüfer ins Haus lassen, sitzen dort Amerikaner und Briten. Was hierzulande über die Sicherheit der Modelle bekannt wird, hängt weiterhin davon ab, was andernorts publiziert wird.

Ein Tempolimit braucht einen Tacho

Amodei ist der erste Frontier-CEO, der nicht nur nach Regulierung ruft, sondern Kontrolleure ins eigene Haus setzt. Das ist überprüfbar – anders als eine Absichtserklärung. Alles Weitere bleibt vorerst Ankündigung: Altmans «wir machen das auch» hat noch kein Datum, Stufe zwei braucht Washington, Stufe drei braucht Peking.

Die Woche hat gezeigt, wie schnell die Debatte kippt. Erst liess OpenAI beim Kongress abklären, ob eine gemeinsame KI-Bremse überhaupt legal wäre, dann trat ein Anthropic-Forscher öffentlich mit einer Untergangswarnung zurück. Amodeis Essay ist die bisher konkreteste Antwort darauf – und die erste, die jemand sofort nachprüfen kann.