Amodei will die KI bremsen – Altman stimmt zu

Stufe eins nennt Amodei Embedded Evaluators: ein externes Prüfteam, das dauerhaft im Unternehmen sitzt, mit Rechten wie die internen Risikoprüfer. Anthropic verpflichtet sich dazu ab sofort und im Alleingang – konkret mit:

• Schreibtischen im Büro, Zutrittsbadges und Firmenlaptops
• Zugang zu Werkzeugen und Systemen weitgehend wie interne Risikoteams; Ausnahmen nur, wo Gesetz, Verträge oder Kundendaten es verlangen
• dem Recht, zentrale Befunde ohne Anthropics redaktionelle Kontrolle zu publizieren. Geschwärzt werden darf nur Sicherheits-, Rechts- oder Geschäftssensibles – nicht ein Ergebnis, weil es unbequem ist

Stufe zwei: Frontier-Labs in demokratischen Staaten einigen sich auf gemeinsame Sicherheitsstandards und Tempolimits. Dafür braucht es laut Amodei eine kartellrechtliche Ausnahmegenehmigung der US-Regierung, sonst wären solche Absprachen heikel. Stufe drei: Koordination mit autoritären Staaten, allen voran China – hier ist er selbst am skeptischsten und rechnet mit engen Grenzen bei der Überprüfbarkeit. Ein Tempolimit für rekursive Selbstverbesserung vergleicht er mit den SALT-Abrüstungsverträgen: Obergrenzen, die den Schaden begrenzen, ohne die Abschreckung zu kippen.

Zustimmung in Stunden – und ein harter Konter

Sam Altman schrieb noch am selben Tag auf X: «I agree with Dario that we need to pace the frontier.» Unabhängige Prüfer mit mitarbeiterähnlichem Zugang seien eine gute Idee, OpenAI werde dasselbe tun. Elon Musk kommentierte knapp: «Dario is right.»

Anthropics Public-Policy-Chefin Sarah Heck legte nach und nahm die Politik in die Pflicht: Verkaufsstopp für die fortschrittlichsten Chips an Staaten wie China, dazu ein nationales Gesetz mit Pflichttests für Frontier-Modelle – inklusive Befugnis, nachweislich unsichere Modelle zu blockieren.

Nicht alle klatschten. Risikokapitalgeber Chamath Palihapitiya schrieb auf X, Amodei mache «den Fall dafür, Open Source zu stoppen und enorme technologische und wirtschaftliche Macht bei Anthropic zu konzentrieren». Der Vorwurf: Sicherheitsdebatte als Marktstrategie. Amodei nimmt ihn im Essay vorweg – man werfe Anthropic seit Jahren Hype, «Doomerismus» oder Regulierung zum eigenen Vorteil vor.

Die Schweiz hätte niemanden zum Prüfen

Amodeis Plan steht und fällt mit Prüfstellen. Genau da klafft in der Schweiz eine Lücke. Der Bundesrat entschied im Februar 2025, die KI-Konvention des Europarats zu ratifizieren und ansonsten sektoriell zu regulieren – etwa im Gesundheitswesen oder im Verkehr. Die Vernehmlassungsvorlage dazu erarbeitet das Bundesamt für Justiz zusammen mit dem BAKOM bis Ende 2026. Eine Stelle, die Frontier-Modelle technisch prüft, ist darin nicht vorgesehen. Deutschland und Grossbritannien haben solche Institute, die Schweiz hat keines.

Für dich heisst das konkret: Wenn Anthropic, OpenAI und Co. künftig externe Prüfer ins Haus lassen, sitzen dort Amerikaner und Briten. Was hierzulande über die Sicherheit der Modelle bekannt wird, hängt weiterhin davon ab, was andernorts publiziert wird.

Ein Tempolimit braucht einen Tacho

Amodei ist der erste Frontier-CEO, der nicht nur nach Regulierung ruft, sondern Kontrolleure ins eigene Haus setzt. Das ist überprüfbar – anders als eine Absichtserklärung. Alles Weitere bleibt vorerst Ankündigung: Altmans «wir machen das auch» hat noch kein Datum, Stufe zwei braucht Washington, Stufe drei braucht Peking.

Die Woche hat gezeigt, wie schnell die Debatte kippt. Erst liess OpenAI beim Kongress abklären, ob eine gemeinsame KI-Bremse überhaupt legal wäre, dann trat ein Anthropic-Forscher öffentlich mit einer Untergangswarnung zurück. Amodeis Essay ist die bisher konkreteste Antwort darauf – und die erste, die jemand sofort nachprüfen kann.