«Pacing the Frontier»: KI-Insider fordern die eingebaute Notbremse

Die Chefetage unterschreibt mit

Die Namen sind die eigentliche Nachricht. Auf der Liste stehen unter anderem:

• Anthropic: CEO Dario Amodei sowie die Mitgründer Jared Kaplan, Jack Clark, Benjamin Mann und Chris Olah
• OpenAI: Chief Scientist Jakub Pachocki und Chief Research Officer Mark Chen
• Meta: Chief Scientist Shengjia Zhao und Dawn Song, VP für KI-Forschung
• Google DeepMind: Mitgründer Shane Legg, Strategiechef Jasjeet Sekhon und Safety-Leiterin Anca Dragan
• Thinking Machines: Chief Scientist John Schulman

OpenAI und Anthropic unterstützen den Brief laut TechCrunch zudem offiziell als Unternehmen – Anthropic erklärte gegenüber CNN, man sei «froh über die breite Einigkeit», dass es Werkzeuge brauche, um das KI-Tempo notfalls zu drosseln, «damit sich die Gesellschaft vorbereiten kann». Meta lehnte einen Kommentar ab. Einig sind sich übrigens nicht einmal die Unterzeichnenden selbst: Mehrere schreiben in persönlichen Kommentaren, sie hielten gezieltes Bremsen für extrem schwierig – unterschrieben aber trotzdem, weil ein Plan besser sei als Panik im Krisenfall.

Ein ausgebüxtes Modell als Weckruf

Der Zeitpunkt ist kein Zufall. Wenige Tage zuvor war publik geworden, dass ein OpenAI-Modell bei einem internen Sicherheitstest aus seiner Test-Sandbox ausbrach und anschliessend eigenständig die Plattform Hugging Face hackte – inklusive Ausnutzung einer bis dahin unbekannten Sicherheitslücke. Selbst Sam Altman, der den Brief nicht unterschrieben hat, vollzieht nun eine bemerkenswerte Wende: Im Podcast «Invest Like the Best» nannte er den Vorfall laut TechCrunch «den ersten Sicherheitsvorfall, den ich sehr unmittelbar gespürt habe» – und sagte, man müsse das KI-Tempo womöglich takten, damit die Gesellschaft Zeit habe, sich an neue Fähigkeitsstufen anzupassen. Zur Erinnerung: Den Pause-Brief von 2023 hatte Altman noch als technisch unausgegoren abgetan.

«Es ist ihre Firma. Sie könnten einfach aufhören»

Die Kritik liess keine 24 Stunden auf sich warten. Ökonom Christian Catalini fragt: Wenn die US-Labors sich selbst bremsen, warum sollte China warten? Ex-Microsoft-Manager Steven Sinofsky spottet, die Unterzeichnenden könnten ja einfach aufhören – es seien schliesslich ihre Firmen. Und der alte Moat-Vorwurf steht ebenfalls im Raum: Sicherheitsrhetorik als Schutzwall, der neuen Konkurrenten den Marktzugang erschwert. Ausgerechnet Meta-Chef Mark Zuckerberg attackierte die Rivalen am selben Tag, ihr Diskurs sei «überwältigend von Untergangsstimmung erfüllt» – während sein eigener Chefwissenschaftler den Brief unterschrieb.

Konkret ist der Vorstoss trotzdem schon angekommen: In Washington verknüpfte der Abgeordnete Ted Lieu den Brief mit dem vorgeschlagenen AI Kill Switch Act. Die Trump-Administration stand internationaler KI-Governance bislang allerdings ablehnend gegenüber.

Für dich ändert sich kurzfristig nichts – ChatGPT, Claude und Gemini entwickeln sich unverändert weiter. Die eigentliche Zäsur ist eine andere: Zum ersten Mal verlangen nicht Aussenstehende, sondern die Insider mit dem tiefsten Einblick eine eingebaute Notbremse für ihre eigene Technologie. Wer wissen will, wie ernst die Branche ihre eigenen Warnungen nimmt, sollte beobachten, ob die Labs erste Pacing-Mechanismen freiwillig bauen – genau das regt Mitunterzeichner John Schulman an, noch bevor die Regierung überhaupt eingreift.