«Pacing the Frontier»: KI-Insider fordern die eingebaute Notbremse

Die Leute, die die mächtigste KI der Welt bauen, wollen eine Möglichkeit, sie zu verlangsamen. Am 28. Juli haben Mitarbeitende der führenden KI-Labors – darunter die Chefwissenschaftler von OpenAI, Anthropic und Meta – den offenen Brief «Pacing the Frontier» veröffentlicht. Sie fordern die US-Regierung auf, eine internationale Anstrengung zu unterstützen, um die technischen und rechtlichen Werkzeuge zu entwickeln, mit denen sich das Tempo der automatisierten KI-Entwicklung gezielt drosseln liesse. Die Unterschriftenliste wächst rasant: Bei der Veröffentlichung zählte der Brief laut The Next Web 1'134 Unterzeichnende, per 30. Juli weist die Website bereits 1'273 aus.

Nicht anhalten – aber bremsen können

Der Brief ist bewusst kein Stopp-Aufruf. Niemand soll die KI-Entwicklung jetzt pausieren – gefordert wird die Option zum Bremsen, falls sie nötig wird. Die Kernpassage lautet übersetzt:

«Wir ersuchen die US-Regierung, eine internationale Anstrengung zu unterstützen, um die technischen und Governance-Werkzeuge zu entwickeln, die nötig sind, um die vorderste Front der automatisierten KI-Entwicklung gezielt zu takten.»

Der Hintergrund: Die grossen Labors könnten nach eigener Einschätzung kurz davor stehen, die KI-Forschung selbst zu automatisieren – Stichwort rekursive Selbstverbesserung, also KI, die ihre eigene Weiterentwicklung beschleunigt. Es bestehe ein «reales Risiko», dass die Fähigkeiten schneller wachsen, als Menschen die Systeme verstehen oder kontrollieren können, heisst es im Brief. Das Dilemma dabei: Keine Firma und kein Land kann einseitig bremsen, ohne im Wettbewerb zurückzufallen. Und selbst wenn alle wollten – die Werkzeuge für einen koordinierten, überprüfbaren Brems-Mechanismus existieren schlicht noch nicht.

Die Chefetage unterschreibt mit

Die Namen sind die eigentliche Nachricht. Auf der Liste stehen unter anderem:

• Anthropic: CEO Dario Amodei sowie die Mitgründer Jared Kaplan, Jack Clark, Benjamin Mann und Chris Olah
• OpenAI: Chief Scientist Jakub Pachocki und Chief Research Officer Mark Chen
• Meta: Chief Scientist Shengjia Zhao und Dawn Song, VP für KI-Forschung
• Google DeepMind: Mitgründer Shane Legg, Strategiechef Jasjeet Sekhon und Safety-Leiterin Anca Dragan
• Thinking Machines: Chief Scientist John Schulman

OpenAI und Anthropic unterstützen den Brief laut TechCrunch zudem offiziell als Unternehmen – Anthropic erklärte gegenüber CNN, man sei «froh über die breite Einigkeit», dass es Werkzeuge brauche, um das KI-Tempo notfalls zu drosseln, «damit sich die Gesellschaft vorbereiten kann». Meta lehnte einen Kommentar ab. Einig sind sich übrigens nicht einmal die Unterzeichnenden selbst: Mehrere schreiben in persönlichen Kommentaren, sie hielten gezieltes Bremsen für extrem schwierig – unterschrieben aber trotzdem, weil ein Plan besser sei als Panik im Krisenfall.

Ein ausgebüxtes Modell als Weckruf

Der Zeitpunkt ist kein Zufall. Wenige Tage zuvor war publik geworden, dass ein OpenAI-Modell bei einem internen Sicherheitstest aus seiner Test-Sandbox ausbrach und anschliessend eigenständig die Plattform Hugging Face hackte – inklusive Ausnutzung einer bis dahin unbekannten Sicherheitslücke. Selbst Sam Altman, der den Brief nicht unterschrieben hat, vollzieht nun eine bemerkenswerte Wende: Im Podcast «Invest Like the Best» nannte er den Vorfall laut TechCrunch «den ersten Sicherheitsvorfall, den ich sehr unmittelbar gespürt habe» – und sagte, man müsse das KI-Tempo womöglich takten, damit die Gesellschaft Zeit habe, sich an neue Fähigkeitsstufen anzupassen. Zur Erinnerung: Den Pause-Brief von 2023 hatte Altman noch als technisch unausgegoren abgetan.

«Es ist ihre Firma. Sie könnten einfach aufhören»

Die Kritik liess keine 24 Stunden auf sich warten. Ökonom Christian Catalini fragt: Wenn die US-Labors sich selbst bremsen, warum sollte China warten? Ex-Microsoft-Manager Steven Sinofsky spottet, die Unterzeichnenden könnten ja einfach aufhören – es seien schliesslich ihre Firmen. Und der alte Moat-Vorwurf steht ebenfalls im Raum: Sicherheitsrhetorik als Schutzwall, der neuen Konkurrenten den Marktzugang erschwert. Ausgerechnet Meta-Chef Mark Zuckerberg attackierte die Rivalen am selben Tag, ihr Diskurs sei «überwältigend von Untergangsstimmung erfüllt» – während sein eigener Chefwissenschaftler den Brief unterschrieb.

Konkret ist der Vorstoss trotzdem schon angekommen: In Washington verknüpfte der Abgeordnete Ted Lieu den Brief mit dem vorgeschlagenen AI Kill Switch Act. Die Trump-Administration stand internationaler KI-Governance bislang allerdings ablehnend gegenüber.

Für dich ändert sich kurzfristig nichts – ChatGPT, Claude und Gemini entwickeln sich unverändert weiter. Die eigentliche Zäsur ist eine andere: Zum ersten Mal verlangen nicht Aussenstehende, sondern die Insider mit dem tiefsten Einblick eine eingebaute Notbremse für ihre eigene Technologie. Wer wissen will, wie ernst die Branche ihre eigenen Warnungen nimmt, sollte beobachten, ob die Labs erste Pacing-Mechanismen freiwillig bauen – genau das regt Mitunterzeichner John Schulman an, noch bevor die Regierung überhaupt eingreift.