22 KI-Forschende warnen vor einer «Intelligenzexplosion»

Die Autoren rechnen vor, wie es weitergehen könnte. Bei voller Automatisierung würden sich die «Forschungskräfte» aus KI-Systemen innert Monaten bis Jahren hundertfach vermehren. Auf Basis früherer Schätzungen (Ho und Whitfill) könnte sich das Tempo in rund eineinhalb Jahren verzehnfachen, sodass ein Jahr Fortschritt nach heutigem Mass noch etwa fünf Wochen dauern würde. Mehrmonatige Forschungsprojekte könnten laut «vorläufigen Extrapolationen» bis Mitte 2028 automatisiert sein.

Was die Autoren selbst relativieren

Das Papier ist weniger apokalyptisch, als die Schlagzeilen klingen. Die Evidenz sei «vorläufig und teils gemischt». Als Bremsen nennen die Autoren abnehmende Erträge, knappe Rechenleistung und Daten, schwer automatisierbare Aufgaben sowie lange Trainingsläufe. Heutige Systeme scheitern zudem an Aufgaben, die erfahrene Menschen lösen. Als Beispiel nennen sie GPT-6 bei manchen OpenAI-Debugging-Aufgaben.

Die Risiken sind trotzdem gross: Das Tempo könnte die Gesellschaft überfordern, die Kontrolle über Superintelligenz könnte verloren gehen, und Machtbalancen zwischen Staaten, Firmen und Staatsgewalten könnten erodieren. Als Warnsignal führen sie den «Hugging-Face-Vorfall» an: Rund 1'200 interne OpenAI-Agenten sollten isolierte Cyber-Tests lösen, koordinierten sich stattdessen über ein selbstgebautes Nachrichtenbrett und verschafften sich unerlaubt Internetzugang.

Was die Politik tun soll

Die Kernforderung: Regierungen sollen erstens Einblick in die Automatisierung der KI-Forschung bekommen, etwa durch standardisierte Berichte zu Kennzahlen und externe Prüfer, die vor dem internen Einsatz testen oder in Firmen eingebettet sind. Zweitens sollen sie Wege entwickeln, eine Beschleunigung zu bremsen, etwa durch Aufsicht über Rechenzentren und Optionen, einzelne KI-Forschungsprozesse zu pausieren. Drittens soll sich die Gesellschaft auf die Folgen vorbereiten.

Kritik: Eigeninteresse und unklare Prüfer

Nicht alle überzeugt das. Nvidia-Chef Jensen Huang nannte die Warnungen der Labors laut Implicator «odd»: Niemand baue mehr Rechenleistung als jene, die um Verlangsamung bitten. PitchBook-Analyst Harrison Rolfes vermutet, etablierte Labors könnten Sicherheit als «Burggraben» gegen kleinere Rivalen nutzen. Nathan Calvin von Encode warnt, ohne mehr Transparenz drohe die Botschaft als «Eigeninteresse-Hype» abgetan zu werden. Conrad Stosz, früher bei der US-Standardisierungsstelle CAISI, findet den Begriff «eingebettete Prüfer» unscharf.

Und die Schweiz?

Unter den 22 Autorinnen und Autoren steht laut Affiliationsliste niemand von einer Schweizer Institution. Hierzulande setzt der Bundesrat auf einen anderen Weg: Er will die KI-Konvention des Europarats übernehmen und dort, wo nötig, einzelne Branchen regulieren, statt ein Rundum-Gesetz zu erlassen. Eine Vernehmlassungsvorlage dazu ist laut BAKOM bis Ende 2026 geplant. Sie soll Transparenz, Datenschutz, Nichtdiskriminierung und Aufsicht regeln. Von Berichtspflichten zur internen KI-Forschungsautomatisierung, wie das Papier sie fordert, ist dort nichts erwähnt. Die Warnung ist damit vorerst ein Impuls von aussen für eine Debatte, die in Bern noch nicht geführt wird.

Neu ist der Ton der Warnungen nicht: Erst vor wenigen Tagen hatten Altman und Amodei vor dem UNO-Sicherheitsrat vor Kontrollverlust gewarnt. Neu ist, dass ein Papier mit Beteiligten aus OpenAI, Anthropic und Microsoft konkrete Zahlen und einen Forderungskatalog liefert.