Was passiert, wenn Millionen KI-Agenten aufeinandertreffen?

Bisher reden wir über einzelne KI-Agenten – kleine Programme, die selbständig Aufgaben erledigen, Mails sortieren oder Reisen buchen. Doch was passiert, wenn nicht einer, sondern Millionen davon gleichzeitig im Netz unterwegs sind und miteinander verhandeln, handeln und sich gegenseitig Anweisungen geben? Genau diese Frage treibt Google DeepMind um – und das Unternehmen legt jetzt Geld auf den Tisch, um sie zu beantworten.

10 Millionen Dollar für ein Forschungsfeld, das noch fehlt

DeepMind hat zusammen mit mehreren Partnern einen Förderaufruf über 10 Millionen Dollar gestartet. Mit an Bord sind die Wissenschaftsstiftung Schmidt Sciences, die britische Innovationsagentur ARIA, die gemeinnützige Cooperative AI Foundation und Googles Spendenarm Google.org.

Das Ziel klingt fast akademisch, ist aber brisant: Es soll überhaupt erst ein Forschungsfeld zur Sicherheit von Multi-Agenten-Systemen entstehen.

«Das Hauptproblem ist, dass es noch gar kein richtiges Forschungsfeld für Multi-Agenten-Sicherheit gibt», sagt Rohin Shah, der bei DeepMind die Forschung zu KI-Sicherheit leitet. «Und wir hätten gerne eines.»

Wenn aus bekannten Gefahren Massenphänomene werden

Worum geht es konkret? Laut Shah und James Fox von Schmidt Sciences sind die Risiken oft aufgepumpte Versionen von Problemen, die wir längst kennen: Betrug, Cyberangriffe und sogenannte Prompt Injections – dabei wird einem KI-Agenten über einen manipulierten Text eine versteckte Anweisung untergeschoben, die ihn zum Werkzeug von Angreifern macht.

Der Unterschied liegt in der Masse. Niemand kann zuverlässig vorhersagen, was geschieht, wenn unzählige solcher Agenten gleichzeitig interagieren.

«Wir haben dieses digitale Gemeingut, das für unsere Gesellschaft zentral ist – und du willst wirklich verhindern, dass es in blanker Anarchie versinkt», so Fox.

Die Förderung verteilt sich auf vier Bereiche: realistische Test-Sandkästen, die Erforschung von Gruppenverhalten ganzer Agenten-Netzwerke, eine sichere Infrastruktur für Identität und Reputation der Agenten sowie Methoden, um ausgerollte Agenten-Schwärme zu überwachen. Bewerben können sich Forschende weltweit – in zwei Stufen bis 300'000 respektive bis zu einer Million Dollar, Einsendeschluss ist der 8. August.

Nicht nur DeepMind ist nervös

DeepMind steht mit seiner Sorge nicht allein. Erst vor wenigen Wochen veröffentlichte Anthropic Leitlinien für den Einsatz von KI-Agenten nach dem Prinzip «Zero Trust» – also der Grundannahme, dass jedes System verwundbar und jeder Agent ein potenzieller Angreifer ist.

Für dich ist das relevanter, als es klingt. Sobald Schweizer Unternehmen Agenten produktiv einsetzen – und das passiert gerade in rasantem Tempo –, werden genau diese Fragen praktisch. Der weltweite Förderaufruf steht ausdrücklich auch Forschenden an ETH, EPFL oder dem neuen Swiss National AI Institute offen. Shah schätzt, dass es nur noch wenige Monate dauert, bis Agenten in solcher Zahl im Wirtschaftsleben stecken, dass die Risiken real werden. Er will vorher bereit sein.