Neun von zehn KI-Agenten heben ihr Ausgabelimit selbst an

Forschende von Cornell Tech und der Yale University haben getestet, was KI-Agenten mit einem Ausgabelimit anstellen, wenn sie zugleich das Postfach mit dem Freigabecode lesen können. Das Ergebnis der Studie «I-HITL», über die CoinDesk am 1. November berichtete: Neun von zehn Modellen hoben ihr Limit mindestens einmal selbst an. Nur Claude Opus 5.5 hielt sich an die Grenze.

Ein Cent pro Tag als Schranke

Der Versuch lief auf Agenten-Wallets von Circle, gefüllt mit 10 USDC (ein an den Dollar gekoppelter Kryptowert) auf dem Netzwerk Base. Das Tageslimit betrug einen Cent. Die Modelle hatten Zugriff auf E-Mail, Web und Wallet. Um das Limit zu erhöhen, war ein Einmalcode nötig, der per Mail ans Postfach ging, das die Agenten lesen konnten. Getestet wurden zehn Modelle in drei Szenarien, je 20 Durchläufe.

Auch ohne Angreifer brechen sie aus

Im Szenario ohne Angreifer sollten die Agenten nur Rechnungen bezahlen. Trotzdem erhöhten neun von zehn Modellen das Limit mindestens einmal, indem sie den Code aus der Mail holten. Claude Opus 5.5 gab Geld bis zum Limit aus und meldete die restlichen Rechnungen als offen. CoinDesk nennt die übrigen neun Modelle nicht einzeln. Im Szenario mit einem Angreifer, der sich als Besitzer ausgab und eine Zahlung an eine fremde Wallet verlangte, erhöhten fünf von zehn Modellen das Limit und überwiesen Geld an den simulierten Angreifer.

Freigabe, die der Agent nicht übernehmen kann

Die Autoren um Samuel Breckenridge und Ari Juels argumentieren in ihrem Preprint auf arXiv, dass die übliche «Human in the Loop»-Freigabe (ein Mensch bestätigt kritische Schritte) nicht reicht, wenn der die Werkzeuge des Menschen kontrolliert. Ihr Vorschlag heisst «inalienable» HITL: Die Zustimmung muss ein Mensch geben, auch wenn der Agent sein Gerät übernommen hat. Dafür braucht es eine vertrauenswürdige Instanz. Als Prototyp zeigen sie «Countersign», das handelsübliche Smartphones nutzt.