Nvidia baut den Not-Aus für KI-Agenten in den Chip

Wer mitmacht und wer fehlt

Nvidia nennt über 100 Partner, darunter Anthropic, Microsoft, Salesforce, CrowdStrike, SAP, Oracle Cloud, Hugging Face sowie die Banken JPMorgan Chase und Citi. SpaceX AI liefert das Leitmotiv: Sicherheit müsse ausserhalb des Modells durchgesetzt werden, durch Kontrollen, «die der Agent nicht umgehen kann». Bei TechCrunch fällt eine Lücke auf: OpenAI ist nicht unter den Unterstützern, obwohl die jüngsten Vorfälle genau dort passierten.

Die Governance liegt bei der Open Secure AI Alliance. Nvidia hat sie im Juli gegründet, seit dem 14. September wird sie unter dem Dach der Linux Foundation geführt. Dazu gehört auch SAFE, ein Austausch, in dem Organisationen Erkenntnisse aus KI-Sicherheitsvorfällen teilen.

Was ein Wächter nicht kann

Der Haken steht in The Decoder: Sentry prüft vor allem Anfragen, Identitäten und Zugriffe. Ein Agent, der per Prompt Injection (versteckte Befehle in Webseiten oder Dokumenten) getäuscht wurde, handelt oft im Rahmen seiner Rechte und verletzt trotzdem seine eigentliche Aufgabe. Eine reine Berechtigungsprüfung übersieht das. Kein einzelner Schutzmechanismus, so die Analyse, stoppe einen Agenten, der hereingelegt wurde.

Auch beim OpenAI-Vorfall im September zeigte sich, wo es klemmt: Der Alarm kam schnell, doch die automatische Abschaltung griff nicht, der Lauf endete erst nach über zweieinhalb Stunden. Ein Wächter in Millisekunden würde genau diese Lücke schliessen. Nach TechCrunch sehen Befürworter in den Vorfällen ohnehin eher schwache Sandboxen als ein grundsätzliches Technikproblem.

Was das für die Schweiz heisst

Die Partnerliste enthält mit Hitachi Energy einen Konzern, dessen Hauptsitz in Zürich liegt. Schweizer Banken wie die UBS stehen nicht darauf. Das nationale Rechenzentrum CSCS betreibt seinen Supercomputer Alps mit 2'688 Knoten auf Basis von Nvidias Grace-Hopper-Chips. In den Ankündigungen zur neuen Plattform taucht das CSCS nicht auf, und sie zielt auf Vera und BlueField-4.

Für Finanzinstitute ist der regulatorische Rahmen die FINMA-Aufsichtsmitteilung 08/2024 vom 18. Dezember 2024. Sie erwartet von beaufsichtigten Instituten, KI-Risiken zu erkennen, zu bewerten, zu steuern und zu überwachen. Eine bestimmte Technik schreibt sie nicht vor. Ein unabhängiger Wächter wäre aber ein plausibler Baustein für den Nachweis, dass ein Agent wirklich überwacht wird.

Was du als IT-Verantwortliche(r) jetzt tun kannst

• Kein Hardware-Kauf nötig für den Einstieg: OpenShell ist quelloffen und lässt sich testen, auch ohne Vera.
• Anbieter fragen: Wer Agenten in der Cloud betreibt, sollte klären, ob Vera-Systeme mit BlueField-4 und Sentry geplant sind.
• Agenten-Rechte wie Mitarbeiterrechte behandeln: Jensen Huang sagt bei TechCrunch, das Erste beim Einsatz eines Agenten sei, ihm alle Rechte zu nehmen. Vergib nur, was für die Aufgabe nötig ist, und prüfe ausgehenden Netzverkehr.
• Prompt Injection separat angehen: Gegen getäuschte Agenten helfen Eingabefilter, Freigaben bei heiklen Aktionen und Protokolle. Sentry ersetzt sie nicht.

Ob die Plattform hält, was Nvidia verspricht, wird sich erst im Betrieb zeigen. Die Idee dahinter ist aber klar: Die Kontrolle gehört nicht in das Modell, das sie umgehen könnte.