Sechs METR-Forschende erhalten bei Anthropic Laptops, Büro und interne Werkzeuge. Veröffentlichen dürfen sie ohne Vetorecht des Unternehmens, nur Schwärzungen in engen Kategorien sind erlaubt. Die Regeln setzt Anthropic selbst.
KI-Beratung und Softwareentwicklung aus dem St. Galler Rheintal.
Der Zugang geht weiter als bisher, die Bedingungen bestimmt aber Anthropic. Ob unbequeme Befunde ungeschwärzt erscheinen, zeigen erst die ersten METR-Berichte.
Anthropic hat sechs Forschende der gemeinnützigen Organisation METR, die Spitzenmodelle testet, mit mitarbeiterähnlichem Zugang ausgestattet: Firmenlaptops, Büroplätze und interne Werkzeuge, ähnlich wie bei Anthropics eigenen Risiko-Teams. Laut Anthropics Blogpost vom 15. Oktober darf METR seine Analysen zu Risiken, Vorfällen und Praktiken des Unternehmens veröffentlichen. Anthropic hat dabei kein Vetorecht, darf aber in eng definierten Kategorien Schwärzungen verlangen.
Anthropic unterscheidet drei Zugangsstufen. In Stufe 1 laufen eng umrissene Untersuchungen: Anthropic bestimmt den Zugang, veröffentlicht wird nur mit Zustimmung. So prüft die Biosicherheits-Organisation SecureBio das Kapitel zu chemischen und biologischen Waffen im Risikobericht vom August. Stufe 2 gibt mehr Informationen und erlaubt Veröffentlichung ohne Freigabe. Stufe 3 ist die METR-Regelung mit mitarbeiterähnlichem Zugang. Laut TechCrunch ist METR bisher der einzige Prüfer auf dieser Stufe. Anthropic hofft auf mehrere.
Zurückhalten darf Anthropic Kundendaten, anwaltlich geschützte Unterlagen und Informationen zur Modellarchitektur. Architekturdetails können bei hoher Relevanz mit ausdrücklicher interner Freigabe geteilt werden. METR darf öffentlich sagen, ob es eine Schwärzung für gerechtfertigt hält, ohne den Inhalt zu nennen. Das METR-Team arbeitet unter durchsetzbaren Vereinbarungen und bleibt vom Rest der Organisation abgeschottet.
Die Regeln setzt Anthropic selbst: Stufen, Schwärzungskategorien und Freigaben. Zudem arbeitet das Unternehmen laut eigener Aussage seit einem Jahr bei mehreren Risikoberichten mit METR zusammen. Anthropic vergleicht das Modell mit Bankprüfern und räumt ein, dass der Vergleich hinkt. Ob unbequeme Befunde tatsächlich ungeschwärzt erscheinen, wird sich erst bei den ersten METR-Berichten zeigen.
Der Schritt folgt auf Dario Amodeis Septemberessay, in dem er externe Prüfer innerhalb der KI-Labore vorschlug. Laut Unite.AI soll er zudem gefordert haben, dass Regierungen andere Spitzenlabore zu Ähnlichem verpflichten. Laut TechCrunch hat OpenAI etwas Vergleichbares zugesagt, und mehrere Labore unterzeichneten ein Abkommen des Weissen Hauses, das unabhängige Prüfungen vorsieht. Mit Accenture und Faculty arbeitet Anthropic an einer breiteren Partnerschaft für Modelltests, mit Hugging Face und anderen laufen erste Gespräche.
Einen direkten Schweiz-Bezug gibt es nicht.
Die Chatbot-Plattform Character.AI hat Chapter 11 beantragt und soll bis Ende November oder Anfang Dezember verkauft werden. Disney bietet 20 Millionen Dollar für eine Lizenz.