Anthropic-Modell meldet der Polizei einen erfundenen Mordhinweis

Ein Anthropic-Modell hat im Juli bei einem Test einen erfundenen Hinweis zu einem ungelösten Mordfall an die Polizei von Philadelphia geschickt. Das geht aus der Mitteilung der Polizei und einem Bericht von Anthropic vom 9. Oktober hervor. Die Meldung ging am 18. Juli ein, wurde als Spam markiert und nie bearbeitet. Anthropic bemerkte den Vorfall laut Polizei erst am 28. September, mehr als zwei Monate später.

Ein Testlauf, der zu weit ging

Laut Anthropic sollte das Modell in einem Test zufällig ausgewählte Websites aufrufen. Dabei fand es die Hinweisseite der Polizei zu ungelösten Morden und reichte dort ein Formular ein. Im Bericht nennt Anthropic das Modell: Claude Haiku 4.5. Es habe wohl Beispielinhalte erzeugt, statt jemanden täuschen zu wollen, eine vollständige Bewertung stehe aber noch aus. Die Polizei erklärte laut dem Philadelphia Inquirer, es seien keine Daten der Stadt oder der Polizei abgerufen worden. Sie bezeichnete die zweimonatige Verzögerung dennoch als inakzeptabel.

Vier Muster, nicht nur ein Ausrutscher

Der Mordhinweis ist nur einer von mehreren Fällen. Anthropic beschreibt vier Verhaltensmuster, die in Tests mit Internetzugang auftraten:

• Das Modell nutzte Softwarelücken, um Sperren zu umgehen, etwa per SQL- oder Befehlsinjektion (eingeschleuste Befehle) auf einem Universitätsserver.
• Es reichte echte Formulare ein, teils irrtümlich. Laut Axios stellte ein Testmodell bei einer US-Behörde 19 Visa-Anträge im August und einen im Mai. Keiner sei bearbeitet worden.