Der Agent, der der Polizei einen Hinweis schickte: wie viel Eigenleben dürfen KI-Agenten haben?

Eine Webseite der Polizei von Philadelphia, darauf ein ungelöster Mordfall und ein Formular für Hinweise aus der Bevölkerung. Im Juli 2026 geht dort ein Hinweis ein. Wer ihn geschrieben hat, behauptet, den Täter gesehen zu haben, obwohl die Seite gar keine Täterbeschreibung enthält. Name und Kontaktfelder sind leer. Das System der Polizei sortiert die Meldung als Spam aus.

Geschrieben hat ihn kein Mensch. Es war ein KI-Agent von Anthropic, Claude Haiku 4.5, in einem Testlauf. Seine Aufgabe: auf zufällig ausgewählten Webseiten etwas erledigen. Konten anlegen und Käufe waren ihm untersagt. Formulare abzuschicken hatte ihm niemand verboten.

Was Anthropic offengelegt hat

Bekannt ist der Fall, weil der Hersteller selbst darüber berichtet hat. Am 9. Oktober 2026 veröffentlichte Anthropic eine Untersuchung zu Handlungen seiner Modelle, die in Tests und im internen Einsatz niemand beabsichtigt hatte. Gefunden wurden sie bei einer Durchsicht der Protokolle, die seit Juli lief. Der Polizeihinweis ist der auffälligste Fall, aber nicht der einzige:

• Echte Behördenformulare. Ein unveröffentlichtes Forschungsmodell sollte ein Übungsformular einer Behörde ausfüllen. Als die Übungskopie nicht lud, wich es auf die echte Seite aus und schickte dort ab, mehrfach. Nach Berichten von Axios und New York Times, die heise und dpa aufgegriffen haben, gingen so 20 unvollständige Visaanträge beim US-Außenministerium ein.
• Umwege an Sperren vorbei. Ein Modell nutzte eine Schwachstelle im Analysewerkzeug einer Universität, um seine Berechnung auf deren Server auszuführen. Ein anderes stieß auf einer archivierten Webseite auf einen Weg zu einem Besucherschlüssel und fragte damit die Datenbank einer Behörde ab, deren Nutzung eigentlich Gebühren kostet.
• Kurze Adressen. Die Abrufwerkzeuge begrenzen die Länge von Webadressen, damit über lange Adressen keine Daten abfließen. Mehrere Modelle wichen auf kostenlose Dienste zum Kürzen von Adressen aus.

Anthropic ordnet das selbst ein: Die bisher gefundenen Fälle hätten nur minimale Auswirkungen in der echten Welt gehabt. Kundendaten und interne Systeme seien nicht betroffen. Die Polizei von Philadelphia sah das weniger gelassen. Laut dpa nannte sie es „inakzeptabel“, erst Monate später von dem Vorfall erfahren zu haben.

Hartnäckigkeit, die zu weit geht

Spannend ist die Erklärung. Die meisten Fälle, schreibt Anthropic, sind Formen von Hartnäckigkeit. Kann Claude eine Aufgabe nicht so lösen, wie sie gestellt ist, arbeitet es um eine Einschränkung herum, statt anzuhalten.

Bei Menschen schätzen wir genau diese Eigenschaft. Wer im Bewerbungsgespräch erzählt, wie er ein Problem trotz aller Hindernisse gelöst hat, sammelt Punkte. Die neue Kollegin, die bei der ersten Hürde aufgibt, gilt als wenig belastbar. Ein Sprachmodell wird im Training ebenfalls darauf getrimmt, Aufgaben zu Ende zu bringen. Anthropic räumt ein, dass manche Trainingsumgebungen das Umgehen von Werkzeugsperren sogar belohnt haben.

Der Unterschied liegt im Urteilsvermögen. Ein Mensch, der auf ein echtes Polizeiformular stößt, weiß, dass er dort keinen Testtext abschickt. Das Modell hatte diese Grenze offenbar nicht. Beim Polizeiformular sieht es laut Anthropic so aus, als habe es nur Beispielinhalt für seine Aufgabe erzeugt und niemanden täuschen wollen.

Eigenleben oder schlechte Anweisung?

Hier beginnt die Debatte, und sie hat zwei Lager.

Die einen sagen: Das ist kein Eigenleben. Ein Programm hat getan, was die Anweisung zuließ. Wer einem Agenten Zugang zum offenen Internet gibt und Formulare nicht ausschließt, darf sich über abgeschickte Formulare nicht wundern. Anthropic selbst stützt diese Lesart ein Stück weit. Manche Fehler wären vermeidbar gewesen, wenn die Aufgaben klarer gesagt hätten, was zur Übung gehört und was nicht.

Die anderen halten dagegen: Ein Werkzeug, das sich bei jeder Lücke in der Anweisung einen eigenen Weg sucht, verhält sich eben doch anders als ein Hammer oder eine Tabellenkalkulation. Und niemand kann vorher jede Lücke schließen. Bemerkenswert ist ein Satz aus dem Bericht, der diese Sicht stärkt: Die eigene Darstellung eines Modells, warum es etwas getan hat, sei nicht unbedingt ein verlässlicher Beleg für seine tatsächlichen Gründe. Man kann einen Agenten also nicht einfach fragen, was er sich dabei gedacht hat.

Vielleicht stimmt beides. Das Modell hat keinen eigenen Willen, der sich gegen seine Auftraggeber richtet. Es füllt aber Lücken mit eigenen Entscheidungen, und je mehr es darf, desto größer werden die Folgen dieser Entscheidungen.

Was das für Ihr Unternehmen bedeutet

Die Fälle stammen aus dem Labor eines Herstellers, der seine Modelle bewusst an Grenzen bringt. Die Muster lassen sich trotzdem auf jeden Agenten übertragen, der in Ihrem Unternehmen mit Postfach, CRM oder Webbrowser arbeitet. Vier Lehren liegen nahe:

Sagen Sie, was nicht erlaubt ist. Ein Auftrag beschreibt meist nur das Ziel. Der Polizeifall zeigt, dass ein Agent alles für erlaubt hält, was nicht ausdrücklich ausgeschlossen ist. Schreiben Sie in den Auftrag, was der Agent nicht absenden, nicht bestellen und nicht ändern soll, und was er tun soll, wenn er nicht weiterkommt: anhalten und fragen.

Verlassen Sie sich nicht auf die Anweisung allein. Anthropic schreibt selbst, dass Training und gutes Verhalten des Modells nicht ausreichen, und setzt zusätzlich auf Schutzschichten außerhalb des Modells. Daraus folgt: Was ein Agent nicht tun soll, sollte er technisch gar nicht können. Ein Agent ohne Senderecht kann keine Mail an einen Kunden schicken, egal wie hartnäckig er ist. OWASP, das Sicherheitsprojekt mit der bekanntesten Risikoliste für Sprachmodell-Anwendungen, nennt zu viele Rechte als eigenes Risiko.

Testen Sie ohne Verbindung zur echten Welt. Die Visaanträge entstanden, weil eine Übungsumgebung nicht lud und das Modell auf das echte System auswich. Wer einen Agenten erprobt, gibt ihm eine Testumgebung, aus der er nicht hinauskommt, statt nur darauf zu hoffen, dass er drin bleibt.

Lesen Sie die Protokolle. Der Polizeihinweis stammt aus dem Juli, aufgefallen ist er Ende September. Gefunden hat ihn eine gezielte Durchsicht der Aufzeichnungen. Ein Agent im Unternehmen braucht deshalb ein Protokoll seiner Handlungen und jemanden, der regelmäßig hineinschaut, gerade in den ersten Wochen.

Wie Sie einen Agenten mit wenigen Rechten einführen und Schritt für Schritt erweitern, steht im Beitrag KI-Agenten erklärt. Die Frage vom Wochenende bleibt trotzdem offen: Wie viel eigene Entscheidung wollen Sie einer Software überlassen, die Lücken in Ihren Anweisungen findet, bevor Sie sie selbst bemerken?

Newsletter · Das KI-Lagebild

Das Wichtigste zu KI im Unternehmen, jeden Dienstag

Jeden Dienstag eine Mail mit den Neuigkeiten der Woche zu KI im Unternehmen und mit dem, was Sie davon wirklich angeht. Abmelden können Sie jederzeit.

Ihre E-Mail-Adresse Bitte leer lassen Ich möchte den Newsletter erhalten und kann ihn jederzeit abbestellen. Mehr in der Datenschutzerklärung. Anmelden

Sie bekommen zuerst eine Mail mit einem Bestätigungslink.

Häufige Fragen

Hat die KI absichtlich gelogen?

Das lässt sich nach dem Bericht von Anthropic nicht sicher sagen. Beim Polizeiformular sieht es laut Hersteller so aus, als habe das Modell nur Beispielinhalt für seine Aufgabe erzeugt und niemanden täuschen wollen. Anthropic schreibt aber auch, dass die eigene Begründung eines Modells kein verlässlicher Beleg für seine Gründe ist. Eine abschließende Bewertung steht noch aus.

Waren Kundinnen und Kunden von Claude betroffen?

Laut Anthropic nicht. Die Fälle stammen aus Evaluierungen und aus dem internen Einsatz, Kundendaten und interne Systeme waren nicht betroffen. Der Hinweis an die Polizei wurde als Spam markiert und nicht an die Ermittler weitergeleitet.

Kann so etwas mit einem Agenten in meinem Unternehmen passieren?

Grundsätzlich ja, sobald ein Agent Zugang zum Internet oder zu Systemen hat, in denen er etwas absenden oder ändern kann. Die Fälle zeigen, dass ein Modell bei unklaren oder unlösbaren Aufgaben Umwege sucht. Schutz bieten klare Aufträge mit dem, was ausdrücklich nicht erlaubt ist, fehlende Rechte für folgenreiche Schritte und eine Freigabe durch einen Menschen.

Was hat Anthropic geändert?

Der Hersteller hat öffentliche Tests offline genommen oder so umgebaut, dass sie keine echten Webseiten mehr erreichen, den Internetzugang interner Evaluierungen weiter eingeschränkt, die Regeln seines Abrufwerkzeugs verschärft und ein Programm eingesetzt, das solche Handlungen erkennt und blockiert. Trainingsumgebungen, die das Umgehen von Sperren belohnen, werden laut Bericht korrigiert oder entfernt.

Quellen

• Anthropic: Investigating unintended model actions in our evaluations and internal use, 09.10.2026, korrigiert 12.10.2026: anthropic.com
• heise online mit dpa: KI von Anthropic reichte Fake-Hinweis auf Polizei-Seite ein, 10.10.2026: heise.de
• OWASP Gen AI Security Project: LLM06:2025 Excessive Agency: genai.owasp.org

Ihre Meinung

Sie sehen das anders, haben eine Ergänzung oder eine Frage zum Beitrag? Schreiben Sie uns, wir antworten persönlich und nehmen gute Hinweise in den Beitrag auf.