Anthropics neue Sicherheitsmaßnahme: Claude überprüft Ihre Chats nach jeder Antwort

Anthropic hat einen neuen KI-Sicherheitsmechanismus vorgestellt, der wichtige Auswirkungen auf die Kryptobranche haben könnte.

Seit Juni führt Claude nach der Erstellung einer Antwort eine zusätzliche „Selbsteinschätzung“ durch. In diesem verborgenen Schritt nach der Antwort überprüft das Modell die gerade verarbeitete Unterhaltung und schätzt ein, ob sie möglicherweise mit missbräuchlichen Aktivitäten wie Betrug, Cyberangriffen oder anderen Hochrisiko-Aktivitäten zusammenhängt.

Die Antwort wird aufgrund dieser Prüfung nicht automatisch blockiert, und die Nutzer sehen die Einschätzung selbst nicht. Der Mechanismus dient vielmehr in erster Linie der Überwachung, Untersuchung und Durchsetzung von Maßnahmen auf Kontoebene.

Für Kryptonutzer, Entwickler und Unternehmen, die zunehmend auf KI-Agenten setzen, wirft diese Änderung eine grundsätzliche Frage auf: Können KI-Systeme böswillige Absichten nachträglich erkennen – und wie sollten Menschen ihre Vermögenswerte schützen, wenn automatisierte Tools beteiligt sind?

Was Claudes Selbsteinschätzung tatsächlich bewirkt

Traditionelle KI-Sicherheitssysteme stützen sich häufig auf separate Klassifikatoren. Diese Tools untersuchen Eingaben und Ausgaben auf Anzeichen, die mit verbotenen oder gefährlichen Aktivitäten in Verbindung stehen.

Anthropics neuer Ansatz überträgt Claude eine zusätzliche Aufgabe. Nach Abschluss einer Antwort nutzt das Modell den zuvor analysierten Kontext, um einzuschätzen, ob die Interaktion auf einen Missbrauch hindeuten könnte. Anschließend weist es der Unterhaltung eine Risikostufe zu.

Der Mitteilung zufolge sind die zusätzlichen Kosten vergleichsweise gering. Für die Einschätzung erzeugt Claude im Durchschnitt etwa 10 zusätzliche Tokens, während der zusätzliche Rechenaufwand für die Schlussfolgerung weniger als 2 % der gesamten Inferenzleistung ausmacht.

Dieses Konzept unterscheidet sich von einer Filterung von Inhalten in Echtzeit. Das System kann verdächtiges Verhalten erkennen, ohne die ursprüngliche Antwort zu stoppen. Dieser Unterschied ist gerade im Kryptobereich von Bedeutung, da eine von einer KI erzeugte Antwort sofort genutzt werden kann, um eine Wallet zu erstellen, Code bereitzustellen, Geld zu versenden oder potenzielle Opfer zu kontaktieren.

Anthropics umfassenderer Ansatz zur KI-Sicherheit wird in den öffentlichen Sicherheitsmaterialien des Unternehmens erläutert. Das AI Risk Management Framework des NIST bietet zudem eine nützliche Branchenreferenz für das Verständnis von Risikoidentifizierung, Überwachung und Reaktion.

Warum das für Kryptowährungen und Blockchain wichtig ist

Der Kryptowährungssektor weist mehrere Merkmale auf, die eine Überwachung durch KI nach der Antwort besonders relevant machen:

• Transaktionen sind häufig irreversibel.
• Öffentliche Blockchain-Adressen sind möglicherweise pseudonym und nicht unmittelbar einer Person zuzuordnen.
• Smart Contracts können nach ihrer Bereitstellung automatisch Vermögenswerte bewegen.
• Social Engineering gehört weiterhin zu den effektivsten Angriffsmethoden.
• KI-Programmierwerkzeuge können sowohl legitime Entwicklungsarbeit als auch böswillige Aktivitäten beschleunigen.

Ein Betrüger muss ein KI-Modell nicht unbedingt dazu bringen, eine offensichtlich kriminelle Antwort zu erzeugen. Er könnte beispielsweise um Hilfe bei Kundendienstskripten, Seiten zur Wallet-Wiederherstellung, Token-Marketing, automatisierter Kontaktaufnahme oder der Fehlerbehebung in Code bitten. Die schädliche Absicht kann sich erst nach mehreren zunächst völlig gewöhnlich wirkenden Interaktionen zeigen.

Dadurch wird eine Analyse auf Ebene der gesamten Unterhaltung wertvoller, als eine einzelne Eingabe isoliert zu bewerten. Die Bitte, eine professionelle Nachricht zu formulieren, kann für sich genommen harmlos erscheinen. Kombiniert mit Anfragen, sich als Handelsplattform auszugeben, ein Opfer zur Überweisung von Kryptowährungen zu drängen und automatisierte Folgebotschaften zu versenden, wird das Gesamtmuster jedoch deutlich bedenklicher.

Frühe erkannte Fälle betrafen auch Kryptomissbrauch

Anthropic zufolge identifizierte das System zur Selbsteinschätzung Fälle, die herkömmliche Schutzmechanismen übersehen hatten.

Im August soll ein API-Kunde mehr als 100.000 Risikomeldungen im Zusammenhang mit der sexuellen Ausbeutung von Kindern erzeugt haben. Anthropic erklärte, den Fall den zuständigen US-Behörden gemeldet zu haben.

Im September erkannte das System eine Operation, bei der Claude Code angeblich zur Automatisierung von Liebesbetrug gegen Dutzende Opfer eingesetzt wurde. Anthropic untersuchte die Aktivitäten und sperrte die zugehörigen Konten.

Diese Beispiele zeigen, wie ein KI-Anbieter die Überwachung nach der Generierung nutzen kann, um Verhaltensmuster zu erkennen, die zum Zeitpunkt der Erstellung einzelner Antworten möglicherweise nicht offensichtlich sind.

Sie verdeutlichen außerdem eine wachsende Sorge für Nutzer digitaler Vermögenswerte. Liebesbetrug, Anlagebetrug und gefälschte Kundendienstangebote greifen häufig auf Kryptowährungen zurück, weil sich Überweisungen schnell über Grenzen hinweg abwickeln lassen und möglicherweise nur schwer rückgängig zu machen sind. Der Ratgeber der US-amerikanischen Federal Trade Commission zu Betrug mit Kryptowährungen beschreibt mehrere typische Muster, darunter Identitätsvortäuschung, Versprechen garantierter Renditen und dringende Zahlungsaufforderungen.

Erkennung ist nicht dasselbe wie Verhinderung

Anthropics Ergebnisse zeigen auch die Grenzen der Selbsteinschätzung.

In einem Test mit 24 Cyberangriffsszenarien, bei dem die standardmäßigen Schutzmechanismen deaktiviert waren, versuchte das Modell, die Selbsteinschätzung zur Intervention in Echtzeit einzusetzen. In 13 Fällen waren die Angriffe dennoch erfolgreich.

Dieses Ergebnis ist wichtig, weil es einem verbreiteten Missverständnis entgegenwirkt: Ein KI-Modell, das verdächtiges Verhalten nach der Erstellung einer Antwort erkennen kann, ist nicht automatisch in der Lage, dieses Verhalten zu stoppen, bevor ein Schaden entsteht.

Bei Kryptowährungsanwendungen kann der Unterschied in Sekunden gemessen werden. Wenn ein KI-Agent einen schädlichen Smart Contract erzeugt, einen privaten Schlüssel offenlegt, eine Token-Transaktion genehmigt oder eine täuschende Nachricht verschickt, kann eine spätere Risikoeinstufung zwar bei der Untersuchung helfen, die Folgen jedoch nicht automatisch rückgängig machen.

Deshalb sollte die Überwachung der KI-Sicherheit als eine Ebene innerhalb einer umfassenderen Sicherheitsarchitektur betrachtet werden – und nicht als Ersatz für Transaktionskontrollen.

Der Datenschutz-Zielkonflikt hinter der nachträglichen Überprüfung

Ein System, das Unterhaltungen nach einer Antwort überprüft, muss zusätzliche Informationen über die Interaktion eines Nutzers verarbeiten. Auch wenn der Zweck in der Sicherheit liegt, wirft dies berechtigte Fragen auf:

• Welche Daten werden gespeichert?
• Wie lange werden Risikoeinschätzungen aufbewahrt?
• Wer kann auf markierte Unterhaltungen zugreifen?
• Werden Geschäftskunden informiert, wenn Aktivitäten überprüft werden?
• Können Nutzer gegen eine automatisierte Durchsetzungsentscheidung Einspruch einlegen?
• Wie wird mit Fehlalarmen umgegangen?

Diese Fragen sind für Kryptounternehmen von Bedeutung, die KI zur Verarbeitung von Wallet-Adressen, Transaktionsmetadaten, Vorfallberichten oder Kundendienstgesprächen einsetzen. Blockchain-Daten sind häufig öffentlich, doch die Verbindung zwischen einer Adresse und einer realen Person kann sensibel sein. Die Kombination von On-Chain-Aktivitäten mit privaten KI-Unterhaltungen könnte ein wesentlich umfassenderes Verhaltensprofil ermöglichen.

Unternehmen, die KI in Finanz- oder Web3-Prozesse integrieren, sollten daher die Richtlinien ihrer Anbieter prüfen, unnötige personenbezogene Daten minimieren und besonders sensible Geheimnisse von allgemeinen Chat-Umgebungen trennen. Private Schlüssel, Seed-Phrasen, API-Zugangsdaten, Signaturberechtigungen und Geheimnisse für Produktivumgebungen sollten niemals in ein dialogorientiertes KI-Tool eingegeben werden, nur weil dieses sicher zu wirken scheint.

Was Nutzer bei der Arbeit mit KI und Kryptowährungen beachten sollten

Der zunehmende Einsatz von KI-gestützter Entwicklung und automatisierten Agenten macht grundlegende Sicherheitsmaßnahmen nicht überflüssig. Nutzer sollten weiterhin unabhängige Kontrollen anwenden, bevor Vermögenswerte oder Berechtigungen preisgegeben werden.

Signaturberechtigungen von KI-Tools getrennt halten

Ein KI-Assistent kann dabei helfen, eine Transaktion zu erklären oder Code zu überprüfen. Er sollte jedoch keinen uneingeschränkten Zugriff auf private Schlüssel und keine uneingeschränkte Berechtigung zum Signieren von Transaktionen erhalten.

Verwenden Sie getrennte Umgebungen für Tests und den Produktivbetrieb. Beschränken Sie Berechtigungen, wo immer dies möglich ist, und verlangen Sie vor Transaktionen größeren Umfangs, Vertrags-Upgrades oder Änderungen an der Treasury-Infrastruktur eine ausdrückliche menschliche Genehmigung.

Adressen und Vertragsdetails unabhängig überprüfen

Verlassen Sie sich niemals ausschließlich auf die von einer KI erzeugte Erklärung einer Wallet-Adresse, eines Smart Contracts oder einer Transaktion. Überprüfen Sie Zieladresse, Netzwerk, Token-Betrag und Umfang der Genehmigung über eine unabhängige Benutzeroberfläche, bevor Sie signieren.

Auch Websites, Dokumentationen und Supportkanäle können von Angreifern manipuliert werden. Eine vertraut wirkende Nachricht ist kein Beweis für ihre Echtheit.

KI-generierten Code bis zur Prüfung als nicht vertrauenswürdig behandeln

KI kann die Entwicklung von Smart Contracts beschleunigen. Der erzeugte Code kann jedoch Fehler bei der Zugriffskontrolle, unsichere Annahmen oder Schwachstellen enthalten, die bei einer oberflächlichen Prüfung leicht übersehen werden.

Tests, Code-Reviews, statische Analysen und professionelle Sicherheitsprüfungen bleiben für Verträge, die reale Vermögenswerte verwalten, unverzichtbar. Die OWASP Smart Contract Top 10 bietet einen nützlichen Überblick über wiederkehrende Sicherheitsrisiken in Blockchain-Anwendungen.

Bei Zeitdruck und garantierten Renditen skeptisch bleiben

Von KI erzeugte Nachrichten können Betrugsversuche überzeugender und persönlicher wirken lassen. Eine unerwartete Aufforderung, Vermögenswerte zu verschieben, eine Wallet zu verbinden, eine Wiederherstellungsphrase anzugeben oder unter Zeitdruck zu investieren, sollte unabhängig vom professionellen Erscheinungsbild der Kommunikation als verdächtig betrachtet werden.

Kein seriöser Supportmitarbeiter benötigt die Wiederherstellungsphrase oder den privaten Schlüssel einer Wallet.

Was das für die Zukunft des KI-gestützten Web3 bedeutet

Anthropics Mechanismus zur Selbsteinschätzung markiert eine Entwicklung weg von der einfachen Filterung einzelner Eingaben hin zu einer kontinuierlichen Verhaltensüberwachung. Das System fragt nicht mehr nur, ob eine einzelne Anfrage gegen eine Regel verstößt, sondern versucht, den umfassenderen Verlauf einer Interaktion zu bewerten.

Dieser Ansatz könnte zunehmend an Bedeutung gewinnen, sobald KI-Agenten in der Lage sind, im Web zu recherchieren, Code zu schreiben, mit APIs zu interagieren und Blockchain-Transaktionen auszuführen. Gleichzeitig sind die Grenzen der derzeitigen Systeme klar erkennbar. Erkennung kann Angriffe übersehen, und eine nachträgliche Überprüfung kann zu spät erfolgen, um finanzielle Verluste zu verhindern.

Für die Kryptobranche ist ein mehrschichtiges Verteidigungsmodell am sinnvollsten:

1. KI-Anbieter sollten die Erkennung von Missbrauch und ihre Transparenz verbessern.
2. Entwickler sollten die Berechtigungen von Agenten beschränken und sensible Zugangsdaten isolieren.
3. Anwendungen sollten Transaktionssimulationen, Allowlists, Ratenbegrenzungen und Genehmigungsprozesse integrieren.
4. Nutzer sollten die Kontrolle über Signaturberechtigungen behalten und jede wichtige Transaktion überprüfen.
5. Wallets sollten riskante Aktionen vor der Autorisierung deutlich sichtbar machen.

Hardware-Wallets von OneKey sind auf diese letzte Ebene der nutzerkontrollierten Signierung ausgerichtet. Wenn private Schlüssel von allgemeiner Software isoliert bleiben, können die Folgen eines kompromittierten Computers, einer bösartigen Anwendung oder eines zu großzügig ausgestatteten KI-Workflows begrenzt werden. Eine Hardware-Wallet kann zwar nicht feststellen, ob eine von einer KI erzeugte Nachricht ein Betrugsversuch ist. Sie kann jedoch dazu beitragen, dass Transaktionen weiterhin eine bewusste Autorisierung durch die Person erfordern, die die Vermögenswerte kontrolliert.

Anthropics Experiment erinnert daran, dass KI-Sicherheit zunehmend ein kontinuierlicher Prozess und kein einmaliger Filter ist. Gerade im Kryptowährungsbereich, wo Automatisierung und irreversible Transaktionen aufeinandertreffen, besteht die sicherste Strategie nicht darin, einem einzelnen Modell oder Überwachungssystem zu vertrauen. Entscheidend ist vielmehr die Kombination aus KI-Überwachung, starken Datenschutzpraktiken, begrenzten Berechtigungen, unabhängiger Verifizierung und hardwaregestützter Kontrolle über private Schlüssel.