La nouvelle mesure de sécurité d’Anthropic : Claude examine vos conversations après chaque réponse

Anthropic a révélé un nouveau mécanisme de sécurité pour l’IA qui pourrait avoir d’importantes répercussions sur le secteur des cryptomonnaies.

Depuis juin, Claude effectue une « auto-évaluation » supplémentaire après avoir généré une réponse. Lors de cette étape invisible qui suit la réponse, le modèle réexamine la conversation qu’il vient de traiter et estime si celle-ci pourrait être liée à des abus tels qu’une fraude, une cyberattaque ou toute autre activité à haut risque.

La réponse n’est pas automatiquement bloquée à la suite de cette analyse, et les utilisateurs ne voient pas l’évaluation elle-même. Le mécanisme est plutôt conçu pour assurer la surveillance, faciliter les enquêtes et permettre l’application de mesures au niveau des comptes.

Pour les utilisateurs, les développeurs et les entreprises du secteur crypto qui s’appuient de plus en plus sur des agents d’IA, cette évolution soulève une question plus large : les systèmes d’IA peuvent-ils détecter une intention malveillante après coup, et comment protéger ses actifs lorsque des outils automatisés sont impliqués ?

Ce que fait réellement l’auto-évaluation de Claude

Les systèmes traditionnels de sécurité de l’IA reposent souvent sur des classificateurs distincts. Ces outils analysent les requêtes et les réponses à la recherche de signaux associés à des activités interdites ou dangereuses.

La nouvelle approche d’Anthropic confie à Claude une responsabilité supplémentaire. Après avoir formulé une réponse, le modèle utilise le contexte qu’il vient d’analyser pour déterminer si l’interaction peut révéler un abus. Il attribue ensuite un niveau de risque à la conversation.

Selon les informations communiquées, le coût supplémentaire reste relativement faible. En moyenne, Claude génère environ 10 tokens supplémentaires pour cette évaluation, tandis que l’effort de raisonnement additionnel représente moins de 2 % de la puissance de calcul totale consacrée à l’inférence.

Cette conception diffère du filtrage des contenus en temps réel. Le système peut identifier un comportement suspect sans interrompre la réponse initiale. Cette distinction est particulièrement importante dans le secteur crypto, où une réponse générée par une IA peut être utilisée immédiatement pour créer un portefeuille, déployer du code, transférer des fonds ou contacter de potentielles victimes.

L’approche générale d’Anthropic en matière de sécurité de l’IA est présentée dans ses ressources publiques consacrées à la sécurité, tandis que le cadre de gestion des risques liés à l’IA du NIST constitue une référence utile pour comprendre l’identification, la surveillance et la réponse aux risques.

Pourquoi cette évolution est importante pour les cryptomonnaies et la blockchain

Le secteur des cryptomonnaies présente plusieurs caractéristiques qui rendent la surveillance postérieure aux réponses particulièrement pertinente :

• Les transactions sont souvent irréversibles.
• Les adresses publiques sur les blockchains peuvent être pseudonymes plutôt que directement identifiables.
• Les contrats intelligents peuvent transférer automatiquement des actifs dès leur déploiement.
• L’ingénierie sociale reste l’une des méthodes d’attaque les plus efficaces.
• Les outils de programmation assistée par l’IA peuvent accélérer aussi bien les développements légitimes que les opérations malveillantes.

Un escroc n’a pas nécessairement besoin d’obtenir d’un modèle d’IA une réponse manifestement criminelle. Il peut demander de l’aide pour rédiger des scripts de service client, créer des pages de récupération de portefeuille, promouvoir un token, automatiser une campagne de prospection ou corriger du code. L’intention malveillante peut n’apparaître qu’après plusieurs échanges qui, pris séparément, semblent parfaitement ordinaires.

L’analyse de l’ensemble d’une conversation devient ainsi plus pertinente que l’évaluation d’une seule requête isolée. Une demande visant à rédiger un message professionnel peut sembler inoffensive en elle-même. Mais si elle s’accompagne de demandes visant à usurper l’identité d’une plateforme de trading, à pousser une victime à transférer des cryptomonnaies et à automatiser les messages de relance, le schéma global devient nettement plus préoccupant.

Les premières détections concernaient notamment des abus liés aux cryptomonnaies

Anthropic a indiqué que son système d’auto-évaluation avait identifié des cas qui avaient échappé aux dispositifs de protection classiques.

En août, un client de l’API aurait généré plus de 100 000 alertes de risque liées à l’exploitation sexuelle d’enfants. Anthropic a déclaré avoir signalé l’affaire aux autorités américaines compétentes.

En septembre, le système a détecté une opération dans laquelle Claude Code aurait été utilisé pour automatiser des escroqueries sentimentales visant plusieurs dizaines de victimes. Anthropic a enquêté sur cette activité et banni les comptes concernés.

Ces exemples montrent comment un fournisseur d’IA peut utiliser la surveillance postérieure à la génération pour repérer des comportements qui ne sont pas forcément évidents au moment où chaque réponse individuelle est produite.

Ils mettent également en lumière une préoccupation croissante pour les utilisateurs d’actifs numériques. Les escroqueries sentimentales, les fraudes à l’investissement et les faux services d’assistance utilisent fréquemment les cryptomonnaies, car les transferts peuvent franchir rapidement les frontières et sont parfois difficiles à annuler. Le guide destiné aux consommateurs de la Federal Trade Commission américaine sur les arnaques aux cryptomonnaies décrit plusieurs procédés courants, notamment l’usurpation d’identité, les promesses de rendement garanti et les demandes de paiement urgentes.

Détecter ne signifie pas prévenir

Les résultats d’Anthropic montrent également les limites de l’auto-évaluation.

Lors d’un test portant sur 24 scénarios de cyberattaque, avec les protections classiques désactivées, le modèle a tenté d’utiliser l’auto-évaluation pour intervenir en temps réel. Les attaques ont néanmoins abouti dans 13 cas.

Ce résultat est important, car il permet d’éviter un malentendu fréquent : un modèle d’IA capable de reconnaître un comportement suspect après avoir généré une réponse n’est pas nécessairement capable d’empêcher ce comportement avant que les dommages ne surviennent.

Pour les applications liées aux cryptomonnaies, la différence peut se jouer en quelques secondes. Si un agent d’IA génère un contrat intelligent malveillant, expose une clé privée, approuve une transaction de tokens ou envoie un message trompeur, une classification ultérieure du risque peut faciliter l’enquête, mais elle ne permet pas automatiquement d’annuler les conséquences.

C’est pourquoi la surveillance de la sécurité de l’IA doit être considérée comme un élément d’une architecture de sécurité plus large, et non comme un substitut aux contrôles transactionnels.

Le compromis en matière de confidentialité lié à l’examen en arrière-plan

Un système qui examine les conversations après avoir répondu doit traiter des informations supplémentaires concernant les interactions de l’utilisateur. Même lorsque l’objectif est la sécurité, cette pratique soulève des questions légitimes :

• Quelles données sont conservées ?
• Combien de temps les évaluations de risque sont-elles stockées ?
• Qui peut accéder aux conversations signalées ?
• Les clients professionnels sont-ils informés lorsqu’une activité fait l’objet d’un examen ?
• Les utilisateurs peuvent-ils contester une décision automatisée de sanction ?
• Comment les faux positifs sont-ils traités ?

Ces questions sont importantes pour les entreprises crypto qui peuvent utiliser l’IA pour traiter des adresses de portefeuille, des métadonnées de transactions, des rapports d’incident ou des conversations avec leurs clients. Les données de la blockchain sont souvent publiques, mais le lien entre une adresse et une personne réelle peut être sensible. Le rapprochement d’activités on-chain et de conversations privées avec une IA pourrait permettre d’établir un profil comportemental beaucoup plus détaillé.

Les entreprises qui intègrent l’IA à leurs flux financiers ou Web3 devraient donc examiner les politiques de leurs fournisseurs, limiter la collecte de données personnelles inutiles et isoler les informations sensibles des environnements de conversation généralistes. Les clés privées, phrases de récupération, identifiants d’API, autorisations de signature et secrets de déploiement en production ne doivent jamais être saisis dans un outil d’IA conversationnelle simplement parce que celui-ci semble sécurisé.

Ce que les utilisateurs doivent faire lorsqu’ils travaillent avec l’IA et les cryptomonnaies

Le développement assisté par l’IA et l’essor des agents automatisés ne suppriment pas la nécessité d’appliquer les principes fondamentaux de la sécurité opérationnelle. Les utilisateurs doivent continuer à mettre en place des contrôles indépendants avant d’exposer des fonds ou d’accorder des autorisations.

Séparer les pouvoirs de signature des outils d’IA

Un assistant d’IA peut aider à expliquer une transaction ou à examiner du code, mais il ne devrait pas disposer d’un accès illimité aux clés privées ni d’une autorité illimitée pour signer des transactions.

Utilisez des environnements distincts pour les tests et la production. Limitez les autorisations autant que possible et exigez une validation humaine explicite avant tout transfert important, toute mise à niveau de contrat ou toute modification de l’infrastructure de trésorerie.

Vérifier indépendamment les adresses et les détails des contrats

Ne vous fiez jamais uniquement à l’explication générée par une IA concernant une adresse de portefeuille, un contrat intelligent ou une transaction. Vérifiez la destination, le réseau, le montant de tokens et l’étendue des autorisations au moyen d’une interface indépendante avant de signer.

Les attaquants peuvent également manipuler des sites web, de la documentation et des canaux d’assistance. Un message qui semble familier ne constitue pas une preuve d’authenticité.

Considérer le code généré par l’IA comme non fiable jusqu’à sa vérification

L’IA peut accélérer le développement de contrats intelligents, mais le code généré peut contenir des erreurs de contrôle d’accès, des hypothèses dangereuses ou des vulnérabilités difficiles à repérer lors d’une vérification rapide.

Les tests, la revue de code, l’analyse statique et les audits de sécurité professionnels restent indispensables pour les contrats qui gèrent des fonds réels. Le Top 10 de l’OWASP consacré aux contrats intelligents offre une vue d’ensemble utile des risques de sécurité récurrents dans les applications blockchain.

Méfiez-vous de l’urgence et des rendements garantis

Les messages générés par l’IA peuvent rendre les escroqueries plus convaincantes et plus personnalisées. Toute demande inattendue visant à transférer des fonds, à connecter un portefeuille, à fournir une phrase de récupération ou à investir dans l’urgence doit être considérée comme suspecte, aussi soignée que puisse paraître la communication.

Aucun représentant légitime d’un service d’assistance n’a besoin de la phrase de récupération ou de la clé privée d’un portefeuille.

Ce que cela signifie pour l’avenir du Web3 propulsé par l’IA

Le mécanisme d’auto-évaluation d’Anthropic marque un passage du simple filtrage des requêtes à une surveillance comportementale continue. Au lieu de se demander uniquement si une requête donnée enfreint une règle, le système tente d’évaluer l’évolution globale de l’interaction.

Cette approche pourrait devenir de plus en plus importante à mesure que les agents d’IA acquièrent la capacité de naviguer sur le web, d’écrire du code, d’interagir avec des API et d’exécuter des transactions sur la blockchain. Dans le même temps, les limites des systèmes actuels sont évidentes. La détection peut laisser passer certaines attaques et l’examen postérieur à la réponse peut intervenir trop tard pour empêcher une perte financière.

Pour le secteur crypto, le modèle le plus pragmatique repose sur une défense en profondeur :

1. Les fournisseurs d’IA doivent améliorer la détection des abus et renforcer la transparence.
2. Les développeurs doivent limiter les autorisations des agents et isoler les identifiants sensibles.
3. Les applications doivent intégrer la simulation des transactions, des listes d’autorisation, des limites de fréquence et des processus de validation.
4. Les utilisateurs doivent conserver le contrôle du pouvoir de signature et vérifier chaque transaction importante.
5. Les portefeuilles doivent rendre les opérations risquées visibles avant leur autorisation.

Les portefeuilles matériels OneKey sont conçus autour de cette dernière couche, fondée sur une signature contrôlée par l’utilisateur. Isoler les clés privées des logiciels généralistes peut réduire les conséquences d’un ordinateur compromis, d’une application malveillante ou d’un flux de travail utilisant l’IA avec des autorisations excessives. Un portefeuille matériel ne peut pas déterminer si un message généré par une IA est une escroquerie, mais il peut contribuer à garantir que les transactions nécessitent toujours l’autorisation délibérée de la personne qui contrôle les actifs.

L’expérience menée par Anthropic rappelle que la sécurité de l’IA devient un processus continu plutôt qu’un filtre appliqué une seule fois. Dans le secteur des cryptomonnaies, où se rencontrent automatisation et transactions irréversibles, la stratégie la plus sûre n’est pas de faire confiance à un modèle ou à un système de surveillance unique. Elle consiste à associer la supervision de l’IA à de solides pratiques de confidentialité, à des autorisations limitées, à une vérification indépendante et à un contrôle des clés privées reposant sur du matériel.