La nueva medida de seguridad de Anthropic: Claude revisa tus conversaciones después de cada respuesta
La nueva medida de seguridad de Anthropic: Claude revisa tus conversaciones después de cada respuesta
Anthropic ha revelado un nuevo mecanismo de seguridad para la IA que podría tener importantes implicaciones para la industria de las criptomonedas.
Desde junio, Claude comenzó a realizar una “autoevaluación” adicional después de generar cada respuesta. En este paso oculto posterior a la respuesta, el modelo revisa la conversación que acaba de procesar y estima si podría estar relacionada con actividades abusivas, como fraude, ciberataques u otras operaciones de alto riesgo.
La respuesta no se bloquea automáticamente como consecuencia de esta revisión, y los usuarios no pueden ver la evaluación. En cambio, el mecanismo está diseñado principalmente para facilitar la supervisión, la investigación y la aplicación de medidas a nivel de cuenta.
Para los usuarios, desarrolladores y empresas del sector cripto que dependen cada vez más de agentes de IA, este cambio plantea una cuestión más amplia: ¿pueden los sistemas de IA detectar una intención maliciosa después de que se haya manifestado y cómo deberían protegerse los activos cuando intervienen herramientas automatizadas?
Qué hace realmente la autoevaluación de Claude
Los sistemas tradicionales de seguridad para IA suelen depender de clasificadores independientes. Estas herramientas analizan las instrucciones y las respuestas en busca de señales asociadas con actividades prohibidas o peligrosas.
El nuevo enfoque de Anthropic asigna a Claude una responsabilidad adicional. Después de completar una respuesta, el modelo utiliza el contexto que acaba de analizar para evaluar si la interacción podría indicar un uso abusivo. A continuación, asigna un nivel de riesgo a la conversación.
Según la información publicada, el coste adicional es relativamente bajo. En promedio, Claude genera unos 10 tokens adicionales para realizar la evaluación, mientras que el razonamiento extra representa menos del 2 % del cómputo total de inferencia.
Este diseño es diferente del filtrado de contenidos en tiempo real. El sistema puede identificar un comportamiento sospechoso sin detener la respuesta original. Esta distinción es especialmente importante en el sector cripto, donde una respuesta generada por IA puede utilizarse de inmediato para crear una cartera, desplegar código, enviar fondos o contactar con posibles víctimas.
El enfoque general de Anthropic respecto a la seguridad de la IA se explica en sus materiales públicos sobre seguridad, mientras que el Marco de Gestión de Riesgos de la IA del NIST ofrece una referencia útil para comprender la identificación, la supervisión y la respuesta ante riesgos.
Por qué es importante para las criptomonedas y la cadena de bloques
El sector de las criptomonedas presenta varias características que hacen especialmente relevante la supervisión de la IA después de generar una respuesta:
- Las transacciones suelen ser irreversibles.
- Las direcciones públicas de la cadena de bloques pueden ser seudónimas, en lugar de permitir identificar directamente a su propietario.
- Los contratos inteligentes pueden transferir activos automáticamente una vez desplegados.
- La ingeniería social sigue siendo uno de los métodos de ataque más eficaces.
- Las herramientas de programación basadas en IA pueden acelerar tanto el desarrollo legítimo como las operaciones maliciosas.
Un estafador no necesita necesariamente que un modelo de IA genere una respuesta que parezca claramente delictiva. Puede pedir ayuda para redactar guiones de atención al cliente, crear páginas de recuperación de carteras, promocionar tokens, automatizar contactos o depurar código. La intención dañina puede aparecer únicamente después de varias interacciones que, por separado, parecen normales.
Por eso, el análisis de la conversación completa puede ser más valioso que juzgar una sola instrucción de forma aislada. Una petición para redactar un mensaje profesional puede parecer inofensiva por sí sola. Sin embargo, si se combina con solicitudes para hacerse pasar por una plataforma de intercambio, presionar a una víctima para que transfiera criptomonedas y automatizar mensajes de seguimiento, el patrón general resulta mucho más preocupante.
Las primeras detecciones incluyeron abusos relacionados con criptomonedas
Anthropic afirmó que el sistema de autoevaluación identificó casos que las medidas de seguridad convencionales no habían detectado.
En agosto, un cliente de la API habría generado más de 100.000 alertas de riesgo relacionadas con la explotación sexual infantil. Anthropic señaló que informó del caso a las autoridades estadounidenses competentes.
En septiembre, el sistema detectó una operación en la que supuestamente se utilizó Claude Code para automatizar estafas románticas dirigidas a decenas de víctimas. Anthropic investigó la actividad y prohibió las cuentas asociadas.
Estos ejemplos muestran cómo un proveedor de IA puede utilizar la supervisión posterior a la generación para identificar comportamientos que quizá no resulten evidentes en el momento en que se crea cada respuesta individual.
También ponen de relieve una preocupación creciente para los usuarios de activos digitales. Las estafas románticas, los fraudes de inversión y las operaciones falsas de atención al cliente recurren con frecuencia a las criptomonedas porque las transferencias pueden cruzar fronteras rápidamente y ser difíciles de revertir. La guía para consumidores de la Comisión Federal de Comercio de Estados Unidos sobre las estafas con criptomonedas describe varios patrones habituales, como la suplantación de identidad, las promesas de rentabilidad garantizada y las solicitudes urgentes de pago.
Detectar no es lo mismo que prevenir
Los resultados de Anthropic también muestran las limitaciones de la autoevaluación.
En una prueba con 24 escenarios de ciberataques y las medidas de seguridad estándar desactivadas, el modelo intentó utilizar la autoevaluación para intervenir en tiempo real. Aun así, los ataques tuvieron éxito en 13 casos.
Este resultado es importante porque evita una confusión habitual: que un modelo de IA sea capaz de reconocer un comportamiento sospechoso después de generar una respuesta no significa necesariamente que pueda detenerlo antes de que cause daños.
En las aplicaciones de criptomonedas, la diferencia puede medirse en segundos. Si un agente de IA genera un contrato inteligente malicioso, expone una clave privada, aprueba una transacción de tokens o envía un mensaje engañoso, una clasificación de riesgo posterior puede ayudar en la investigación, pero no puede revertir automáticamente las consecuencias.
Por eso, la supervisión de la seguridad de la IA debe considerarse una capa más dentro de una arquitectura de seguridad amplia, no un sustituto de los controles sobre las transacciones.
El dilema de privacidad que plantea la revisión en segundo plano
Un sistema que revisa las conversaciones después de responder debe procesar información adicional sobre la interacción del usuario. Aunque el objetivo sea la seguridad, esto plantea preguntas legítimas:
- ¿Qué datos se conservan?
- ¿Durante cuánto tiempo se almacenan las evaluaciones de riesgo?
- ¿Quién puede acceder a las conversaciones marcadas?
- ¿Se informa a los clientes empresariales cuando se revisa su actividad?
- ¿Pueden los usuarios apelar una decisión de aplicación automatizada?
- ¿Cómo se gestionan los falsos positivos?
Estas cuestiones son importantes para las empresas cripto que pueden utilizar la IA para procesar direcciones de carteras, metadatos de transacciones, informes de incidentes o conversaciones de atención al cliente. Los datos de la cadena de bloques suelen ser públicos, pero la relación entre una dirección y una persona real puede ser sensible. Combinar la actividad en la cadena con conversaciones privadas mantenidas con una IA podría crear un perfil de comportamiento mucho más detallado.
Por tanto, las empresas que integren la IA en sus procesos financieros o de Web3 deberían revisar las políticas de sus proveedores, minimizar los datos personales innecesarios y mantener los secretos de alto riesgo separados de los entornos de conversación de uso general. Las claves privadas, frases semilla, credenciales de API, permisos de firma y secretos de despliegue en producción nunca deben introducirse en una herramienta de IA conversacional simplemente porque parezca segura.
Qué deberían hacer los usuarios al trabajar con IA y criptomonedas
El auge del desarrollo asistido por IA y de los agentes automatizados no elimina la necesidad de aplicar medidas básicas de seguridad operativa. Los usuarios deben seguir implementando controles independientes antes de exponer fondos o conceder permisos.
Mantén la autoridad de firma separada de las herramientas de IA
Un asistente de IA puede ayudar a explicar una transacción o revisar código, pero no debería tener acceso sin restricciones a las claves privadas ni autoridad ilimitada para firmar transacciones.
Utiliza entornos separados para las pruebas y la producción. Limita los permisos siempre que sea posible y exige la aprobación explícita de una persona antes de realizar transferencias de gran valor, actualizar contratos o modificar la infraestructura de tesorería.
Verifica las direcciones y los detalles de los contratos de forma independiente
No dependas únicamente de la explicación generada por una IA sobre una dirección de cartera, un contrato inteligente o una transacción. Comprueba el destino, la red, el importe de los tokens y el alcance de la autorización mediante una interfaz independiente antes de firmar.
Los atacantes también pueden manipular sitios web, documentación y canales de soporte. Que un mensaje tenga una apariencia familiar no demuestra que sea auténtico.
Trata el código generado por IA como no fiable hasta que haya sido revisado
La IA puede acelerar el desarrollo de contratos inteligentes, pero el código generado puede contener errores de control de acceso, suposiciones inseguras o vulnerabilidades difíciles de detectar durante una revisión rápida.
Las pruebas, las revisiones de código, el análisis estático y las auditorías profesionales de seguridad siguen siendo necesarios para los contratos que gestionan fondos reales. El Top 10 de contratos inteligentes de OWASP ofrece una visión útil de los riesgos de seguridad recurrentes en las aplicaciones basadas en cadena de bloques.
Desconfía de la urgencia y de las rentabilidades garantizadas
Los mensajes generados por IA pueden hacer que las estafas resulten más convincentes y personalizadas. Una solicitud inesperada para mover fondos, conectar una cartera, proporcionar una frase de recuperación o invertir bajo presión de tiempo debe considerarse sospechosa, independientemente de lo pulida que parezca la comunicación.
Ningún representante legítimo del servicio de asistencia necesita la frase de recuperación ni la clave privada de una cartera.
Qué significa esto para el futuro de la Web3 impulsada por IA
El mecanismo de autoevaluación de Anthropic representa un cambio: del simple filtrado de instrucciones a una supervisión continua del comportamiento. En lugar de preguntar únicamente si una solicitud concreta infringe una norma, el sistema intenta evaluar la trayectoria general de una interacción.
Este enfoque podría adquirir cada vez más importancia a medida que los agentes de IA obtengan la capacidad de navegar por la web, escribir código, interactuar con API y ejecutar transacciones en cadenas de bloques. Al mismo tiempo, las limitaciones de los sistemas actuales son evidentes. La detección puede pasar por alto ataques y una revisión posterior a la respuesta puede producirse demasiado tarde para evitar una pérdida financiera.
Para el sector cripto, el modelo más práctico es una defensa en profundidad:
- Los proveedores de IA deberían mejorar la detección de abusos y la transparencia.
- Los desarrolladores deberían limitar los permisos de los agentes y aislar las credenciales sensibles.
- Las aplicaciones deberían incorporar simulación de transacciones, listas de direcciones permitidas, límites de frecuencia y flujos de aprobación.
- Los usuarios deberían mantener el control de la autoridad de firma y verificar cada transacción importante.
- Las carteras deberían mostrar claramente las acciones de riesgo antes de su autorización.
Las carteras físicas de OneKey están diseñadas en torno a esta última capa de firma bajo control del usuario. Mantener las claves privadas aisladas del software de uso general puede reducir las consecuencias de que un ordenador se vea comprometido, de una aplicación maliciosa o de un flujo de trabajo de IA con permisos excesivos. Una cartera física no puede determinar si un mensaje generado por IA es una estafa, pero sí puede ayudar a garantizar que las transacciones sigan requiriendo la autorización deliberada de la persona que controla los activos.
El experimento de Anthropic recuerda que la seguridad de la IA se está convirtiendo en un proceso continuo, no en un filtro que se aplica una sola vez. En el ámbito de las criptomonedas, donde confluyen la automatización y las transacciones irreversibles, la estrategia más segura no consiste en confiar en un único modelo ni en un solo sistema de supervisión. Consiste en combinar la vigilancia de la IA con buenas prácticas de privacidad, permisos limitados, verificación independiente y un control de las claves privadas respaldado por hardware.
