Новая мера безопасности Anthropic: Claude анализирует ваш чат после каждого ответа

Компания Anthropic раскрыла новый механизм обеспечения безопасности ИИ, который может иметь важные последствия для криптовалютной индустрии.

Начиная с июня Claude после формирования ответа выполняет дополнительную «самооценку». На этом скрытом этапе после ответа модель анализирует только что обработанный диалог и оценивает, может ли он быть связан со злоупотреблениями — например, мошенничеством, кибератаками или другой деятельностью высокого риска.

Сам по себе результат этой проверки не приводит к автоматической блокировке ответа, а пользователи не видят саму оценку. В первую очередь механизм предназначен для мониторинга, расследований и применения мер на уровне учетной записи.

Для пользователей криптовалют, разработчиков и компаний, которые всё активнее полагаются на ИИ-агентов, это изменение поднимает более общий вопрос: способны ли ИИ-системы выявлять злонамеренные намерения постфактум и как людям защищать свои активы, если в процесс вовлечены автоматизированные инструменты?

Что именно делает Claude в рамках самооценки

Традиционные системы безопасности ИИ часто используют отдельные классификаторы. Такие инструменты анализируют запросы и ответы в поисках признаков запрещенной или опасной деятельности.

Новый подход Anthropic возлагает на Claude дополнительную ответственность. После завершения ответа модель использует уже проанализированный контекст, чтобы оценить, может ли взаимодействие указывать на злоупотребление. Затем она присваивает диалогу определенный уровень риска.

Согласно опубликованной информации, дополнительные затраты относительно невелики. В среднем Claude генерирует для этой оценки около 10 дополнительных токенов, а дополнительная нагрузка на рассуждение составляет менее 2% от общего объема вычислений при инференсе.

Этот подход отличается от фильтрации контента в режиме реального времени. Система может выявить подозрительное поведение, не прерывая исходный ответ. Для криптовалютной сферы это особенно важно: ответ, сгенерированный ИИ, можно сразу использовать для создания кошелька, развертывания кода, отправки средств или связи с потенциальными жертвами.

Общий подход Anthropic к безопасности ИИ изложен в публичных материалах компании по безопасности, а NIST AI Risk Management Framework служит полезным отраслевым ориентиром для понимания процессов выявления рисков, мониторинга и реагирования.

Почему это важно для криптовалют и блокчейна

У криптовалютного сектора есть несколько особенностей, из-за которых мониторинг ИИ после выдачи ответа приобретает особое значение:

• Транзакции часто необратимы.
• Публичные блокчейн-адреса могут быть псевдонимными, а не напрямую связанными с конкретным человеком.
• Смарт-контракты после развертывания способны автоматически перемещать активы.
• Социальная инженерия остается одним из самых эффективных методов атак.
• Инструменты ИИ для программирования могут ускорять как легитимную разработку, так и вредоносные операции.

Мошеннику не обязательно просить ИИ-модель выдать явно преступный ответ. Он может обратиться за помощью в составлении скриптов для службы поддержки, страниц восстановления кошелька, маркетинговых материалов для токена, автоматизированных рассылок или отладки кода. Злонамеренный замысел может проявиться только после нескольких на первый взгляд обычных взаимодействий.

Именно поэтому анализ диалога в целом зачастую полезнее, чем оценка отдельного запроса в отрыве от контекста. Просьба написать профессиональное сообщение сама по себе может выглядеть безобидно. Но если к ней добавляются запросы на выдачу себя за торговую платформу, давление на жертву с целью заставить ее перевести криптовалюту и автоматизацию последующих сообщений, общая картина становится гораздо более тревожной.

Среди первых выявленных случаев были злоупотребления, связанные с криптовалютами

Anthropic сообщила, что система самооценки выявила случаи, которые обычные защитные механизмы пропустили.

В августе один из клиентов API, по имеющимся данным, сгенерировал более 100 000 предупреждений о рисках, связанных с сексуальной эксплуатацией детей. Anthropic заявила, что передала информацию соответствующим властям США.

В сентябре система обнаружила операцию, в рамках которой, предположительно, использовался Claude Code для автоматизации романтических мошеннических схем, нацеленных на десятки жертв. Anthropic провела расследование и заблокировала связанные с этой деятельностью учетные записи.

Эти примеры показывают, как поставщик ИИ может использовать мониторинг после генерации, чтобы выявлять поведение, которое не всегда очевидно в момент создания каждого отдельного ответа.

Они также подчеркивают растущую угрозу для пользователей цифровых активов. В романтических мошеннических схемах, инвестиционном обмане и поддельных службах поддержки криптовалюты используются особенно часто: переводы можно быстро осуществлять через границы, а отменить их бывает трудно. В рекомендациях Федеральной торговой комиссии США для потребителей по поводу криптовалютных мошеннических схем описаны несколько распространенных моделей, включая выдачу себя за другое лицо или организацию, обещания гарантированной доходности и требования срочно совершить платеж.

Выявление угроз — не то же самое, что их предотвращение

Результаты Anthropic также демонстрируют ограничения самооценки.

В ходе теста с 24 сценариями кибератак, где стандартные защитные механизмы были отключены, модель попыталась использовать самооценку для вмешательства в режиме реального времени. Однако атаки всё равно удались в 13 случаях.

Этот результат важен, поскольку не позволяет сделать распространенную ошибку: ИИ-модель, способная распознать подозрительное поведение после выдачи ответа, не обязательно может остановить его до того, как будет нанесен ущерб.

В криптовалютных приложениях разница может измеряться секундами. Если ИИ-агент сгенерирует вредоносный смарт-контракт, раскроет приватный ключ, одобрит токеновую транзакцию или отправит обманное сообщение, последующая классификация риска может помочь в расследовании, но не способна автоматически отменить последствия.

Поэтому мониторинг безопасности ИИ следует рассматривать как один из уровней комплексной архитектуры защиты, а не как замену контролю транзакций.

Компромисс между безопасностью и конфиденциальностью при фоновой проверке

Система, которая анализирует диалоги после выдачи ответа, должна обрабатывать дополнительные сведения о взаимодействии пользователя. Даже если целью является обеспечение безопасности, это закономерно вызывает ряд вопросов:

• Какие данные сохраняются?
• Как долго хранятся оценки риска?
• Кто может получить доступ к диалогам, помеченным системой?
• Уведомляются ли корпоративные клиенты о проверке активности?
• Могут ли пользователи обжаловать автоматическое решение о применении санкций?
• Как обрабатываются ложные срабатывания?

Эти вопросы особенно важны для криптовалютных компаний, которые могут использовать ИИ для обработки адресов кошельков, метаданных транзакций, отчетов об инцидентах или переписки со службой поддержки. Данные блокчейна часто являются публичными, однако связь конкретного адреса с реальным человеком может быть чувствительной информацией. Объединение активности в блокчейне с частными диалогами с ИИ способно создать гораздо более подробный поведенческий профиль пользователя.

Поэтому компаниям, интегрирующим ИИ в финансовые процессы или Web3-сервисы, следует изучать политики поставщиков, сводить к минимуму объем ненужных персональных данных и отделять особо чувствительные секреты от универсальных чат-сред. Приватные ключи, сид-фразы, учетные данные API, разрешения на подпись и секреты, используемые при развертывании в рабочей среде, ни в коем случае не следует вводить в разговорный ИИ-инструмент только потому, что он кажется безопасным.

Что следует делать пользователям, работающим с ИИ и криптовалютами

Распространение разработки с помощью ИИ и автоматизированных агентов не отменяет необходимости в базовых мерах операционной безопасности. Перед раскрытием доступа к средствам или разрешениям пользователям по-прежнему следует применять независимые средства контроля.

Храните полномочия на подпись отдельно от ИИ-инструментов

ИИ-ассистент может помочь объяснить транзакцию или проверить код, но у него не должно быть неограниченного доступа к приватным ключам или неограниченных полномочий на подписание транзакций.

Используйте разные среды для тестирования и работы с реальными активами. По возможности ограничивайте права доступа и требуйте явного подтверждения человека перед крупными переводами, обновлением контрактов или изменением инфраструктуры казначейства.

Независимо проверяйте адреса и параметры контрактов

Никогда не полагайтесь только на сгенерированное ИИ объяснение адреса кошелька, смарт-контракта или транзакции. Перед подписанием проверьте адрес назначения, сеть, количество токенов и объем предоставляемых разрешений через независимый интерфейс.

Злоумышленники также могут подделывать сайты, документацию и каналы поддержки. Сообщение, выглядящее знакомо, еще не доказывает его подлинность.

Считайте сгенерированный ИИ код ненадежным, пока он не пройдет проверку

ИИ способен ускорить разработку смарт-контрактов, однако сгенерированный код может содержать ошибки в управлении доступом, небезопасные допущения или уязвимости, которые трудно заметить при поверхностной проверке.

Для контрактов, работающих с реальными средствами, по-прежнему необходимы тестирование, проверка кода, статический анализ и профессиональный аудит безопасности. В OWASP Smart Contract Top 10 представлен полезный обзор регулярно встречающихся рисков безопасности в блокчейн-приложениях.

Скептически относитесь к срочности и гарантированной доходности

Сообщения, созданные с помощью ИИ, могут сделать мошеннические схемы более убедительными и персонализированными. Неожиданную просьбу перевести средства, подключить кошелек, предоставить фразу восстановления или инвестировать под давлением времени следует считать подозрительной — независимо от того, насколько профессионально выглядит сообщение.

Ни один легитимный сотрудник службы поддержки не попросит фразу восстановления или приватный ключ от кошелька.

Что это означает для будущего Web3 на базе ИИ

Механизм самооценки Anthropic знаменует переход от простой фильтрации запросов к непрерывному мониторингу поведения. Вместо того чтобы проверять лишь соответствие отдельного запроса определенному правилу, система пытается оценить общую динамику взаимодействия.

Такой подход может стать еще важнее по мере того, как ИИ-агенты получают возможность просматривать веб-страницы, писать код, взаимодействовать с API и выполнять блокчейн-транзакции. В то же время ограничения современных систем очевидны. Угрозы могут остаться незамеченными, а проверка после выдачи ответа — произойти слишком поздно, чтобы предотвратить финансовые потери.

Для криптовалютной индустрии наиболее практичной моделью остается эшелонированная защита:

1. Поставщикам ИИ следует совершенствовать выявление злоупотреблений и повышать прозрачность.
2. Разработчикам необходимо ограничивать полномочия агентов и изолировать чувствительные учетные данные.
3. Приложениям следует внедрять симуляцию транзакций, списки разрешенных адресов, лимиты частоты операций и процедуры согласования.
4. Пользователи должны сохранять контроль над полномочиями на подпись и проверять каждую важную транзакцию.
5. Кошельки должны показывать пользователю рискованные действия до их авторизации.

Аппаратные кошельки OneKey создаются с учетом именно этого последнего уровня контроля — подпись остается в руках пользователя. Хранение приватных ключей в изоляции от универсального программного обеспечения позволяет снизить последствия взлома компьютера, использования вредоносного приложения или чрезмерно широких полномочий ИИ-агента. Аппаратный кошелек не способен определить, является ли сгенерированное ИИ сообщение мошенническим, но он может помочь обеспечить необходимость осознанной авторизации транзакций человеком, который контролирует активы.

Эксперимент Anthropic напоминает, что безопасность ИИ превращается в непрерывный процесс, а не в разовую проверку. В криптовалютах, где сочетаются автоматизация и необратимые транзакции, наиболее безопасная стратегия — не доверять какой-либо одной модели или системе мониторинга. Гораздо надежнее сочетать контроль со стороны ИИ с продуманной защитой конфиденциальности, ограниченными разрешениями, независимой проверкой и аппаратным контролем приватных ключей.