Anthropic의 새로운 안전 조치: Claude, 모든 답변 후 대화 검토
Anthropic의 새로운 안전 조치: Claude, 모든 답변 후 대화 검토
Anthropic이 암호화폐 업계에 중요한 영향을 미칠 수 있는 새로운 AI 안전 메커니즘을 공개했다.
Claude는 6월부터 답변을 생성한 뒤 추가적인 ‘자체 평가(self-assessment)’를 수행하기 시작했다. 이 숨겨진 사후 응답 단계에서 모델은 방금 처리한 대화를 다시 검토하고, 해당 대화에 사기, 사이버 공격 또는 기타 고위험 활동과 같은 악용 가능성이 포함되어 있는지 추정한다.
이 검토만으로 답변이 자동 차단되는 것은 아니며, 사용자는 평가 결과 자체를 볼 수 없다. 대신 이 메커니즘은 주로 모니터링, 조사, 계정 단위의 제재를 목적으로 설계됐다.
AI 에이전트에 점점 더 의존하는 암호화폐 사용자와 개발자, 기업 입장에서 이번 변화는 더 큰 질문을 던진다. AI 시스템은 악의적인 의도를 사후에 감지할 수 있는가? 자동화된 도구가 개입된 상황에서 자산을 어떻게 보호해야 하는가?
Claude의 자체 평가가 실제로 하는 일
기존 AI 안전 시스템은 별도의 분류기에 의존하는 경우가 많다. 이러한 도구는 프롬프트와 출력물을 검사해 금지되거나 위험한 활동과 관련된 신호를 찾는다.
Anthropic의 새로운 접근 방식은 Claude에 두 번째 역할을 부여한다. Claude는 답변을 완료한 뒤, 방금 분석한 맥락을 바탕으로 해당 상호작용이 악용을 나타낼 가능성이 있는지 평가한다. 그런 다음 대화에 위험 수준을 부여한다.
Anthropic의 공개 내용에 따르면 추가 비용은 비교적 적다. Claude는 평가를 위해 평균적으로 약 10개의 토큰을 추가로 생성하며, 추가적인 추론에 필요한 연산량은 전체 추론 컴퓨팅 자원의 2% 미만이다.
이 설계는 실시간 콘텐츠 필터링과는 다르다. 시스템이 의심스러운 행동을 식별하더라도 원래 답변을 중단하지 않을 수 있다. 이러한 차이는 특히 암호화폐 분야에서 중요하다. AI가 생성한 답변이 곧바로 지갑 생성, 코드 배포, 자금 송금 또는 잠재적 피해자와의 접촉에 사용될 수 있기 때문이다.
Anthropic의 AI 안전에 대한 전반적인 접근 방식은 공개 안전 자료에 정리되어 있다. 또한 NIST AI 위험 관리 프레임워크는 위험 식별, 모니터링, 대응을 이해하는 데 유용한 업계 참고 자료를 제공한다.
암호화폐와 블록체인에 중요한 이유
암호화폐 업계에는 답변 이후의 AI 모니터링이 특히 중요해지는 몇 가지 특성이 있다.
- 거래는 되돌릴 수 없는 경우가 많다.
- 공개 블록체인 주소는 실명으로 직접 식별되기보다 가명으로 사용되는 경우가 많다.
- 스마트 계약은 배포된 뒤 자동으로 자산을 이동시킬 수 있다.
- 사회공학적 공격은 여전히 가장 효과적인 공격 수법 중 하나다.
- AI 코딩 도구는 정상적인 개발뿐 아니라 악의적인 작업도 가속할 수 있다.
사기꾼이 AI 모델을 이용해 노골적으로 범죄적인 답변을 만들어내야만 하는 것은 아니다. 고객 지원 스크립트, 지갑 복구 페이지, 토큰 마케팅, 자동화된 아웃리치, 코드 디버깅 등에 대한 도움을 요청할 수도 있다. 악의적인 의도는 겉보기에는 평범한 대화가 여러 차례 이어진 뒤에야 드러날 수 있다.
따라서 개별 프롬프트를 따로 판단하는 것보다 대화 전체를 분석하는 방식이 더 중요해진다. 전문적인 메시지를 작성해 달라는 요청만 보면 무해해 보일 수 있다. 하지만 거래 플랫폼을 사칭하고, 피해자에게 암호화폐를 송금하도록 압박하며, 후속 메시지를 자동화해 달라는 요청이 함께 나타난다면 전체적인 패턴은 훨씬 더 우려스러워진다.
초기 탐지 사례에는 암호화폐 관련 악용도 포함됐다
Anthropic은 자체 평가 시스템이 기존의 안전장치를 피해 간 사례를 식별했다고 밝혔다.
8월에는 한 API 고객이 아동 성착취와 관련된 위험 알림을 10만 건 이상 생성한 것으로 알려졌다. Anthropic은 해당 사례를 미국 관계 당국에 신고했다고 밝혔다.
9월에는 Claude Code가 수십 명의 피해자를 대상으로 한 로맨스 사기를 자동화하는 데 사용된 것으로 추정되는 활동을 시스템이 탐지했다. Anthropic은 해당 활동을 조사한 뒤 관련 계정을 차단했다.
이 사례들은 AI 제공업체가 생성 이후의 모니터링을 활용해 각 답변이 생성되는 순간에는 뚜렷하지 않을 수 있는 행동을 식별할 수 있음을 보여준다.
동시에 디지털 자산 사용자들이 점점 더 우려하는 문제도 부각한다. 로맨스 사기, 투자 사기, 가짜 고객 지원 운영은 국경을 넘어 빠르게 송금할 수 있고 거래를 되돌리기 어려울 수 있다는 점 때문에 암호화폐를 자주 이용한다. 미국 연방거래위원회(FTC)의 암호화폐 사기 관련 소비자 안내는 사칭, 수익 보장 약속, 긴급 결제 요청 등 여러 가지 일반적인 수법을 설명하고 있다.
탐지는 예방과 같지 않다
Anthropic의 결과는 자체 평가의 한계도 보여준다.
기존 안전장치를 비활성화한 상태에서 24개의 사이버 공격 시나리오를 대상으로 진행한 테스트에서, 모델은 실시간 개입을 위해 자체 평가를 활용하려 했다. 그러나 13건에서는 공격이 결국 성공했다.
이 결과는 흔히 발생하는 오해를 바로잡는 데 중요하다. 답변을 생성한 뒤 의심스러운 행동을 인식할 수 있는 AI 모델이라고 해서 피해가 발생하기 전에 해당 행동을 반드시 막을 수 있는 것은 아니다.
암호화폐 애플리케이션에서는 그 차이가 몇 초 만에 나타날 수 있다. AI 에이전트가 악성 스마트 계약을 생성하거나, 개인 키를 노출하거나, 토큰 거래를 승인하거나, 기만적인 메시지를 발송한다면 사후 위험 분류는 조사에 도움을 줄 수는 있어도 이미 발생한 결과를 자동으로 되돌릴 수는 없다.
따라서 AI 안전 모니터링은 거래 통제를 대체하는 수단이 아니라, 더 광범위한 보안 아키텍처를 구성하는 하나의 계층으로 봐야 한다.
백그라운드 검토에 따르는 개인정보 보호의 대가
답변 이후 대화를 검토하는 시스템은 사용자의 상호작용과 관련된 추가 정보를 처리해야 한다. 보안이 목적이라 하더라도 이는 다음과 같은 정당한 질문을 낳는다.
- 어떤 데이터가 보관되는가?
- 위험 평가는 얼마나 오래 저장되는가?
- 플래그가 지정된 대화에 누가 접근할 수 있는가?
- 기업 고객은 자신의 활동이 검토될 때 통지를 받는가?
- 사용자는 자동화된 제재 결정에 이의를 제기할 수 있는가?
- 오탐지는 어떻게 처리되는가?
이러한 질문은 지갑 주소, 거래 메타데이터, 사고 보고서 또는 고객 지원 대화를 처리하기 위해 AI를 사용하는 암호화폐 기업에 특히 중요하다. 블록체인 데이터는 대개 공개되어 있지만, 특정 주소와 실제 인물의 연결 관계는 민감한 정보일 수 있다. 온체인 활동과 비공개 AI 대화를 결합하면 훨씬 더 정교한 행동 프로필이 만들어질 수 있다.
따라서 AI를 금융 또는 Web3 업무 흐름에 통합하는 기업은 서비스 제공업체의 정책을 검토하고, 불필요한 개인정보 수집을 최소화하며, 고위험 비밀 정보를 일반적인 채팅 환경과 분리해야 한다. 개인 키, 시드 문구, API 인증 정보, 서명 권한, 프로덕션 배포용 비밀 정보는 해당 도구가 안전해 보인다는 이유만으로 대화형 AI 도구에 입력해서는 안 된다.
AI와 암호화폐를 함께 사용할 때 사용자가 해야 할 일
AI를 활용한 개발과 자동화 에이전트의 확산이 기본적인 운영 보안의 필요성을 없애 주는 것은 아니다. 사용자는 자금이나 권한을 노출하기 전에 독립적인 통제 절차를 계속 적용해야 한다.
서명 권한을 AI 도구와 분리하라
AI 어시스턴트는 거래 내용을 설명하거나 코드를 검토하는 데 도움을 줄 수 있지만, 개인 키에 제한 없이 접근하거나 거래를 자유롭게 서명할 수 있는 권한을 가져서는 안 된다.
테스트 환경과 프로덕션 환경을 분리하라. 가능한 모든 곳에서 권한을 제한하고, 고액 송금, 계약 업그레이드 또는 재무 관리 인프라 변경 전에 반드시 사람의 명시적인 승인을 거치도록 해야 한다.
주소와 계약 세부 정보를 독립적으로 확인하라
지갑 주소, 스마트 계약 또는 거래에 대한 AI 생성 설명만을 절대적으로 신뢰해서는 안 된다. 서명하기 전에 독립적인 인터페이스를 통해 수신 주소, 네트워크, 토큰 수량, 승인 범위를 확인해야 한다.
공격자는 웹사이트, 문서, 고객 지원 채널도 조작할 수 있다. 익숙해 보이는 메시지라고 해서 진짜라는 의미는 아니다.
AI가 생성한 코드는 검토 전까지 신뢰하지 말라
AI는 스마트 계약 개발을 가속할 수 있지만, 생성된 코드에는 접근 제어 오류, 안전하지 않은 가정 또는 빠른 검토 과정에서 발견하기 어려운 취약점이 포함될 수 있다.
실제 자금을 다루는 계약에는 테스트, 코드 리뷰, 정적 분석, 전문 보안 감사가 여전히 필요하다. OWASP 스마트 계약 톱 10은 블록체인 애플리케이션에서 반복적으로 발생하는 주요 보안 위험을 파악하는 데 유용한 개요를 제공한다.
긴급한 요청과 수익 보장을 의심하라
AI가 생성한 메시지는 사기를 더욱 설득력 있고 개인화된 형태로 만들 수 있다. 자금 이동, 지갑 연결, 복구 문구 제공 또는 시간 압박을 동반한 투자 요청을 갑자기 받았다면, 메시지가 아무리 정교해 보여도 의심스러운 것으로 간주해야 한다.
정상적인 고객 지원 담당자는 지갑의 복구 문구나 개인 키를 요구하지 않는다.
AI 기반 Web3의 미래에 의미하는 것
Anthropic의 자체 평가 메커니즘은 단순한 프롬프트 필터링에서 지속적인 행동 모니터링으로 나아가는 변화를 보여준다. 시스템은 개별 요청 하나가 규칙을 위반하는지만 묻는 것이 아니라, 상호작용이 전체적으로 어떤 방향으로 진행되는지 평가하려 한다.
AI 에이전트가 웹 검색, 코드 작성, API 상호작용, 블록체인 거래 실행까지 수행할 수 있게 되면서 이러한 접근 방식은 점점 더 중요해질 수 있다. 동시에 현재 시스템의 한계도 분명하다. 탐지는 공격을 놓칠 수 있으며, 답변 이후의 검토는 금융 피해를 막기에는 너무 늦게 이뤄질 수 있다.
암호화폐 업계에서 가장 현실적인 모델은 다층 방어다.
- AI 제공업체는 악용 탐지 기능과 투명성을 개선해야 한다.
- 개발자는 에이전트의 권한을 제한하고 민감한 인증 정보를 격리해야 한다.
- 애플리케이션은 거래 시뮬레이션, 허용 목록, 속도 제한, 승인 절차를 도입해야 한다.
- 사용자는 서명 권한을 직접 통제하고 모든 중요한 거래를 확인해야 한다.
- 지갑은 승인 전에 위험한 작업을 명확하게 보여줘야 한다.
OneKey 하드웨어 지갑은 사용자가 직접 통제하는 최종 서명 계층을 중심으로 설계됐다. 개인 키를 범용 소프트웨어와 분리해 보관하면 컴퓨터가 해킹되거나 악성 애플리케이션이 설치되거나 AI 작업 흐름에 과도한 권한이 부여된 경우에도 피해를 줄일 수 있다. 하드웨어 지갑이 AI가 생성한 메시지가 사기인지 판단해 주는 것은 아니지만, 자산을 통제하는 사람이 거래를 의식적으로 승인해야만 거래가 진행되도록 하는 데 도움을 줄 수 있다.
Anthropic의 실험은 AI 안전이 일회성 필터가 아니라 지속적인 과정으로 변하고 있음을 보여준다. 자동화와 되돌릴 수 없는 거래가 결합된 암호화폐 환경에서 가장 안전한 전략은 특정 모델이나 모니터링 시스템 하나를 무조건 신뢰하지 않는 것이다. AI 감독을 강력한 개인정보 보호 관행, 제한된 권한, 독립적인 검증, 하드웨어 기반 개인 키 통제와 결합하는 것이야말로 안전을 높이는 방법이다.
