바이트댄스 Seed, 독립 AI 안전 조직 신설: 옌린은 우융후이에 보고, ‘에이전트 권한 남용’에 초점

바이트댄스 Seed가 독립적인 모델 정렬·대비(Model-Alignment & Preparedness) 부서를 신설하기로 했다는 소식은 단순한 내부 AI 거버넌스 개편 이상의 의미를 갖는다. 암호화폐 업계에는 2025년에 들어 더욱 시급해지고 있는 질문을 던진다. AI 에이전트가 더 이상 질문에 답하는 데 그치지 않고, 도구를 호출하고 워크플로를 실행하며, 나아가 온체인 자산과 상호작용하게 되면 어떤 일이 벌어질까?

최근 업계 보도에 따르면, 새로 만들어지는 Seed 조직은 더우바오(Doubao) 대형 모델의 정렬 업무를 맡아 온 옌린이 이끌며, Seed 책임자인 우융후이에 직접 보고하게 된다. 기존 Responsible AI 팀 구성원과 Chat 팀 일부 인력이 새 조직으로 이동할 것으로 알려졌다. 이 조직의 역할에는 모델 사양 수립, 안전성 평가, 정렬 학습, 보호 메커니즘, 리스크 모니터링, 외부 연구기관 및 제3자 평가기관과의 협업 등이 포함되는 것으로 전해졌다.

핵심 메시지는 분명하다. AI 모델의 추론 능력과 도구 사용 능력이 강해질수록, 안전 문제는 더 이상 챗봇이 부적절한 답변을 하지 않도록 막는 수준에 머물 수 없다. 더 어려운 과제는 자율 에이전트가 사용자의 승인 범위를 넘어 행동하지 않도록 보장하는 것이다.

암호화폐 사용자에게 AI 에이전트 안전이 중요한 이유

블록체인 산업은 자율 소프트웨어가 되돌릴 수 없는 행동을 실행할 수 있는 가장 초기의 환경 중 하나다. 전통적인 웹 애플리케이션에서는 잘못된 작업이 발생해도 고객지원팀을 통해 되돌릴 수 있는 경우가 있다. 하지만 블록체인 거래는 한 번 확인되면 대체로 최종 확정된다.

이 때문에 AI 에이전트 정렬은 암호화폐 영역에서 특히 중요하다. 시장 데이터를 요약하는 에이전트는 상대적으로 위험이 낮다. 반면 지갑에 연결해 거래를 준비하고, 토큰 승인 권한을 부여하며, 자산을 브리지로 옮기고, 보상을 청구하거나 DeFi 프로토콜과 상호작용하는 에이전트는 훨씬 더 위험한 환경에서 작동한다.

그래서 “채팅 안전”과 “에이전트 안전”을 구분하는 일이 중요하다. 암호화폐에서 위험은 모델이 나쁜 답변을 내놓는 데서만 발생하지 않는다. 진짜 위험은 모델이 사용자가 의도하지 않은 행동을 실행하는 데 있다.

예를 들면 다음과 같다.

• 요청한 범위보다 더 넓은 권한을 가진 거래에 서명하는 경우
• 악성 컨트랙트에 무제한 토큰 승인 권한을 부여하는 경우
• 합법적인 dApp을 모방한 피싱 웹사이트와 상호작용하는 경우
• 명확한 사용자 동의 없이 체인 간 자금을 이동하는 경우
• 조작된 데이터나 프롬프트 인젝션을 바탕으로 전략을 실행하는 경우
• 개인정보나 포트폴리오 세부 정보를 노출하는 외부 도구를 호출하는 경우

트레이딩, 포트폴리오 관리, 스마트 컨트랙트 분석, 온체인 작업에서 AI 에이전트의 활용이 늘어날수록, 업계에는 “도움이 되는 어시스턴트처럼 보였다”는 수준을 넘어서는 더 강력한 안전 모델이 필요하다.

모델 정렬에서 거래 정렬로

AI 정렬은 일반적으로 모델의 행동이 인간의 의도, 안전 규칙, 정책적 제약과 일치하도록 만드는 것을 뜻한다. 암호화폐에서는 이 개념을 ‘거래 정렬(transaction alignment)’이라고 부를 수 있는 영역으로 확장해야 한다. 즉 AI가 제안하는 온체인 행동이 사용자의 명시적 승인과 정확히 일치해야 한다는 뜻이다.

이는 자연어로 확인을 받는 것만으로는 충분하지 않다. 사용자가 “이 자산을 스테이킹할 수 있게 도와줘”라고 말하더라도, 실제 거래에는 여러 숨겨진 단계, 토큰 승인, 컨트랙트 호출, 크로스체인 작업이 포함될 수 있다. AI 에이전트가 그 작업을 준비한다면, 사용자는 자신이 실제로 무엇에 서명하는지 신뢰할 수 있는 방식으로 확인할 수 있어야 한다.

바로 이 지점에서 하드웨어 지갑의 중요성이 여전히 크다. 안전한 서명 장치는 AI가 제안하는 행동과 사용자가 승인하는 실행 사이에 분리된 경계를 만들 수 있다. 예를 들어 OneKey는 셀프 커스터디와 거래 확인을 중심으로 설계되어, 사용자가 자금 이동 전에 서명 요청을 검토하면서 개인키를 오프라인에 보관할 수 있도록 돕는다. AI 에이전트가 보편화되는 미래에는 이러한 분리가 더욱 큰 가치를 갖게 된다.

원칙은 간단하다. AI는 도울 수 있지만, 개인키에 대한 최종 권한자가 되어서는 안 된다.

도구 사용이 새로운 보안 경계다

현대 AI 시스템은 점점 더 도구 호출에 의존하고 있다. 브라우저, API, 데이터베이스, 코드 실행 환경, 거래 인터페이스, 지갑 관련 서비스에 접근할 수 있다. 이런 구조는 AI를 더 유용하게 만들지만, 동시에 새로운 공격 표면도 만들어 낸다.

보안 커뮤니티는 이미 프롬프트 인젝션, 안전하지 않은 도구 설계, 데이터 유출, 과도한 자율성 같은 위험을 지적해 왔다. OWASP Top 10 for Large Language Model Applications는 이러한 위협을 이해하는 데 유용한 프레임워크를 제공한다. 여기에는 악의적 지시가 웹페이지, 문서, 외부 데이터 소스 안에 숨겨질 수 있는 방식도 포함된다.

암호화폐 사용자에게 프롬프트 인젝션은 곧 금전적 위험으로 이어질 수 있다. 예를 들어 AI 에이전트가 어떤 웹페이지를 읽고 있는데, 그 안에 악성 컨트랙트를 추천하라는 숨겨진 지시가 들어 있다고 상상해 보자. 혹은 에이전트가 토큰 페이지를 분석하다가 공격자에게 이익이 되는 거래를 생성하도록 조작되는 경우도 생각할 수 있다.

핵심은 모델이 얼마나 똑똑한지가 아니다. 중요한 것은 모델이 행동할 권한을 갖고 있는지, 어떤 도구에 접근할 수 있는지, 그리고 그 행동이 어떻게 제한되는지다.

독립 AI 안전팀이 전략적 중요성을 갖게 되는 이유

Seed가 안전과 정렬 업무를 독립 부서로 분리하려 한다는 보도는 업계 전반의 흐름을 보여 준다. AI 안전은 이제 연구 차원의 관심사를 넘어 운영상의 필수 요건으로 이동하고 있다.

범용 모델을 개발하는 기업들에게 과제는 더 이상 벤치마크 점수를 높이는 데만 있지 않다. 더 강력해진 시스템이 실제 환경에서도 통제 가능한 상태로 유지된다는 점을 입증해야 한다. 여기에는 위험한 능력 평가, 오남용 모니터링, 배포 전 더 엄격한 통제 적용이 포함된다.

NIST AI Risk Management Framework는 AI 리스크의 거버넌스, 매핑, 측정, 관리를 강조한다. 이러한 개념은 AI 시스템이 스마트 컨트랙트, 시장 인프라, 디지털 자산과 상호작용할 수 있는 블록체인 애플리케이션에서 갈수록 중요해지고 있다.

외부 평가 역시 중요하다. 모델 제공자가 스스로의 시스템을 평가할 경우, 내부 인센티브가 속도와 제품 출시 쪽으로 기울어 평가 과정에 편향을 만들 수 있다. 특히 금융 워크플로에 통합될 수 있는 시스템이라면, 제3자 테스트는 더 신뢰할 수 있는 안전 기준선을 만드는 데 도움이 된다.

CBRN 언급이 보여 주는 더 넓은 대비 관점

보도에서 언급된 CBRN 리스크, 즉 화학·생물학·방사능·핵 분야의 위험은 암호화폐와는 거리가 멀어 보일 수 있다. 그러나 이는 선도적인 AI 연구소들이 단순한 일상적 콘텐츠 조정이 아니라, 파급력이 큰 오남용까지 염두에 두고 있음을 보여 준다.

블록체인 분야에서도 이와 유사한 대비 관점이 금융 오남용과 인프라 악용에 적용되어야 한다. AI 에이전트는 피싱 메시지 작성, 스마트 컨트랙트 취약점 분석, 사기 캠페인 자동화, 악용 가능한 사용자 행동 식별을 도와 공격자의 기술 장벽을 낮출 수 있다.

이것이 AI를 거부해야 한다는 뜻은 아니다. 암호화폐에 사용되는 AI 시스템은 엄격한 경계 안에서 설계되어야 한다는 뜻이다.

• 개인키 노출 금지
• 자동 서명 금지
• 숨겨진 거래 실행 금지
• 기본값으로 무제한 토큰 승인 금지
• 제3자 데이터에 대한 맹목적 신뢰 금지
• 지갑 API에 대한 관리되지 않는 접근 금지
• 에이전트의 의사결정과 도구 호출에 대한 명확한 로그 제공

AI 모델이 강력해질수록 안전은 암묵적인 것이 아니라 더 명시적인 것이 되어야 한다.

2025년: AI 에이전트가 계정 추상화, DeFi, 온체인 자동화와 만나다

이 논의의 시점은 중요하다. 2025년 암호화폐 사용자들은 계정 추상화, 인텐트 기반 거래, 자동화된 트레이딩 에이전트, AI 지원 DeFi 인터페이스에 더 많은 관심을 기울이고 있다.

계정 추상화는 지갑을 더 프로그래밍 가능하고 사용자 친화적으로 만들 수 있다. 이더리움의 account abstraction roadmap은 스마트 컨트랙트 계정이 더 유연한 승인 및 복구 설계를 포함해 새로운 거래 모델을 가능하게 하는 방식을 설명한다. 이러한 개선은 사용자에게 도움이 될 수 있지만, 동시에 권한 설계를 더 복잡하게 만든다.

인텐트 기반 시스템은 또 다른 추상화 계층을 만든다. 사용자가 모든 거래 단계를 직접 지정하는 대신, 원하는 결과를 표현하는 방식이다. 예를 들어 “이 자산을 최적 가격에 스왑해 줘”, “내 포트폴리오를 리밸런싱해 줘”, “수수료가 더 낮은 네트워크로 자금을 옮겨 줘”라고 요청할 수 있다. AI 에이전트는 목표를 해석하고 행동을 조율할 수 있기 때문에 이 모델과 자연스럽게 맞아떨어진다.

하지만 추상화는 위험을 가릴 수도 있다. 사용자가 내부에서 실제로 무슨 일이 일어나는지 이해하지 못한다면, 악의적이거나 제대로 정렬되지 않은 에이전트가 그 빈틈을 악용할 수 있다. 따라서 업계는 더 나은 UX와 더 강력한 검증을 함께 결합해야 한다.

미래의 모습은 “AI가 모든 것을 처리하고 사용자는 안전하기만을 바라는” 방식이어서는 안 된다. “AI가 제안하고, 보안 시스템이 제약을 걸며, 사용자가 승인하는” 방식이어야 한다.

암호화폐 개발팀을 위한 실질적 교훈

AI 기능을 결합한 암호화폐 제품을 만드는 팀에게 Seed의 조직 개편 보도는 몇 가지 유용한 시사점을 준다.

1. 제품 성장과 안전 거버넌스를 분리하라

AI 안전을 막판 체크리스트처럼 취급해서는 안 된다. 제품팀이 도입률만으로 보상받는다면, 발생 빈도는 낮지만 영향이 큰 위험을 과소평가할 수 있다. 전담 안전 기능은 사용자가 위험에 노출되기 전에 가정을 검증하고 문제를 제기할 수 있다.

2. 에이전트가 해서는 안 되는 일을 정의하라

명확한 모델 사양은 중요하다. AI 에이전트에는 명시적인 한계가 있어야 한다. 어떤 도구를 호출할 수 있는지, 어떤 컨트랙트와 상호작용할 수 있는지, 어느 규모 이상의 거래에 추가 확인이 필요한지, 어떤 행동이 금지되는지 분명히 정해야 한다.

3. 승인을 기계가 읽을 수 있게 만들어라

자연어 동의만으로는 충분하지 않다. 암호화폐 애플리케이션은 사용자 권한을 프로그램으로 집행 가능한 구조화된 규칙으로 변환해야 한다. 예를 들어 에이전트가 거래를 시뮬레이션하는 것은 허용하되 제출은 금지하거나, 일정 금액 이하의 스왑 준비는 허용하되 토큰 승인 권한 부여는 금지할 수 있다.

4. 서명 전에 시뮬레이션을 활용하라

거래 시뮬레이션은 실행 전에 사용자가 가능한 결과를 이해하도록 돕는다. AI 에이전트가 여러 단계의 작업을 생성하거나 낯선 스마트 컨트랙트와 상호작용할 때 특히 중요하다.

5. 서명을 분리해 유지하라

AI 시스템이 개인키를 통제해서는 안 된다. 서명을 AI의 의사결정과 분리하면, 모델이 조작되거나 침해되거나 단순히 잘못 판단하더라도 피해 범위를 줄일 수 있다.

사용자가 확인해야 할 것들

AI 기반 도구를 평가하는 암호화폐 사용자는 다음과 같은 질문을 직접 던져야 한다.

• AI가 거래를 시작할 수 있는가, 아니면 설명만 할 수 있는가?
• 해당 도구가 필요하기 전에 지갑 연결을 요구하는가?
• 토큰 승인 한도가 제한적인가, 아니면 무제한인가?
• 거래 시뮬레이션 기능이 있는가?
• AI가 포트폴리오 데이터, 브라우징 기록, 개인 파일에 접근할 수 있는가?
• 도구 호출 내역이 사용자에게 보이는가?
• 서명이 별도의 안전한 장치에서 수행되는가?

이 질문들에 대한 답이 불분명하다면 사용자는 신중해야 한다. 편리함을 얻기 위해 자산에 대한 통제권을 넘겨줄 필요는 없다.

AI와 암호화폐를 위한 더 안전한 길

바이트댄스 Seed가 전담 AI 안전·정렬 조직을 만들었다는 보도는 기술 산업 전반의 더 큰 변화를 반영한다. 강력한 모델에는 전담 거버넌스, 지속적인 평가, 도구 사용에 대한 더 강한 보호 장치가 필요하다.

암호화폐에서는 그 중요성이 특히 크다. AI 에이전트가 곧 지갑, 스마트 컨트랙트, 거래소, 브리지, DeFi 프로토콜 가까이에서 작동하게 될 수 있기 때문이다. 업계는 AI의 도움을 환영해야 하지만, 명확한 승인 경계와 안전한 서명 관행이 전제되어야 한다.

이 환경에서 OneKey의 역할은 분명하다. 개인키를 사용자 통제 아래 두고, 자산 보관을 AI 기반 의사결정과 분리하는 것이다. AI 에이전트의 능력이 강해질수록, 이러한 분리는 일상적인 암호화폐 사용자에게 가장 중요한 보안 원칙 중 하나가 될 수 있다.