Anthropicの新たな安全対策：Claudeが回答のたびにチャットを再検証
Anthropicの新たな安全対策：Claudeが回答のたびにチャットを再検証
Anthropicは、暗号資産業界にも大きな影響を及ぼす可能性のある、新たなAI安全機構を公表した。
6月からClaudeは、回答を生成した後に追加の「自己評価」を行うようになった。この非公開の回答後処理では、直前に処理した会話をモデル自身が見直し、詐欺やサイバー攻撃など、悪用や高リスク行為に関わる可能性があるかどうかを推定する。
この評価を理由に、回答が自動的にブロックされるわけではない。また、ユーザーが評価結果そのものを目にすることもない。主な目的は、監視や調査、アカウント単位での措置にある。
AIエージェントへの依存を強める暗号資産ユーザー、開発者、企業にとって、今回の変更はより大きな問いを投げかけている。AIシステムは、悪意ある意図を事後的に検知できるのか。そして自動化されたツールが関わるとき、人々はどのように資産を守るべきなのか。
Claudeの自己評価が実際に行うこと
従来のAI安全システムでは、独立した分類器に依存することが多い。こうしたツールは、禁止行為や危険な活動に結びつく兆候がないか、プロンプトや出力を検査する。
Anthropicの新たなアプローチでは、Claudeに2つ目の役割を担わせる。回答を完了した後、モデルは直前に分析した文脈を利用して、そのやり取りが悪用を示している可能性があるかを評価する。そのうえで、会話にリスクレベルを付与する。
Anthropicの発表によると、追加コストは比較的小さい。評価のためにClaudeが生成するトークンは平均で約10トークンにとどまり、追加の推論処理に必要な計算量も、推論全体の2％未満だという。
この仕組みは、リアルタイムのコンテンツフィルタリングとは異なる。システムは不審な行動を特定しても、元の回答を止めない場合がある。この違いは暗号資産の分野で特に重要だ。AIが生成した回答は、直ちにウォレットの作成やコードのデプロイ、資金の送金、被害者候補への接触に使われる可能性があるからだ。
AnthropicのAI安全に対する幅広い取り組みについては、同社の公開安全資料で説明されている。また、NIST AIリスクマネジメントフレームワークは、リスクの特定、監視、対応を理解するうえで有用な業界標準となっている。
なぜ暗号資産とブロックチェーンにとって重要なのか
暗号資産業界には、回答後のAI監視と特に相性のよい特徴がいくつかある。
- 取引は取り消せないことが多い。
- ブロックチェーン上のアドレスは、直接個人を特定できる情報ではなく、仮名である場合が多い。
- スマートコントラクトは、一度デプロイされると自動的に資産を移動できる。
- ソーシャルエンジニアリングは、依然として非常に効果的な攻撃手法である。
- AIコーディングツールは、正当な開発だけでなく悪意ある活動も加速させる可能性がある。
詐欺師が、明らかに犯罪的な回答をAIモデルに生成させる必要があるとは限らない。カスタマーサポート用の台本やウォレット復旧ページ、トークンのマーケティング、自動化された勧誘、コードのデバッグなどを依頼することもある。一見すると普通のやり取りを何度も重ねるうちに、初めて有害な意図が明らかになる場合もある。
だからこそ、単一のプロンプトを切り離して判断するよりも、会話全体を分析することに価値がある。たとえば、専門的なメッセージを書く依頼だけなら無害に見えるかもしれない。しかし、取引プラットフォームになりすます方法、被害者に暗号資産の送金を迫る方法、フォローアップメッセージを自動化する方法まで組み合わされれば、全体として極めて懸念すべきパターンになる。
初期の検知事例には暗号資産関連の悪用も含まれていた
Anthropicによると、自己評価システムは、従来の安全対策では見逃されていた事例を特定した。
8月には、あるAPI顧客が児童性的搾取に関連するリスクアラートを10万件以上生成したとされる。Anthropicは、この事案を米国の関係当局に通報したという。
9月には、Claude Codeが数十人の被害者を狙うロマンス詐欺の自動化に使われたとされる活動を、同システムが検知した。Anthropicは調査を行い、関連するアカウントを停止した。
これらの事例は、AIプロバイダーが回答生成後の監視を利用することで、個々の回答が作成された時点では明白でない行動を特定できる可能性を示している。
同時に、デジタル資産の利用者が抱える懸念も浮き彫りにしている。ロマンス詐欺や投資詐欺、偽のカスタマーサポートは、国境を越えて迅速に送金でき、取り消しも難しい暗号資産を頻繁に悪用する。米連邦取引委員会（FTC）の暗号資産詐欺に関する消費者向けガイダンスでは、なりすまし、確実な利益をうたう約束、緊急の支払い要求など、よくある手口が紹介されている。
検知と防止は同じではない
Anthropicの実験結果は、自己評価の限界も示している。
標準的な安全対策を無効にした状態で24件のサイバー攻撃シナリオを試したところ、モデルはリアルタイム介入のために自己評価を利用しようとした。しかし、13件では攻撃が成功した。
この結果は、よくある誤解を避けるうえで重要だ。回答を生成した後に不審な行動を認識できるAIモデルが、被害が発生する前にその行動を阻止できるとは限らない。
暗号資産のアプリケーションでは、その差がわずか数秒で明暗を分けることもある。AIエージェントが悪意あるスマートコントラクトを生成したり、秘密鍵を露出させたり、トークン取引の承認を行ったり、偽装メッセージを送信したりした場合、後から行われるリスク分類は調査には役立っても、発生した結果を自動的に取り消すことはできない。
そのため、AIの安全監視は、取引制御の代替ではなく、より広範なセキュリティアーキテクチャを構成する一つの層として捉える必要がある。
バックグラウンドでの再検証がもたらすプライバシー上のトレードオフ
回答後に会話を再検証するシステムでは、ユーザーのやり取りに関する追加情報を処理しなければならない。目的がセキュリティであっても、次のような正当な疑問が生じる。
- どのようなデータが保存されるのか。
- リスク評価はどのくらいの期間保管されるのか。
- フラグが付いた会話には誰がアクセスできるのか。
- 企業ユーザーは、アクティビティが審査された際に通知を受けるのか。
- 自動的な措置に対してユーザーは異議を申し立てられるのか。
- 誤検知にはどのように対処するのか。
これらの問いは、ウォレットアドレスや取引メタデータ、インシデント報告書、カスタマーサポートの会話をAIで処理する暗号資産企業にとって重要だ。ブロックチェーン上のデータは公開されていることが多い一方で、アドレスと実在の人物との結び付きは機微な情報になり得る。オンチェーンの活動と非公開のAI会話を組み合わせれば、より詳細な行動プロファイルが作成される可能性がある。
したがって、AIを金融やWeb3の業務フローに組み込む企業は、ベンダーのポリシーを確認し、不要な個人データを最小限に抑え、高リスクの秘密情報を汎用チャット環境から分離すべきだ。秘密鍵、シードフレーズ、API認証情報、署名権限、本番環境のデプロイ用シークレットを、ツールが安全そうに見えるという理由だけで会話型AIに入力してはならない。
AIと暗号資産を扱う際にユーザーがすべきこと
AIによる開発支援や自動化エージェントが普及しても、基本的な運用セキュリティが不要になるわけではない。ユーザーは、資金や権限をさらす前に、引き続き独立した管理策を講じる必要がある。
署名権限をAIツールから切り離す
AIアシスタントは、取引内容の説明やコードレビューには役立つかもしれない。しかし、秘密鍵への無制限のアクセスや、取引に署名する無制限の権限を与えるべきではない。
テスト環境と本番環境を分離し、可能な限り権限を制限する。また、高額送金やコントラクトのアップグレード、財務基盤の変更を行う際には、明示的な人間の承認を必須にすべきだ。
アドレスとコントラクトの詳細を独立して確認する
ウォレットアドレスやスマートコントラクト、取引について、AIが生成した説明だけを決して信用してはならない。署名する前に、独立したインターフェースを使って送付先、ネットワーク、トークン数量、承認範囲を確認すること。
攻撃者は、ウェブサイトやドキュメント、サポート窓口を操作することもできる。見慣れたメッセージだからといって、本物であるとは限らない。
AIが生成したコードは、レビューが終わるまで信頼しない
AIはスマートコントラクトの開発を加速させられる一方で、生成コードにはアクセス制御の不備や危険な前提、短時間のレビューでは見つけにくい脆弱性が含まれる可能性がある。
実際の資金を扱うコントラクトでは、テスト、コードレビュー、静的解析、専門家によるセキュリティ監査が依然として必要だ。OWASP Smart Contract Top 10では、ブロックチェーンアプリケーションで繰り返し発生する代表的なセキュリティリスクがまとめられている。
緊急性や確実な利益をうたう話を疑う
AIが生成したメッセージは、詐欺をより説得力のある、個人に合わせたものにする可能性がある。資金の移動やウォレットの接続、リカバリーフレーズの提供、時間制限付きの投資を突然求められた場合は、どれほど洗練された内容に見えても不審なものとして扱うべきだ。
正規のサポート担当者が、ウォレットのリカバリーフレーズや秘密鍵を求めることは決してない。
AIを活用したWeb3の未来に何を意味するのか
Anthropicの自己評価機構は、単純なプロンプトフィルタリングから、継続的な行動監視へと進む流れを示している。単一の依頼がルールに違反しているかどうかだけを判断するのではなく、やり取り全体がどのような方向に進んでいるのかを評価しようとしているのだ。
AIエージェントがウェブの閲覧やコードの作成、APIとの連携、ブロックチェーン取引の実行まで行えるようになるにつれ、このアプローチの重要性はさらに高まる可能性がある。一方で、現在のシステムには明確な限界もある。攻撃を検知できないこともあり、回答後の検証では金融被害を防ぐには遅すぎる場合もある。
暗号資産業界にとって最も現実的なモデルは、多層防御である。
- AIプロバイダーは、悪用の検知能力と透明性を高めるべきである。
- 開発者は、エージェントの権限を制限し、機密認証情報を分離すべきである。
- アプリケーションには、取引シミュレーション、許可リスト、レート制限、承認ワークフローを導入すべきである。
- ユーザーは署名権限を自ら管理し、重要な取引をすべて確認すべきである。
- ウォレットは、承認前にリスクの高い操作を分かりやすく表示すべきである。
OneKeyのハードウェアウォレットは、この最後の層にあたる、ユーザー自身が管理する署名を中心に設計されている。秘密鍵を汎用ソフトウェアから隔離することで、コンピューターの侵害や悪意あるアプリケーション、権限を与えすぎたAIワークフローによる被害を抑えられる可能性がある。ハードウェアウォレットは、AIが生成したメッセージが詐欺かどうかを判断できるわけではない。しかし、資産を管理する本人による意図的な承認がなければ、取引を実行できないようにする助けにはなる。
Anthropicの実験は、AI安全対策が一度きりのフィルターではなく、継続的なプロセスになりつつあることを示している。自動化と取り消し不能な取引が交差する暗号資産の世界で最も安全な戦略は、単一のモデルや監視システムを信頼することではない。AIによる監視に加え、強固なプライバシー対策、限定的な権限、独立した検証、そしてハードウェアに裏付けられた秘密鍵の管理を組み合わせることである。
