AI エージェントの使用に伴うリスクを認識する
学習の目的
この単元を完了すると、次のことができるようになります。
- AI エージェントに影響を及ぼすおそれがある一般的なセキュリティリスクを挙げる。
- AI エージェントのリスクが、ビジネスワークフローにどのような影響を及ぼす可能性があるか説明する。
始める前に
このモジュールを始める前に、次の推奨コンテンツを完了することを検討してください。
AI エージェントの使用に伴うリスクについて学習する
AI エージェントは、日常業務を処理して、手作業のステップを減らし、お客様が必要なものをすばやく手に入れられるようにして、ビジネスチームの負担を軽減することができます。1 つのエージェントを使用している場合でも、Agentforce のようなマルチエージェントシステムを使用している場合でも、その目的はエージェントが得意とする業務はエージェントに任せ、個々人が価値の高い業務に専念できるようにすることです。
ただし、エージェントは分析だけでなく、アクションを実行することも可能なため、さまざまなリスクがもたらされます。従来の AI リスクは、主としてデータがどのように使用または誤用されたかに起因します。たとえば、データ汚染、プロンプトインジェクション、ハルシネーションなどは、データの整合性や出力の質、モデルが提示や生成する内容に影響を及ぼします。エージェントのリスクはさらに深刻です。そうした出力に基づいて、メッセージの送信、レコードの変更、システムの更新、お客様とのやり取りといった実際のアクションが行われた場合の成り行きにも関係します。エージェントが侵害されたり、設定が誤っていたりすると、その影響がすぐさま業務に波及します。たとえば、お客様が間違った請求書を受け取る、部門の給与が処理されない、生成されたコンプライアンスレポートが配信されないといった事態が生じます。下表を見れば、エージェントのリスクを理解して、早い段階からガードレールを確立しておくことが、テクノロジーそのものと同じくらい重要であることがわかります。
脅威モデリングは、エージェントのリスクによってどこでエラーや間違いが生じる可能性があるかを検証する手段です。エージェントは実際のワークフロー内で動作し、実際のデータ、人々、判断に関与するため、こうしたリスクを日常業務のコンテキストでとらえることが大切です。このようなワークフローが認識または理解されていなければ、エージェントが適切に構築されていたとしても、開発チームが予期していなかったやり方でエージェントが動作するおそれがあります。
では、OWASP のエージェンティック AI に関するガイダンスを参考に、AI エージェントの一般的なリスクと、ワークフローにどのような影響を及ぼす可能性があるかを見ていきましょう。
リスク |
攻撃者/原因と影響 |
|---|---|
メモリ汚染 |
攻撃者がエージェントの短期/長期メモリに偽のコンテキストを仕込み、エージェントが長期にわたって安全でないアクションを繰り返し実行するようにする。 |
ツールの悪用 |
攻撃者は、エージェントが許可された権限の範囲内で承認済みのツール (データの送信、コマンドの実行、アクションのチェーニングなど) を悪用するように仕向ける。 |
権限の侵害 |
設定ミスにより、エージェントに意図したものより広範なアクセス権限が付与され、エージェントがリスクの高いアクション (承認、変更、削除など) を実行可能になる。 |
リソースの過負荷 |
攻撃者が大量のタスクを送り付けて、エージェント/システムに割り当てられたコンピューティング/API を枯渇させ、ビジネスプロセスを停止させる。 |
連鎖的なハルシネーション |
エージェントが自らまたはほかのエージェントの誤った出力を繰り返し利用して、ワークフロー全体に誤った判断を広める。 |
整合性のない/虚偽的な動作 |
エージェントが制約を回避し、認められていない方法 (遵守しているように見せかける、有害なアクションを実行する) で目標を達成しようとする。 |
否認と追跡不能 |
攻撃者がエージェントのログ記録を妨害する、または不完全なレコードで過剰な負荷をかけるという方法で、エージェントのアクションを追跡不能にし、適切な監査やインシデント対応を妨げる。 |
ID 偽装となりすまし |
攻撃者がユーザー/エージェントになりすまし、信頼のおける ID を用いてコマンドを実行したり、システムにアクセスしたりする。 |
人間が関与するプロセスへの過剰負荷 |
攻撃者が大量のレビューや承認を送り付けて人間の判断力を鈍らせ、リスクの高いアクションをよく確かめずに承認させる。 |
マルチエージェントシステムに対する人為的攻撃 |
攻撃者がエージェント間の委任/信用を悪用して、権限を昇格させたり、チェックを回避したりする。 |
上記の問題はどれも対処しなければ、業務の中断、お客様の信用の喪失、評判の失墜、法的/金銭的な影響につながるおそれがあります。
エージェントのリスクは、ワークフローのさまざまな部分で生じる可能性があります。たとえば、設計上の不備、設定の問題、実行時の予期しない動作、攻撃者による意図的な悪用などが挙げられます。リスクがどこで生じるかに関係なく、その影響は同じような形で現れます。ビジネスが意図していないアクションをエージェントが実行するということです。脅威モデリングとは、脆弱性や潜在的な脅威を特定するためのプロセスで、こうした弱点を早目に可視化して、業務に影響を及ぼす前に対処できるようにします。脅威モデリングについては、次の単元で詳しく説明します。
攻撃者の動機を理解する
サイバー攻撃の一般的な動因は金銭的利益ですが、攻撃者の目論見は多岐にわたります。脅威モデリングを効果的に実施するためには、攻撃者の多様な目的を理解することが不可欠です。その動機がわかれば、攻撃者が AI エージェントのどの脆弱性を狙うかが明らかになるためです。
ハクティビスト
この一般的な動機は、世間の注目を集めること、政治的な意図を示すこと、評判を失墜させることです。ハクティビストは、カスタマーサービスやソーシャルメディアのエージェントなど、対外的なアクションやコミュニケーションを担うエージェントを操作して、自分たちのメッセージを拡散したり、業務を中断させたり、ビジネスクリティカルなワークフローを妨害したりすることがあります。
サイバー犯罪者
この一般的な動機は、金銭的利益です。サイバー犯罪者は価値の高いデータや金融取引機能にアクセスできるエージェントを標的にすることがあります。その目的は、機密情報を窃取すること (データ盗難)、エージェントの権限を悪用して不正な金融取引を実行すること、エージェントが管理するシステムやデータを人質にして身代金を要求することなどです。
国家的な攻撃者
この一般的な動機は、諜報活動、戦略的妨害、知的財産や経済的優位性の獲得です。こうした攻撃者が、知的財産、クリティカルなビジネスロジック、インフラストラクチャの制御システムを管理するエージェントを密かに侵害しようと狙っていることがあります。通常は巧妙な手口で長期的な戦略上の利益 (金銭以外) を得るために、データを操作または窃取します。
まとめ
AI エージェントによって作業が迅速化しますが、そのスピードに価値が置かれるのは、出力の信頼性と安全性が確保されている場合に限られます。一般的なリスクとその潜在的な影響を認識すれば、あらゆるやり取りが強化され、エージェントとビジネスの両方を安定した基盤上に維持することができます。
次の単元では、脅威モデリングを実際のワークフローに適用し、エージェントがデータ、判断、人々にどこで関与するかを明らかにして、ビジネスにとってクリティカルなプロセスやアセットを保護するために必要な対策を見極めます。