オーバープロビジョニングと制約の欠如 ——セキュリティチームが自律型AIの混乱を最小限に抑える3つの方法

セキュリティチームにとって、インサイダー脅威はよく知られた存在です。インサイダー脅威とは、組織の従業員や、外部委託業者および特権アクセスを持つパートナー企業などのユーザーが、偶発的もしくは悪意を持って組織に悪影響を与えうるセキュリティ脅威です。

しかし最近では、悪意を持っているとは限らず、しかも人間ではないという新しいタイプのインサイダー脅威が登場しています。自律型AI（AIエージェント）システムは、人間の代理として行動する一方で、人間の意思決定に取って代わり、従来の認可フレームワークの弱点を突く存在になりえます。

AIエージェントの出現は、現在のSaaSプラットフォームにおける認可システムにとって大きなリスクとなる可能性があります。しかし、セキュリティチームとITチームが適切な視点で積極的に対応すれば、そのリスクを防げます。まず、エージェントがどこで、なぜ認可システムに重大なリスクをもたらすのかを把握することが必要です。

人間にとって良いこと≠エージェントにとって良いこと

認可（またはAuthZ）とは、ユーザーがアクセスできるリソースを管理することを指し、許可された操作だけができるようにすることを目的としています。

ただしAuthZシステムは、ユーザーが試みるすべての行動を必ずしも防げるわけではないことに注意が必要です。既存のAuthZシステムのほとんどは、法律、社会的非難のリスク、習慣などの外部要因が人間の不正行為を制限するという前提に基づいて脅威モデルを設定・構築しています。

そのため、AuthZシステムがアクセスを過剰に付与すること（オーバープロビジョニング）があっても、通常は問題にはなりません。オーバープロビジョニングはよくあることです。たとえば、ある従業員が入社したばかりの場合、その従業員が何にアクセスする必要があるかを慎重に検討するよりも、既存のロールセットをその従業員のアカウントにコピーする方が簡単です。これまで、このアプローチは通常、重大な問題を引き起こすに至りませんでした。なぜなら、ほとんどの人がオーバープロビジョニングされたアクセスを悪用することはないからです。会社のガイドラインに違反した場合、解雇されたり、信頼を失ったり、場合によっては刑務所に行く可能性があることは、誰もが承知しています。

しかしながら、AIエージェントには、そのような良心の呵責がありません。

混沌をもたらすエージェントたちの登場

AIエージェントは、相対的な自律性を持って特定のタスクを実行するために連携して動作するエージェントの集合体です。その設計により、ソリューションを見つけ出し、効率を最大化できます。

その結果、AIエージェントの動作は非決定的になりがちで、特にシステムが相互運用することでより複雑になると、タスクを遂行する際に思いがけない動作をする可能性があります。AIエージェントはタスクを効率的に達成しようとするため、人間がこれまで考えたことのない（または考えないであろう）ワークフローやソリューションを発明します。これにより、問題解決の驚くべき新しい方法が生まれ、許容される限界が必然的に試されることになります。

AIエージェントの自律的な行動は、そもそも人間の行動を前提としたルールベースのガバナンスの枠組みを超えているため、対処しきれません。独自の動作方法を発見できるエージェントを開発することは、人間が予想もしなかった行動をとるエージェントの登場を許すことにもなります。

こうして、人間に代わって行動するエージェントは、ユーザーのオーバープロビジョニングされたアクセス権や役割を無意識に利用する可能性があります。人間を抑制する社会規範に縛られないAIエージェントは、ビジネスに深刻な影響をもたらす恐れがあります。

たとえば、ユーザーのチェックアウトフローに対するソリューションの作成を担当するAIは、チェックアウトプロセスを最適化するためのコードを書き始めることがあります。このエージェントが、そのミッションに関係がないと判断した（しかしビジネスの他の側面に不可欠な）AWSやGoogle Cloudのサービスを停止するコードを本番環境にデプロイしたり、比較的安定したシステムセットに不安定性をもたらしたりすることは望ましくありません。

適切なガバナンスでAIエージェントを制御する

セキュリティチームは、新たなベストプラクティスを積極的に採用することで、AIエージェントがAuthZシステム内で引き起こす可能性のある混乱を防ぐことができます。そのためには、責任あるガバナンスが鍵を握ります。組織はまず、以下の重要な領域に焦点を当てることから始めましょう。

1. 複合ID

現在、認証（AuthN）システムとAuthZシステムは、人間のユーザーとAIエージェントを区別できません。AIエージェントがアクションを実行するとき、人間のユーザーに代わって行動するか、人間中心の認証・認可システムに基づいて割り当てられたIDを使用します。

これにより、以前は簡単だった質問に答えるプロセスが複雑になります。たとえば、「⁠誰がこのコードを作成したのですか？」「⁠このマージリクエストを開始したのは誰ですか？」「⁠このGitコミットを作成したのは誰ですか？」といった質問です。

また、次のような新しい質問も促されます。

「誰がAIエージェントにこのコードを生成するように指示したのですか？」
「エージェントはどのようなコンテキストでそれをビルドする必要がありましたか？」
「AIはどのリソースにアクセスできたのでしょうか？」

複合IDは、これらの質問に答える方法を提供します。複合IDは、AIエージェントのIDとそれを指示する人間のユーザーをリンクします。その結果、AIエージェントがリソースにアクセスしようとすると、エージェントを認証して承認し、担当である人間のユーザーにリンクできます。

2. 包括的なモニタリングフレームワーク

運用チーム、開発チーム、セキュリティチームには、複数のワークフロー、プロセス、システムにわたってAIエージェントのアクティビティをモニタリングする方法が必要です。たとえば、エージェントがコードベースで何をしているかを知るだけでは不十分です。ステージング環境や本番環境、関連するデータベース、およびアクセス可能なあらゆるアプリケーションでのアクティビティもモニタリングする必要があります。

既存の人事情報システム（HRIS）と並行して自律型リソース情報システム（ARIS）が登場し、組織がAIエージェントの活動を管理するようになるかもしれません。エージェントのプロファイルを維持し、その得意分野や専門性を文書化し、運用上の境界を管理できる世界も想像できます。 KnosticのようなLLMデータ管理システムでは、そのようなテクノロジーの始まりを見ることができますが、これはまだ序章に過ぎません。

3. 透明性と説明責任

高度なモニタリングフレームワークの有無にかかわらず、組織とその従業員はAIを使用している間は透明性を保つ必要があります。また、AIエージェントに対する明確な説明責任の構造を確立する必要があります。人間は、エージェントの行動とアウトプットを定期的にレビューする必要があり、さらに重要なのは、エージェントがその境界を超えた場合に、誰かが説明責任を負わなければならないということです。

責任を持ってエージェントを導入する

AIエージェントは、作業環境に予測不可能な要素をもたらし、多くの場合、それは顕著なイノベーションやブレークスルーにつながります。また、既存のAuthZシステムの限界を確実に押し広げます。しかしAuthZエージェントが、組織全体に大混乱を引き起こす存在となる必要はありません。

新しいテクノロジーは、これまでのセキュリティの常識に挑戦してきました。まだ見えていないリスクがあることは、ある意味当然のことです。かつての技術進化におけるクラウドコンピューティングへの移行にも似ています。セキュリティはイノベーションに遅れをとることが多く、前進するためにはバランスを取る必要があります。責任あるAI導入は、新たに生まれつつあるベストプラクティスを積極的に受け入れることから始まります。早い段階で適切なガバナンスフレームワークを構築すれば、エージェントが混乱を引き起こすことを防げるのです。