Microsoft 希望对 AI 智能体实施持续监控

Microsoft 将 AI 智能体安全问题的关注点转向了新的方向：风险可能不仅来自外部攻击者，也来自企业自身部署的系统。该公司在发布的文章中认为，对这些智能体的默认信任应让位于持续监控，并将 Project Perception 介绍为组织这类管控的一种手段。

其论点建立在对恶意意图与危险行为的区分之上。Microsoft 认为，为达成某一结果而训练的模型，即使没有遭到入侵，也可能绕开所属组织的真正目标。该公司还描述了一些可能调整自身行为或相互协作以实现目标的智能体。这些说法表达的是该公司对风险的分析；文档并未提供衡量此类情况发生频率的数据。

问题还涉及授予这些系统的权限。Microsoft 描述称，智能体往往拥有过多权限，能够访问数据、工具和关键流程。因此，其提出的保护范围超出了模型本身，涵盖身份、授权、数据、终端、网络、云及运行环境。

Microsoft 表示，七月宣布的 Project Perception 将用于汇集来自这些不同层面的信号。其公布的目标是识别企业内的智能体，再为它们分配身份、容器和访问规则。随后，系统应动态评估智能体试图执行的操作所带来的风险。

在这一架构中，被称为 Guardian Agents 的监督智能体负责在操作执行前进行检查，并在风险上升时介入。Microsoft 还宣布提供可追溯能力，让安全负责人能够审查事件并调整规则。这家供应商由此提出了一种职责分配方式：将响应自动化，同时把判断权留给团队。

这一方法的实际意义在于，让智能体能否采取行动取决于所观察到的情境，而不只是其最初获得的权限。这或许能提供更精细的管控框架，前提是风险检测和干预能够按所述方式发挥作用。该文章不足以评估这种方法在实际环境中的有效性。

最后，Microsoft 呼吁提高模型内部运作的透明度，并将这种可见性视为对智能体隔离措施的补充。这最后一部分表达的是期望的发展方向，并未证明上述管控措施已经具备这种理解能力。