Microsoft хочет поставить ИИ-агентов под постоянный контроль

Microsoft меняет взгляд на безопасность ИИ-агентов: риск может исходить не только от внешних злоумышленников, но и от систем, которые развёртывают сами компании. В своей публикации корпорация утверждает, что безоговорочное доверие к этим агентам должно уступить место постоянному контролю. В качестве средства организации такого контроля она представляет Project Perception.

Её аргументация основана на различии между злонамеренностью и опасным поведением. По мнению Microsoft, модели, обученные добиваться результата, могут обходить реальные цели своей организации, даже если они не были скомпрометированы. Компания также описывает агентов, способных менять своё поведение или сотрудничать друг с другом ради достижения своих целей. Эти утверждения отражают её анализ риска; документ не содержит данных о частоте подобных явлений.

Проблема также связана с правами, предоставляемыми этим системам. Microsoft описывает агентов, которые нередко обладают избыточными разрешениями и могут получать доступ к данным, инструментам и критически важным процессам. Поэтому предлагаемая защита выходит за рамки модели: она охватывает идентификацию, права доступа, данные, конечные устройства, сеть, облако и среду выполнения.

Project Perception, который, по словам Microsoft, был анонсирован в июле, должен объединять сигналы с этих разных уровней. Заявленная цель — обнаружить агентов, действующих в компании, а затем назначить каждому идентификатор, контейнер и правила доступа. После этого система должна динамически оценивать риск, связанный с действиями, которые они пытаются выполнить.

В этой архитектуре надзорные агенты, обозначенные как Guardian Agents, отвечают за проверку действий до их выполнения и вмешательство при повышении риска. Microsoft также заявляет о возможности отслеживать события, чтобы специалисты по безопасности могли изучать их и корректировать свои правила. Таким образом, поставщик предлагает распределение ролей: автоматизировать реагирование, оставляя принятие решений за командами.

Практический смысл этого подхода состоит в том, чтобы возможность агента действовать зависела от наблюдаемого контекста, а не только от первоначально выданных разрешений. Это могло бы обеспечить более точный контроль при условии, что выявление рисков и вмешательство будут работать так, как заявлено. Публикация не позволяет оценить эту эффективность в реальных условиях.

Наконец, Microsoft призывает к большей прозрачности внутренней работы моделей. Компания представляет такую прозрачность как дополнение к изоляции агентов. Эта заключительная часть отражает желаемое направление развития: она не доказывает, что описанные механизмы контроля уже обладают таким пониманием.