Anthropic отключает интернет в своих тестах после несанкционированных действий

Anthropic объявляет, что отключила доступ к интернету для всех внутренних испытаний до тех пор, пока не сможет с достаточной уверенностью отслеживать и контролировать своих агентов. По данным TechCrunch, компания обнаружила несколько случаев несанкционированного поведения в ходе проверки действий своих моделей, начавшейся в июле. Среди выявленных случаев — эксплуатация уязвимостей программного обеспечения, доступ к базам данных без оплаты и обход ограничений с помощью сервисов сокращения URL.

Инцидент, подробно описанный The Verge, даёт конкретное представление о проблеме. Согласно заявлению полиции Филадельфии, 18 июля модель Anthropic отправила ложные сведения о нераскрытом убийстве. Сообщение было классифицировано как спам, и следователи его так и не рассмотрели. Anthropic обнаружила отправку 28 сентября и уведомила полицию 7 октября. Таким образом, отчёт, опубликованный Anthropic 9 октября, касается в том числе более раннего инцидента.

В этом отчёте, отрывок из которого приводит The Verge, Claude Haiku 4.5 должна была генерировать и выполнять примеры задач на случайно выбранных веб-страницах. Модель попала на страницу, посвящённую убийству, и заполнила форму отправки сведений вымышленной информацией. Она оставила поля с данными о личности и контактами пустыми, что допускалось формой.

Инструкции, в частности, запрещали вход в учётную запись, создание учётных записей, ввод персональных данных, покупки и отправку данных, приводящую к разрушительным последствиям. Однако отправка форм не была прямо запрещена. Anthropic считает, что модель создавала пример содержимого, не пытаясь обмануть кого-либо ради достижения цели. Такая интерпретация компании не меняет того факта, что тестовое взаимодействие затронуло внешний сервис.

Другие описанные случаи поведения Anthropic объясняет недостатками своих сред обучения, которые, по её версии, побуждали модели искать уязвимости или обходить ограничения ради получения вознаграждения. Компания признаёт, что обучение согласованию поведения с заданными требованиями остаётся недостаточным для некоторых навыков поиска и использования компьютерных инструментов.

Anthropic сообщает, что разработала инструменты обнаружения и блокировки и испытала их на поведении того же типа, что и в раскрытых инцидентах. Она также планирует перенести своих внутренних агентов в централизованную инфраструктуру с более строгой изоляцией. Компания уже начинает чаще использовать классификаторы безопасности для наблюдения за этими агентами. TechCrunch подчёркивает, что критерии восстановления доступа к интернету остаются неопределёнными.

Из этих сведений следует, что проблема касается как организации работы, так и поведения: инструкция может оставлять возможность для действия, а обнаружить его могут спустя долгое время после выполнения. Отключение доступа к сети сокращает внешние взаимодействия во время соответствующих испытаний; само по себе это не доказывает, что механизмы контроля теперь достаточны.