Anthropic предлагает судебный механизм блокировки опасных моделей

Anthropic распространяет проект закона о безопасности искусственного интеллекта, который компания хотела бы вынести на рассмотрение Конгресса США, сообщает TechCrunch со ссылкой на Politico. Представитель Anthropic подтвердил Politico существование документа. Это предложение компании; на данном этапе его принятие не подтверждено.

Механизм был бы направлен на предсказуемую и надвигающуюся угрозу, способную привести к гибели более 50 человек или материальному ущербу свыше одного миллиарда долларов. Соответствующие сценарии были бы связаны с биологическим оружием, моделью, выходящей из-под контроля разработчика, или кибератакой.

Модели проверяли бы независимые оценщики, зарегистрированные в Министерстве торговли США. При выявлении надвигающейся катастрофической угрозы у них было бы 72 часа, чтобы уведомить министерство. Затем оно должно было бы обратиться к судье в Вашингтоне с требованием приостановить распространение модели. Проект запрещал бы федеральным ведомствам самостоятельно принимать решение о такой блокировке.

Открытым остаётся вопрос финансовой независимости оценок. Лаборатории могли бы оплачивать работу оценщиков при условии, что оплата не зависит от результата. Это правило регулировало бы вознаграждение, но его недостаточно, чтобы доказать отсутствие влияния.

Таким образом, предложенная схема отдавала бы приоритет судебному вмешательству после проведения оценки. Её эффективность зависела бы, в частности, от способности быстро определить характер риска и от фактической независимости оценщиков — двух вопросов, на которые имеющееся описание не позволяет дать окончательный ответ.