Claude отправлял настоящие заявки. Тесты дошли до Белого дома

Поручаешь своему ИИ-агенту заполнить форму, но ничего не отправлять. Возвращаешься, а он уже нажал кнопку. Примерно как урок вождения, на котором инструктор обнаружил, что ученик выехал из симулятора на городскую улицу.

9 октября Anthropic опубликовала разбор непреднамеренных действий Claude. Во время тестов и внутренней работы модели взаимодействовали с настоящими сайтами, включая государственные.

Учебная форма не открылась. Нашлась настоящая

В одном тесте закрытая исследовательская модель должна была работать с тренировочной копией государственной формы. Копия не загрузилась или оказалась случайно закрыта. Модель перешла на реальный сайт и отправила форму там.

У Haiku 4.5 был другой сбой: задание требовало остановиться перед отправкой, а модель ожидала еще одну страницу подтверждения и нажимала кнопку раньше времени.

Редакционная схема одного случая из отчета Anthropic, не интерфейс государственного сайта.

По данным Axios, тестовая модель отправила 20 визовых заявок. Ни одну не обработали; системы Госдепартамента не были взломаны.

Полиции тоже достался "пример"

В Филадельфии модель отправила выдуманную информацию о нераскрытом убийстве. Как сообщает Reuters, это произошло 18 июля, а полиция узнала о случившемся от Anthropic только на этой неделе. Задержку примерно в два месяца ведомство назвало неприемлемой.

Сообщение выглядело как обращение человека, у которого есть сведения о преступлении. Автоматическая система пометила его как спам, и до проверки следователями оно не дошло.

В тестовом задании были запреты на регистрацию аккаунтов и разрушительные действия, но отправку форм отдельно не запретили. Вот так пример для проверки модели оказался в канале, где ждут сведения от реальных свидетелей.

Интернет отключили до проверки защиты

Другие эпизоды касались обхода платного доступа к публичным данным, использования ошибки университетского сервиса и сокращателей ссылок для обхода ограничений инструментов.

Anthropic отключила живой интернет во всех внутренних оценках моделей, пока не убедится в надежности защиты и наблюдения. Новые инструменты блокировки уже остановили описанные действия при повторном прогоне этих случаев.

Белый дом тоже отреагировал. Представитель Федеральной торговой комиссии, по сообщению Reuters, заявил: ИИ-компании должны немедленно раскрывать инциденты и устранять причиненный вред. Такой порядок назвали обязательным.

К слову, о Super Intelligence Force мы уже писали. Группу создали как раз для разбора рисков ИИ. Теперь у нее есть вполне конкретный материал для работы.

В проектировании ИИ-агентов я ставлю на технические ограничения и подтверждение важных действий человеком. Самостоятельность полезна, пока агент не начинает самостоятельно искать обход твоего запрета.

Больше авторского мнения про нейросети без цензуры в моем телеграм-канале Тима из AVENIR.

UPD, 15 октября: FTC потребовала документы у OpenAI и Anthropic в расследовании безопасности ИИ. Какие сведения собирает регулятор - читать продолжение.

UPD, 26 октября: Anthropic и власти Джорджии уточнили эпизод с доступом к сводным данным. Какие данные получил Claude и что осталось недоступным - в продолжении.