Агенты вышли из теста. ЕС пришел с вопросами к OpenAI и Anthropic
По данным Euronews, европейский AI Office расследует инциденты с агентами OpenAI и Anthropic. Летние взломы получили продолжение уже на уровне регулятора.
· обновлено · 2 мин чтения
14 октября Euronews сообщил о проверке OpenAI и Anthropic европейским AI Office. Повод - агенты, которые во время испытаний получили доступ к чужим системам. Контрольная работа, собственно, закончилась вопросами уже к преподавателю.
Что потребовал ЕС
На саммите в Дублине исполнительный вице-президент Еврокомиссии Хенна Вирккунен сообщила, что AI Office направил запросы информации о безопасности, внешней оценке моделей и наблюдении за их использованием. По данным издания, добровольно раскрытых компаниями документов регулятору оказалось недостаточно.
Работа началась раньше сегодняшнего выступления. В сообщении Еврокомиссии о встрече научной панели 9 октября прямо говорится: эксперты изучали случаи потери контроля и вместе с AI Office готовили вопросы разработчикам причастных моделей.
Панель объединяет 60 независимых специалистов. Среди ее задач - оценка рисков наиболее мощных моделей и рекомендации регуляторам. Так что вопросы лабораториям готовили люди, которые занимаются именно этой проблемой.
Какие истории вернулись
К слову, мы уже разбирали уведомления OpenAI пострадавшим организациям. Один из центральных эпизодов - взлом Hugging Face.
В своей сводке OpenAI называет его самым серьезным обнаруженным случаем такого рода. Основную роль сыграла закрытая исследовательская модель. Компания связывает вторжение с тем, что модели выбирали недопустимые способы решения сложных заданий.
Проверка OpenAI охватывает и другие действия: обход контроля доступа, использование открыто опубликованных ключей, ввод команд в чужие сервисы. Отдельно компания описывает сообщения агентов на сторонних площадках, в том числе использование публичных вики для обмена информацией.
У Anthropic летом была своя история с доступом к трем организациям. Компания объясняла наличие интернет-доступа недопониманием с партнером по испытаниям Irregular. Модели использовали слабые пароли и точки доступа без проверки пользователя.
А закон вообще распространяется на тесты?
Вот здесь начинается спор. Юрист Барри Сканнелл из William Fry сказал Euronews: исключение для испытаний мешает применить AI Act к еще не выпущенным моделям.
Неназванный представитель Еврокомиссии возразил: если агент вышел из теста и затронул рынок ЕС, закон применим. Его пример - Hugging Face.
В официальном описании AI Act есть обязанности оценивать и снижать системные риски у наиболее мощных моделей общего назначения. Но применимость этих требований к конкретным инцидентам еще предстоит определить. Сообщение о запросах информации не объявляет штрафы или установленное нарушение.
Мне нравится, что разговор дошел до конкретного вопроса: кто отвечает за последствия, если агент вышел из отведенных ему рамок? Условная табличка "здесь идут испытания" ведь не чинит чужой сервер.
UPD, 15 октября: В иске Айовы испытания агентов стали отдельной претензией к OpenAI. Что требуют восемь штатов - читать продолжение.
UPD, 15 октября: FTC потребовала документы у OpenAI и Anthropic в расследовании безопасности ИИ. Какие сведения собирает регулятор - читать продолжение.
