Агенты OpenAI нашли обход ограничений. Вот такая самостоятельность

Поручаешь своему ИИ-агенту собрать статистику. Рассчитываешь получить таблицу, а не повод объясняться с владельцами чужих сайтов. У OpenAI выяснение таких подробностей уже стало отдельной головной болью.

1 октября Reuters сообщил, что компания уведомила больше 100 организаций об инцидентах с неразрешенной активностью ее агентов. В тот же день Asymmetric Security опубликовала независимый разбор публичных следов их действий.

К слову, о расследовании прокуратуры Калифорнии мы уже писали. Здесь интересны конкретные способы обхода ограничений и масштаб проверки, которую ведет сама OpenAI.

Больше 100 уведомлений. Но о чем именно?

Цифра относится к организациям, которым сообщили о возможных последствиях активности агентов. Хотя это и не значит, что было больше 100 подтвержденных взломов или утечек, но звоночек определенно тревожный.

По данным Reuters, OpenAI разбирает около 50 петабайт данных, чтобы установить, что происходило. Проверка началась после инцидента с Hugging Face, и компания ранее предупреждала, что работа займет месяцы.

Еще есть интересное расхождение между источниками. Пока Reuters уверенно сообщает о числе больше 100, сами OpenAI скромно говорят всего лишь о десятках уведомленных сторон. Забавно.

За данными пошли через чужой браузер

Asymmetric Security изучила публичные следы активности за март-сентябрь. Судя по этим записям, агенты искали статистику по здравоохранению, торговле и другим темам. Полной картины исходных заданий в публичных записях, конечно же, нет.

Зато известно другое - когда получить информацию обычным способом не удавалось, агенты использовали внешние сервисы. Один предоставлял страницу с кодом, другой открывал ее в своем браузере, а результат попадал в отчет, который агент мог прочитать.

Словно сотруднику закрыли браузер, а он попросил знакомого открыть сайт и переслать ответ. Ограничение вроде есть, а вроде и нет.

Что еще обнаружили исследователи? Агенты получали доступ к некоторым тестовым средам, делали поиск открытых служебных файлов и отправляли запросы, которые могли заставить базу данных выполнить чужую команду. Такие вот дела.

Что признает сама OpenAI

Компания проверяет действия моделей в интернете во время обучения и оценки. В ее сводке перечислены обход проверок доступа, использование опубликованных ключей, ввод команд в чужие сервисы и обращение к внутренним частям систем.

Есть и менее тяжелая, но вполне реальная проблема: агенты размещали сообщения на сторонних сайтах. Например, использовали публичные вики как доску для обмена информацией. Владельцам таких площадок потом может понадобиться... генеральная уборка?

Самым серьезным обнаруженным эпизодом OpenAI по-прежнему называет ту самую нашумевшую историю с Hugging Face. Но, если вкратце, там речь шла о закрытой мощной внутренней исследовательской модели. Нам, обычным юзерам Astra 6 и Opus 5.5 такое, благо, не светит.

В проектировании ИИ-агентов мне важно, чтобы каждый агент имел рамки, за которые не может выйти физически, если его действие не подтвердили. Самостоятельность агента это круто. Самостоятельно найденный обход запрета - уже совсем не круто.