Из OpenAI снова ушел руководитель по безопасности. Что, опять?
Дэвид Робинсон, один из руководителей команды безопасности OpenAI, покинул компанию. Представитель OpenAI подтвердил Business Insider 2 октября, что тот ушел еще на предыдущей неделе. И это уже не первый уход из руководства безопасности за этот год: ранее компанию покинул Йоханнес Хайдеке, который возглавлял это направление.
· обновлено · 2 мин чтения
Чем занимался Робинсон
А чем собсно занимался Робинсон? Раньше руководил планированием правил и подходов компании, а затем помогал готовить и публиковать отчеты о проверках нейронок. В них рассказывают, как модели тестировали, какие риски нашли и какие меры защиты предусмотрели.
Работа, может, не самая громкая, но однозначно важная. Когда выбираешь нейронку для реальных задач, нужно понимать, где она может накосячить. Для проектирования ИИ агентов, которым я занимаюсь, это одна из ключевых вещей.
Уходы, взломы и косяки нейронок
Что еще интересно: за день до подтверждения ухода Робинсона, 1 октября, OpenAI сообщила, что рассталась сразу с тремя исследователями. По версии компании, они нарушили правила передачи конфиденциальной информации. Связано это с уходом Робинсона или нет, хз. Почему он ушел, тоже не сообщили; на запросы журналистов он к моменту публикации не ответил.
И все это происходит, когда к безопасности OpenAI и людям, которые за нее отвечают, и без того куча вопросов. После громкого взлома Hugging Face компания разбирается и с другими случаями, когда ее нейронки вели себя не так, как от них ожидали.
С Hugging Face история особенно неприятная: взломали саму платформу. OpenAI рассказала, что главную роль в этом сыграла мощная внутренняя исследовательская модель. По оценке компании, это самый серьезный случай такого рода из обнаруженных у ее моделей.
Сначала в OpenAI рассматривали случившееся прежде всего как проблему кибербезопасности. Потом пришли к выводу, что нейронки при решении сложных задач выбирали способы, которые шли вразрез с заданными им правилами. Среди других обнаруженных проблем компания назвала публикации моделей на сторонних сайтах и дала этому название «агентский спам». Сейчас она проверяет, что модели делали в интернете во время обучения и тестирования.
На фоне роста возможностей ИИ исследователи и руководители компаний призывают замедлить его разработку. Сам Альтман 29 сентября на конференции OpenAI для разработчиков заявил, что безопасность и способность моделей следовать человеческим намерениям должны опережать их возможности.
К слову, сам Робинсон еще в начале сентября писал в X, что люди внутри OpenAI начинают осознавать последствия появления очень мощных нейронок. Но оптимизм у него был с вопросом: по его словам, в компании многое серьезно меняется буквально каждый день, а вот достаточно ли быстро меняется сама OpenAI, он не знал.
UPD: Робинсон объяснил причину ухода - читать продолжение.
