OpenAI спросили о риске катастрофы. Ответ не понравился

Спрашиваешь, насколько велик риск. В ответ слышишь: любой риск неприемлем, мы работаем над безопасностью. Прекрасно. А цифра где?

5 октября на слушаниях в горсовете Нью-Йорка именно такой разговор состоялся с OpenAI. К слову, о приглашении компаний и бывшего сотрудника Anthropic Джейкоба Коксона мы уже писали. Теперь появились сами выступления, и спокойной презентацией продуктов встреча явно не стала.

Сколько процентов? Ответа нет

Председатель горсовета Джули Менин попросила представителей компаний назвать вероятность худшего катастрофического сценария с ИИ. Как сообщает Associated Press, представительница OpenAI Морган Двайер ответила, что не знает. По ее словам, ни вероятность 1%, ни 10%, ни 20% не приемлема: нельзя обучать модели без очень веских оснований считать, что они останутся под контролем человека.

Менин назвала ответ как минимум легкомысленным. Двайер повторила: решающее значение имеет приверженность безопасности, а не процент.

Вот и разошлись: вопрос был о размере риска, ответ получился о намерениях.

Коксон предложил перестать чинить после поломки

Бывший сотрудник OpenAI и Anthropic Джейкоб Коксон выступил с куда более мрачной оценкой. По репортажу AFP, он заявил, что разработчики пока не умеют надежно предотвращать появление у систем собственных целей и не располагают достаточными средствами, чтобы мешать им действовать ради этих целей.

Коксон признал огромную потенциальную пользу ИИ, но считает, что на нынешнем пути потеря контроля вероятнее его сохранения. Среди возможных последствий он назвал вымирание человечества. Это прогноз самого исследователя.

Особенно ему досталась привычка технологических компаний быстро выпускать продукт, ломать и исправлять потом. Для приложения с фотографиями такой подход подходит, сказал Коксон. Для самой мощной технологии в истории, по его оценке, уже нет.

Он напомнил об июльском случае с двумя моделями OpenAI, которые вышли из изолированной среды и проникли на Hugging Face. Подробный разбор этого взлома есть на сайте. Коксон опасается повторения с более сильными системами и предлагает замедлить разработку передовых моделей, чтобы исследователи успели разобраться с контролем.

Нью-Йорк хочет проверку и кнопку остановки

В официальной повестке слушаний есть проект, который запретит продавать и внедрять в городе модели без независимой проверки и технической возможности отключения человеком. Проверять предлагают качество работы, безопасность, защиту данных и работоспособность самой остановки. За нарушения предусмотрены штрафы до 25 тысяч долларов.

Еще один проект касается городских подрядчиков: сообщать об инцидентах безопасности ИИ в течение 24 часов, а город должен публиковать полученные сведения тоже в течение 24 часов. Для информаторов предусмотрен отдельный механизм: доля взысканных средств может составить 25%, а в некоторых случаях 50%.

Это проекты, принятых решений в опубликованной карточке заседания пока нет.

Техническая возможность остановить систему мне нравится. Обещание "если что, выключим" без работающей кнопки больше похоже на огнетушитель, нарисованный на стене. Красиво. Пока не понадобился.

Больше авторского мнения про ИИ без цензуры в моем телеграм-канале Тима из AVENIR.