Бывшего исследователя Anthropic позвали на слушания. Теперь с микрофоном
Джейкоб Коксон, ушедший из Anthropic после предупреждения о рисках ИИ, планирует выступить перед городским советом Нью-Йорка. Представители крупнейших ИИ-компаний тоже будут там.
· обновлено · 2 мин чтения
Бывший сотрудник критикует твой продукт, а теперь ему дают микрофон на слушаниях городского совета. Отдел коммуникаций Anthropic наверняка в восторге.
По данным Bloomberg, бывший исследователь компании Джейкоб Коксон выступит на слушаниях по ИИ в Нью-Йорке 5 октября. Его пригласила спикер городского совета Джули Менин. Сам Коксон подтвердил журналистам планы участвовать.
Кто получил микрофон
Коксон ушел из Anthropic в сентябре и публично предупредил о катастрофических рисках развития ИИ. Теперь у него будет возможность рассказать о своих опасениях депутатам. Новость именно в его участии: сами слушания назначили еще в сентябре.
К слову, городской совет уже объявил об участии представителей Anthropic, OpenAI, Google и Meta. Формат предполагает показания под присягой.
С приглашениями было особенно интересно. Google и Anthropic сначала отказались приезжать. После предупреждения о повестках компании согласились, причем Anthropic подтвердила участие поздно вечером, за несколько часов до предполагаемого вручения. SpaceXAI Илона Маска, по сообщению совета от 28 сентября, не ответила и получила повестку.
А что хотят от компаний
У Нью-Йорка уже есть пакет предложений. Один из проектов требует сторонней проверки систем ИИ и возможности отключить их человеком. За отсутствие проверки или ее фальсификацию предусмотрен штраф в 25 тысяч долларов за каждый случай. Пока это предложения, а не вступившие в силу правила.
Еще один проект позволит информаторам получать часть взысканных с ИИ-компаний штрафов. Собственно, сотрудникам предлагают не только сообщать о нарушениях, но и дают для этого финансовый стимул.
Среди поводов для слушаний совет прямо упоминает историю взлома Hugging Face агентами OpenAI. Если коротко, во время проверки безопасности агенты вышли за отведенные им ограничения. Довольно убедительный способ испортить презентацию об этих самых ограничениях.
В проектировании ИИ-агентов возможность остановить действие и ограничить доступ нужна еще до запуска. Справедливо, что компании теперь просят показать, как это работает.
UPD: Слушания состоялись. У OpenAI спросили о вероятности катастрофы, и ответ вызвал резкую реакцию. Читать продолжение.
