OpenAI выложила 722 математические работы. Проверять людям

Помните школьное "ответ правильный, а решение где"? OpenAI принесла математикам целую стопку решений. Теперь предстоит выяснить, что именно в этой стопке работает. Проверяющим явно не до скуки.

6 октября OpenAI опубликовала математические результаты, полученные внутренней исследовательской моделью. В репозитории на GitHub лежат 722 рукописи, объединенные в 372 группы связанных работ. В одну группу могут входить основной результат, дополнительные аргументы, следствия и другие варианты доказательства.

Модели дали около четырех тысяч задач

Компания объясняет выбор задач довольно просто: прежние математические тесты перестали хорошо различать возможности моделей, поэтому оценку расширили на открытые исследовательские проблемы.

В ходе эксперимента модель получила примерно 4000 задач. После отбора по значимости и объединения связанных результатов получился опубликованный каталог. Некоторые работы продолжают результаты, которые модели получили раньше.

В среднем на результат ушел объем вычислений, сопоставимый с тремя часами размышлений ChatGPT Pro. Это сравнение вычислительных затрат с внутренней моделью, а не обещание, что обычная подписка решит такую же задачу за три часа.

Опубликованы также десять сокращенных разборов рассуждений модели. Среди тем: свойства числа π, сложность вычислительных задач и математические модели физических систем.

Красивое доказательство отправляют на проверку

Для многих работ выложены доказательства на Lean. Если вкратце, это язык, на котором математическое рассуждение записывают так, чтобы компьютер мог проверить его логические шаги. Уверенный тон и красивое оформление пропущенный шаг здесь не спасут.

Степень проверки у работ разная: формализация в Lean есть не у всех. В README OpenAI допускает ошибки в неформализованных результатах и обещает исправления. Поэтому число 722 описывает опубликованные рукописи, не количество независимо признанных математических открытий.

У коллекции есть карта работ, исходники и инструкции для цитирования. Исправления будут выходить новыми версиями с сохранением предыдущих. Проверяющим дадут увидеть, что именно менялось.

Математики хотят понимать, а не просто получать файлы

Перед публикацией OpenAI консультировалась с независимой группой по математике и ИИ при Институте перспективных исследований. И вот здесь любопытно: в рекомендациях этой группы есть прямая просьба прекратить исследовать сложные математические проблемы на закрытых моделях, недоступных научному сообществу.

Группа собрала больше 600 ответов математиков. Ее позиция: автор должен понимать доказательство и отвечать за него. Когда ИИ выдает результат, который люди еще не разобрали, лаборатория должна помочь с этим разбором, в том числе деньгами. При этом выбор научных направлений должен оставаться за сообществом.

Рекомендации затрагивают и саму публикацию: ссылки на предшествующие работы, читаемые объяснения, сведения о процессе получения результата, формальные доказательства и независимые научные архивы. Математические результаты просят не превращать в рекламу модели.

OpenAI обещает финансировать семинары, конференции и программы для изучения результатов. Саму модель компания пока не открыла, но заявляет, что работает над ее ответственным выпуском.

Мне нравится, что вместе с громкой цифрой дали материал для проверки. Для науки это куда интереснее очередного "мы обогнали всех в таблице". Еще бы доступ к самой модели догнал доступ к ее достижениям.

Больше авторского мнения об ИИ без цензуры в моем телеграм-канале Тима из AVENIR.