Альтман против «религии ИИ». Молиться на ChatGPT не надо
Сэм Альтман просит не превращать ИИ в высшую силу. Свечи в комплект подписки пока не входят.
· 2 мин чтения
3 октября глава OpenAI написал в X, что его беспокоят попытки наделить модели религиозным авторитетом и отказаться ради них от собственного суждения. Он считает это реальной проблемой безопасности.
Конкретные компании и людей Альтман не назвал. Но заявление появилось на фоне обсуждения Anthropic: разработчики Claude встречаются с религиозными мыслителями и разбираются, какими моральными принципами должен руководствоваться ИИ.
А при чем здесь Anthropic?
По пересказу материала The New York Times, опубликованного 29 сентября, Anthropic несколько месяцев консультировалась с религиозными учеными из разных стран. В обсуждениях участвовал сооснователь компании Крис Ола.
Вопросов два: как научить Claude моральному поведению и может ли сама модель обладать сознанием или статусом, который требует учитывать ее интересы. Последнее касается того, как люди должны обращаться с ИИ, если у него действительно окажутся собственные переживания.
У Anthropic эта тема давно вышла за пределы разговоров. В январе компания опубликовала новую «конституцию» Claude: документ о ценностях и поведении модели, который используется при обучении. Он объясняет, как действовать в сложных ситуациях, где сталкиваются разные требования. Например, честность, сочувствие и защита чужой личной информации.
Компания прямо признает: есть ли у Claude сознание и моральный статус, неизвестно. В документе обсуждаются его возможное благополучие и отношение к собственной природе. Готового ответа «да, модель чувствует» Anthropic не дает.
При этом первым приоритетом в конституции стоит безопасность, включая возможность людей контролировать модель и исправлять ее поведение. Anthropic отдельно подчеркивает, что при необходимости человек должен иметь возможность остановить действия Claude. Обсуждение его возможных переживаний этого требования не отменяет.
Сам Альтман тоже продавал немного магии
Самое забавное, что в 2023 году Альтман описывал цель OpenAI словами «магический интеллект в небе». В интервью Financial Times он называл ChatGPT, инструменты для разработчиков и партнерство с Microsoft каналами доступа к одному главному продукту: интеллекту.
Фраза звучит особенно колоритно рядом с нынешним предупреждением. Магия из интервью никуда не делась, просто свечи попросили убрать.
Но старое описание продукта само по себе не доказывает, что Альтман призывал поклоняться ИИ. В новом посте он возражает именно против религиозного авторитета моделей и отказа человека от собственного суждения. О наличии сознания у Claude он там не спорит.
Исследовать сознание и доверять без проверки
Поэтому сводить историю к «OpenAI против сознательного Claude» слишком просто. Anthropic оставляет вопрос сознания открытым. Альтман говорит о том, какую власть люди готовы дать ответам ИИ. Эти позиции не обязательно исключают друг друга.
С Альтманом здесь согласен. Возможности ИИ будут расти, и это отлично. Но подписка на умного помощника не освобождает от необходимости думать самому. Даже если он отвечает с интонацией человека, который лично согласовал устройство Вселенной.
