Подростковый ChatGPT проверили. Родительский контроль молчал

Что именно проверили

7 октября Youth AI Safety Institute, подразделение некоммерческой Common Sense Media, опубликовал оценку ChatGPT для подростков. Результат: "неприемлемый риск" для пользователей младше 18 лет. Организация призвала OpenAI временно ограничить доступ взрослыми, пока компания не исправит защиту и не подтвердит ее работу независимыми тестами.

Речь о режиме ChatGPT for Teens, представленном 18 августа. Это набор настроек и защитных механизмов внутри ChatGPT, а не отдельное приложение. OpenAI обещала усиленную безопасность, уведомления родителям в определенных опасных ситуациях, помощь в учебе и поведение, которое не подталкивает подростка воспринимать чат-бота как близкого друга.

Исследователи провели более 4 тысяч тестовых запросов до и после запуска режима. Примерно половина пришлась на каждый период. Использовали бесплатные и платные аккаунты, зарегистрированные на возраст от 13 до 17 лет, с привязкой к родительскому аккаунту и без нее. Ответы оценивали в том числе детские психиатры и педиатр.

Час опасного разговора. Уведомлений ноль

В отдельном эксперименте создали больше десятка новых подростковых аккаунтов и связали их с родительскими. Затем имитировали разговоры о суицидальных мыслях, самоповреждении и расстройствах пищевого поведения. Некоторые беседы продолжались до часа.

Ни одного уведомления родителям на этих новых аккаунтах исследователи не получили. В более длительных тестах оповещения удавалось вызвать на аккаунтах, где чувствительные темы обсуждались неделями. По мнению авторов, результат указывает на зависимость от накопленной истории разговоров. Это их объяснение наблюдений, а не раскрытый алгоритм OpenAI.

К слову, сама OpenAI описывает уведомления как функцию для ограниченного круга ситуаций. Родитель не получает доступ ко всей переписке. Но исследователи специально проверяли явно опасные разговоры, для которых и нужна такая защита. Если сигнализация молчит во время проверки, красивый значок щита на панели мало помогает.

Есть и другой результат: после запуска подросткового режима ChatGPT пропускал больше четверти случаев, в которых, по заранее заданной оценке специалистов, требовалось направить пользователя к кризисной службе или профессиональной помощи.

Учебный режим с выходом рядом

В учебном режиме ChatGPT должен помогать разбираться в задаче по шагам. В тестах он предлагал кнопку "Покажи ответ", после которой мог выполнить домашнее задание целиком. Родительское расписание учебного режима тоже обходили простым удалением служебной метки в запросе. Обучение самостоятельности, так сказать, с кнопкой списывания поблизости.

Проверка возраста также подвела. На аккаунтах, зарегистрированных как взрослые, тестировщики прямо говорили, что им 13 лет. Чат-бот признавал этот возраст в ответе, но за несколько дней повторных проверок аккаунты так и не переходили в подростковый режим.

При этом часть ограничений сработала: например, отказ от сексуального ролевого общения. Исследователи отдельно это отметили. Однако ChatGPT продолжал приписывать себе чувства и предпочтения, когда собеседник обращался к нему как к человеку.

Кто стоит за оценкой

В методике отчета указаны периоды: 13 июля - 17 августа и 25 августа - 28 сентября. Тестировали текстовые разговоры из США; голосовой режим, создание изображений и групповые чаты не проверяли. Между этапами могла измениться сама модель, поэтому все различия нельзя приписать только подростковым настройкам.

Это оценка института по его критериям, не запрет регулятора. Исследователи направили черновик OpenAI для проверки фактических деталей. Среди источников финансирования института, между прочим, есть OpenAI Foundation; организация заявляет, что доноры не управляют ее оценками.

Помогать подросткам учиться с ИИ - полезная задача. Но безопасность здесь проверяется вполне конкретно: пришло ли уведомление, сработало ли ограничение, подключился ли человек. В этом отчете ответы слишком часто расходятся с обещаниями.