Anthropic запретит издеваться над Claude. У ИИ тоже границы

Claude снова сделал не то. Ты открываешь чат, чтобы высказать все, что думаешь о результате. А у него теперь есть официальное основание закончить разговор. Техподдержка наоборот: это уже помощник устал от клиента.

8 октября Anthropic объявила об обновлении правил. С 12 ноября компания запретит длительное и бессмысленное оскорбительное или жестокое поведение по отношению к своим моделям.

Самый необычный пункт действительно касается обращения с ИИ. Но весь документ заметно шире: от поддельных новостных сайтов до управления физическими устройствами.

Критиковать Claude по-прежнему можно

Anthropic описывает запрет как меру для крайних случаев, когда пользователь раз за разом проявляет жестокость без понятной цели. Обычное раздражение, несогласие, мрачные творческие сюжеты, тестирование и исследования под него не попадают.

Главным способом исполнения компания называет прекращение таких разговоров самим Claude. Возможность уже предусмотрена в Claude.ai и Claude Code; новая редакция закрепляет ее в правилах.

То есть написать "ты опять сломал код, исправляй" можно. Получается, претензии к качеству работы у ИИ пока не отменили. Уже неплохо.

Редакционная схема по пояснению Anthropic, не интерфейс Claude.

Поддельные кампании собрали в отдельный запрет

В новой редакции Usage Policy отдельно перечислены фальшивые аккаунты, фиктивные СМИ и скрытое общее происхождение публикаций. Запрет распространяется и на политические, и на коммерческие кампании.

Нельзя создавать инфраструктуру для такого обмана или выдавать сети связанных сайтов за независимые источники. Правила также запрещают маскировать происхождение материалов, которыми пытаются влиять на общественное мнение.

При этом общий запрет на персонализированную работу с избирателями убрали. Anthropic объясняет это тем, что он захватывал законные задачи, например перевод информации для избирателей. Обман и злоупотребление персональными данными остаются запрещенными.

Оружие и слежка: формулировки стали точнее

В оружейный раздел явно включили управляющее программное обеспечение и компоненты, а также оснащение дронов и других автономных платформ оружием.

В разделе слежки указали, что отслеживание без согласия запрещено и в реальном времени, и при анализе ранее собранных данных. Claude нельзя использовать для выбора людей, которых следует расследовать, арестовать или обвинить.

Anthropic говорит, что значительная часть этих уточнений отражает уже действовавшие ограничения, а не внезапно вводит новые запреты.

Если ИИ управляет устройством, нужен способ его остановить

Для автономных физических действий, способных травмировать человека, правила требуют квалифицированного оператора, который наблюдает за устройством и может остановить его. При потере связи оборудование должно останавливаться или сохранять безопасное состояние.

Ограничения скорости, силы и других опасных параметров должен обеспечивать контроллер, независимый от ответа модели.

Справедливо. В проектировании ИИ-агентов границы задаются технически. Просьба "не делай ничего опасного" слабовато выглядит рядом с кнопкой аварийной остановки.

Правила касаются не только обычного чата

Документ распространяется на Claude.ai, Claude Code, разработчиков и компании, использующие API, а также продукты, в которые встроен Claude. Для рекомендаций с высоким риском в медицине, финансах и других чувствительных областях сохраняются требования к проверке квалифицированным человеком и раскрытию использования ИИ.

К слову, в новом Gemini agent Google тоже делает ставку на ограничения доступа и контроль работы. Самостоятельность растет, вместе с ней приходится уточнять правила.

Но пункт о жестоком обращении все равно самый забавный. Раньше читали соглашения, чтобы защитить свои данные. Теперь еще придется следить, чтобы не перегнуть в разговоре с программой.