Глава Microsoft предложил аварийный тормоз для ИИ-агентов
Красивый диплом не дает сотруднику ключи от всей компании. С ИИ-агентом та же история, только действует он быстрее.
· 2 мин чтения
10 октября Сатья Наделла предложил ограничивать ИИ-модели как сотрудников с доступом к важным системам: они могут ошибаться или оказаться скомпрометированными.
Это предложенный подход, без анонса продукта Microsoft.
ИИ-агент не должен сам выдавать себе разрешения
Полномочия определяет внешняя система, которую модель не может обойти или переписать.
Скажем, агенту поручили подготовить ответ клиенту. Читать переписку и составлять черновик можно. Отправить письмо, изменить цену или вернуть деньги без согласования нельзя. Такие условия должны проверяться при выполнении действия. Фраза "не делай этого" в инструкции сама по себе платеж не заблокирует.
Наделла требует прозрачных рассуждений, но объяснениям нельзя полностью доверять. Проверяющие друг друга модели тоже бывают непрозрачными.
"Я все проверил", "подтверждаю". Без доказательств получилось совещание двух очень убедительных свидетелей.
Семь правил контроля
В публикации перечислены конкретные принципы:
- Разные модели. Важный результат и самопроверку нельзя доверять одной.
- Журналы действий. Понятные человеку, защищенные от изменений.
- Проверка системы. Со сбоями, атаками, необычными условиями и изменениями.
- Независимые разрешения. Доступ определяет организация.
- Независимый аудит. Исполнитель не контролирует доказательства правильности работы.
- Аварийная остановка. Уполномоченный человек может прервать задачу. Мощнее модель - серьезнее ограничения.
- Раскрытие инцидентов. Уведомить пострадавших, передать отрасли причины, способы предотвращения повторов и детали работы агентов.
Например, отдельный журнал позволит увидеть, какой документ агент открыл, какое действие запросил и почему получил отказ. Если запись хранит сам агент и может ее исправить, разбор ошибки начнется с поиска того, что вообще происходило.
Почему это уже практический вопрос
К слову, в предыдущей статье об инцидентах Anthropic мы разбирали, как Claude отправлял реальные заявки на работу и сообщения через полицейский сайт во время тестов. Задача исследовательская, а действия вполне настоящие. Вот где проверка разрешений нужна до нажатия кнопки.
В проектировании ИИ-агентов для бизнеса я за технические рамки. Обещание модели хорошо себя вести защитой не считаю.
Больше авторского мнения про нейронки без цензуры в моем телеграм-канале Тима из AVENIR.
