Microsoft: у ИИ-агента тоже надо уметь забрать доступ

Нейронки помогают и хакерам

По наблюдениям Microsoft, злоумышленники используют ИИ для разведки перед атакой, обмана людей, разработки вредоносного кода и способов эксплуатации уязвимостей. После взлома нейронки тоже идут в дело.

Но пока большая часть такого применения касается отдельных этапов уже знакомых атак. Компания не описывает это как массовый переход к полностью самостоятельным ИИ-хакерам. Нейронки помогают быстрее выполнять работу, увеличивать масштаб и точнее подстраивать атаку под цель.

Например, в социальной инженерии ИИ позволяет делать обман более адресным. В технической части автоматизация сокращает время на некоторые этапы атаки. При этом в центре по-прежнему остаются люди, учетные записи, открытые для взлома системы и доступы, которым компания доверяет. Собсно, знакомые проблемы получили более шустрые инструменты.

Кто быстрее найдет дыру в коде

Отдельная история с поиском уязвимостей в коде. По данным Microsoft, развитие ИИ позволяет лучше анализировать программы и находить слабые места. Для защитников это возможность раньше обнаружить проблему и исправить ее до того, как кто-нибудь ею воспользуется.

Те же возможности получают и атакующие: искать ошибки и разрабатывать способы взлома им тоже становится проще. Работа идет с обеих сторон.

ИИ-агенту нужны права. И кнопка отключения

А внутри бизнеса появляется еще одна задача: защищать самих ИИ-агентов. Они могут работать с корпоративными данными, приложениями, API, то есть интерфейсами других программ, и разными инструментами. Насколько далеко агенту разрешено зайти и сколько решений он принимает сам, зависит от того, как его спроектировали и внедрили.

Именно эти подключения позволяют агенту делать полезную работу. Они же становятся частью того, что должна понимать команда безопасности.

Microsoft предлагает смотреть на всю систему. Модель в ней только один компонент. Нужно учитывать доступные ей данные и инструменты, учетные записи и разрешения, инфраструктуру и сервисы вокруг.

В отчете разбирают, как идентифицировать агентов, выдавать им подходящий доступ, проверять их подлинность при взаимодействии друг с другом и понимать, кто совершил конкретное действие. И, да, как этот доступ потом отозвать. Выдать права мало, их еще надо уметь забрать.

Вот этот подход мне нравится. Для полезной автоматизации агенту нужны инструменты и данные. Но возможность разобраться в его действиях и отключить доступ однозначно должна быть частью внедрения.

Что защищать кроме самой нейронки

Есть и специфические для ИИ вопросы. Microsoft рассматривает внедрение посторонних инструкций, которыми нейронку пытаются сбить с задачи, работу с памятью, безопасность моделей и данных, поведение агентов. Плюс целостность программ и сервисов, на которых вся эта конструкция держится.

Компания признает: по мере развития этих технологий еще многому предстоит научиться. Но привычная база безопасности остается полезной: проверка учетных записей и разрешений, защита данных, минимум необходимых прав, наблюдение за работой системы, тестирование и безопасная разработка. Теперь все это нужно применять и к ИИ.

Как собрать всю картину атаки

Еще один акцент отчета: отдельный сигнал далеко не всегда показывает всю атаку. Подозрительная активность может проходить через инфраструктуру, учетные записи, приложения, облака и цепочки поставки программ. В одном месте виден только кусочек, а картина собирается из нескольких.

Поэтому Microsoft говорит о совместном анализе данных с рабочих устройств, из облаков, приложений, почты, сетей и систем управления доступом. К ним добавляется информация об известных угрозах. Когда эти сведения рассматривают вместе, можно увидеть связь, которую каждый отдельный источник не показывает.

К слову, границами одной компании это не заканчивается. Обмен информацией между организациями, которым можно доверять, и сотрудничество бизнеса с государственными структурами тоже помогают собрать части атаки, которые по отдельности никто целиком не видит.

ИИ может помочь и здесь: объединять нужные сведения и автоматизировать повторяющиеся задачи. По оценке Microsoft, это дает опытным специалистам больше возможностей для глубокого разбора сложных случаев.

Что остается людям

Хороший пример из отчета: проверки, во время которых специалисты сами ищут способы атаковать систему. Применять известные приемы и связывать уже имеющуюся информацию все чаще можно автоматически.

А вот найти ранее неописанный путь атаки или заметить, как несколько вроде бы не связанных слабых мест складываются в один взлом, по-прежнему помогает опыт людей. Microsoft ожидает, что соотношение автоматизации и ручной работы будет меняться, но сохраняет за специалистами роль в оценке ситуации, понимании контекста и принятии решений.

Больше авторского мнения про нейронки без цензуры в моем телеграм-канале Тима из AVENIR.