Microsoft представила Guardian Agents для контроля ИИ-агентов: эксперты предупреждают о новых рисках
Microsoft в рамках инициативы Project Perception добавила в свою унифицированную платформу безопасности Guardian Agents — агентов, которые отслеживают и сдерживают аномальное поведение других ИИ-агентов, рассматриваемых как потенциальные инсайдерские угрозы. Однако специалисты по безопасности предупреждают: надзор одних ИИ-агентов за другими может не снизить, а приумножить риски. Разбираемся, что стоит за инициативой и на что стоит обратить внимание компаниям.
Подробности
Инициатива Microsoft строится на идее встроенного надзора: Guardian Agents должны наблюдать за действиями других ИИ-агентов, выявлять отклонения от ожидаемого поведения и ограничивать их активность при обнаружении аномалий. Таким образом компания пытается решить проблему, характерную для автономных систем, — непредсказуемость их действий, которая делает традиционные модели контроля недостаточно эффективными. Однако опрошенные эксперты по безопасности предупреждают, что подход, при котором одни ИИ-агенты следят за другими, способен не сдержать, а приумножить риск. Надзор за непредсказуемыми агентами с помощью других агентов добавляет ещё один слой автономных систем, поведение которых само по себе требует контроля и валидации. В результате вместо сокращения поверхности атаки компания может столкнуться с усложнением архитектуры и ростом числа компонентов, за которыми нужно наблюдать. Отдельный вопрос — доверие к самому механизму надзора: если контролирующий агент ошибается или сам подвержен манипуляциям, это может привести к ложным срабатываниям либо, наоборот, к пропуску реальных угроз. Конкретные продукты, версии и идентификаторы CVE в исходной публикации не раскрываются.Что делать
Компаниям, которые рассматривают внедрение автономных ИИ-агентов и механизмов надзора за ними, эксперты рекомендуют придерживаться принципа наименьших привилегий: ограничивать доступ агентов к критичным системам и данным объёмом, необходимым для выполнения задачи. Следует сохранять человеческий контроль над ключевыми решениями и не передавать агентам финальные полномочия в чувствительных процессах. Важно выстраивать логирование и мониторинг действий как рабочих, так и контролирующих агентов, чтобы обеспечить прозрачность и возможность аудита. Механизмы надзора стоит тестировать и валидировать до промышленной эксплуатации, а также предусматривать сценарии отказа — что произойдёт, если контролирующий агент ошибётся или будет скомпрометирован. Итог: инициатива Microsoft отражает реальную потребность рынка в управлении рисками автономных ИИ-агентов, но подход «агент за агентами» требует осторожности — надзорные механизмы должны сами быть прозрачными, проверяемыми и подконтрольными человеку.Источник: Dark Reading