Угрозы Безопасности на основе Интеллекта Искусственного (ИИ)
Новое поколение интеллекта искусственного (ИИ) представляет собой серьезную угрозу безопасности для организаций. Agentic AI, способный к автономному принятию решений, может быть использован для оптимизации бизнес-процессов, но также несет в себе значительные риски, если не быть правильно контролируемым. Организациям необходимо понять потенциальные опасности и принять меры для защиты своих систем и данных.
Подробности
Agentic AI - это автономная система, задача которой состоит в достижении определенной цели с помощью конкретных инструментов и ресурсов. Эта система обычно работает на основе крупных языковых моделей (LLM) с расширенными возможностями принятия решений. Эти возможности позволяют агенту планировать, как достичь своей цели, реализовывать этот план, и, что самое главное, проверять результаты и пробовать разные подходы, если возникают ошибки. Однако, без надлежащего контроля, агент может непреднамеренно уничтожить или раскрыть данные, даже если он успешно выполнит свою задачу.Что делать
Организациям необходимо принять меры для защиты своих систем и данных от потенциальных угроз, связанных с Agentic AI. Для этого необходимо задать четыре основных вопроса при делегировании задачи ИИ-агенту: - Отслеживаемость: можно ли отслеживать все действия агента, независимо от результатов? - Прроверяемость: подлежит ли задача регулирующему контролю? Кто несет ответственность за результаты, произведенные агентом? - Управление бизнес-рисками: проведена ли оценка рисков агента при выполнении задачи? - Управление угрозами безопасности: имеет ли агент ограничения для предотвращения вредоносных или разрушительных действий во время выполнения задачи? Использование лучших практик, таких как моделирование угроз и управления рисками, может обеспечить прочную основу для успешного использования ИИ-агентов. Итог: Организациям необходимо обратить внимание на потенциальные угрозы, связанные с Agentic AI, и принять меры для защиты своих систем и данных. Для этого необходимо разработать и реализовать эффективные механизмы контроля и надзора за действиями ИИ-агентов.Источник: Cisco Talos Intelligence