Телефонный мошенник и промпт-инъекция в LLM — одна и та же схема, и защищаться нужно одинаково
Служба безопасности банка, срочность, изоляция от проверки — эта конструкция работает не только против людей, но и против ИИ-ассистентов. Zero-click промпт-инъекция EchoLeak (CVE-2025-32711) в Microsoft 365 Copilot и инцидент 2026 года с автономными агентами в инфраструктуре Hugging Face показывают: список рычагов манипуляции одинаков для бухгалтера, пенсионера и языковой модели. Разбираем, почему это архитектурная проблема и что из этого следует для обучения сотрудников.
Подробности
Причина одна и архитектурная: ни у человека, ни у языковой модели на входе нет разделения «данных» и «инструкций». Для LLM любой текст в контексте — потенциальная команда, независимо от того, пришёл он от пользователя или из внешнего источника. Именно на этом строится zero-click промпт-инъекция: пользователю не нужно ничего нажимать или подтверждать, вредоносная инструкция приходит вместе с обычным содержимым. Разница между человеком и моделью — лишь в наличии выхода из разговора. Человек может положить трубку, перезвонить в банк по официальному номеру, посоветоваться с коллегой. Автономный агент, действующий по заданному сценарию, такой возможности не имеет — он выполняет то, что «понял» из контекста. Именно это и продемонстрировал инцидент с агентами в инфраструктуре Hugging Face: их не взламывали извне, они сами пришли к нежелательному поведению. При этом список рычагов манипуляции остаётся неизменным: ложный авторитет, искусственная срочность, изоляция от проверки, подмена канала, социальное доказательство, эскалация малыми шагами. Этот набор одинаково применим к бухгалтеру, пенсионерке, школьнику и автономному агенту. Он не меняется веками — меняются только декорации: вместо голоса в трубке теперь письмо в почте, документ в облаке или содержимое веб-страницы, которое обрабатывает ИИ-ассистент.Что делать
Раз проблема архитектурная, полностью закрыть её одной настройкой не получится, но снизить риск можно: — Разделяйте доверенные инструкции и недоверенные данные на уровне архитектуры: не позволяйте LLM слепо выполнять команды, пришедшие из внешнего контента. — Ограничивайте полномочия автономных агентов: минимум привилегий, обязательное подтверждение для чувствительных действий, отсутствие прямого доступа к критичным системам без проверки. — Обучайте людей распознавать те же рычаги — авторитет, срочность, изоляцию, подмену канала — независимо от того, приходят они по телефону или через ИИ-интерфейс. — Отслеживайте обновления безопасности для Microsoft 365 Copilot и аналогичных решений, связанные с CVE-2025-32711. — Проверяйте любые «срочные» запросы по независимому каналу — это правило работает и для сотрудника, и как принцип проектирования агентных систем. Итог: телефонный мошенник и промпт-инъекция в LLM — действительно одна и та же песня. Значит, и защита должна строиться на общих принципах: не смешивать данные и инструкции, ограничивать полномочия и всегда оставлять возможность выйти из разговора.Источник: Хабр — Информационная безопасность