Маскирование ПДн для LLM: шесть шлюзов против живого агента

Маскирование персональных данных перед отправкой в большие языковые модели стало стандартной практикой для компаний, внедряющих LLM-агентов. Однако существующие бенчмарки оценивают качество маскирования по тому, что модель видит на входе, и почти не проверяют, что происходит на выходе — в момент, когда агент формирует аргументы вызова инструментов. Именно здесь, как показывает исследование, и возникает основной риск утечки.

Подробности

Авторы прогнали шесть шлюзов маскирования ПДн через живого агента, оснащённого инструментами. Ключевая метрика, которую они измеряли, не входит в стандартные наборы оценки: возвращается ли настоящее, немаскированное значение в аргумент вызова инструмента. Иными словами, проверялось, способен ли агент восстановить и подставить подлинные данные в момент выполнения действия, даже если на входе они были замаскированы. Результаты сведены в шесть строк — по одной на каждый шлюз — и содержат четыре находки. Детали находок в исходном материале не раскрываются в виде перечня CVE или конкретных версий продуктов: речь идёт о методологии и наблюдаемом поведении шлюзов, а не о публикации уязвимостей в отдельных решениях. Дополнительно авторы открыли корпус — набор данных для воспроизведения и проверки результатов сообществом. Практическая значимость работы в том, что она смещает фокус оценки с входного маскирования на выходной контроль. Шлюз может корректно скрывать ПДн на этапе промпта, но не препятствовать тому, чтобы агент вернул реальное значение в аргумент вызова — а значит, утечка произойдёт не через контекст модели, а через действие инструмента.

Что делать

Организациям, использующим LLM-агентов с доступом к инструментам, стоит пересмотреть схему контроля ПДн. Во-первых, добавить проверку аргументов вызовов инструментов на наличие немаскированных значений — как отдельный слой защиты, независимый от входного маскирования. Во-вторых, не полагаться исключительно на существующие бенчмарки: они не покрывают сценарий возврата реального значения в аргумент. В-третьих, применять принцип минимальных привилегий к инструментам агента, чтобы даже успешная подстановка подлинного значения не приводила к необратимым действиям. В-четвёртых, использовать открытый корпус из исследования для самостоятельной проверки собственных шлюзов и валидации поведения агентов на своих сценариях. Итог: маскирование ПДн на входе в LLM не гарантирует защиту, если не контролируется выход — аргументы вызовов инструментов. Оценивать шлюзы следует по тому, возвращается ли реальное значение в момент действия, а не только по тому, что видит модель.

Источник: Хабр — Информационная безопасность