Уязвимость в Language Model: Ресурсоёмкие Запросы
Современные языковые модели становятся всё более распространёнными в информационных системах, но вместе с этим растёт и профиль угроз. Одна из новых проблем − это возможность атаковать модель с помощью ресурсоёмких запросов, что может привести к истощению вычислительных ресурсов. OWASP добавила эту проблему в свой рейтинг Top 10 для приложений, использующих языковые модели.
Подробности
Проблема, известная как Unbounded Consumption, или неограниченное потребление ресурсов, заключается в том, что злоумышленник может заставить модель выполнить ресурсоёмкую задачу, расходуя процессорное время, память и тысячи токенов. Это может быть достигнуто с помощью рекурсивных инструкций, экспоненциального роста контекста, моделирования множества независимых агентов, комбинаторных задач и других приёмов. OWASP включила эту проблему в свой рейтинг Top 10 для приложений, использующих языковые модели, под номером LLM10.Что делать
Защититься от подобных атак не так просто, как ограничить длину пользовательского запроса или максимальный размер ответа. Необходимо учитывать особенности работы больших языковых моделей и разрабатывать механизмы защиты, которые будут ограничивать возможность выполнения ресурсоёмких задач. Это может включать в себя ограничение глубины рекурсии, размера контекста и другие меры. Итог: Проблема ресурсоёмких запросов является новой угрозой для информационных систем, использующих языковые модели. Для защиты от этих атак необходимо учитывать особенности работы моделей и разрабатывать механизмы защиты, которые будут ограничивать возможность выполнения ресурсоёмких задач.Источник: Хабр — Информационная безопасность