Настройка AI-харнесса для триажа уязвимостей: как steering-файл превращает модель в дисциплинированного аналитика

Одна и та же передовая модель может выдавать либо строгую, подкреплённую доказательствами оценку безопасности, либо галлюцинированные цепочки атак и завышенные оценки критичности — разница лишь в инструкциях, которые ей дали. Возможности модели фиксированы, а вот её суждения определяются конфигурацией. Именно этому посвящена вторая часть руководства AWS Security Blog по настройке AI-харнесса для триажа уязвимостей. Авторы делятся опытом, полученным «на своих ошибках»: ранние итерации харнесса выдавали результаты, которые звучали авторитетно, но рассыпались при проверке. Модель сообщала о SQL-инъекции в несуществующей функции, присваивала уровень уверенности HIGH без структурных оснований или игнорировала AWS WAF в блокирующем режиме, находящийся прямо в пути запроса. Решение оказалось не в более мощной модели, а в более качественном управлении (steering).

Подробности

Steering-файл — это набор инструкций, который AI-ассистент для программирования загружает в начале каждой сессии. Разные инструменты используют разные соглашения: Kiro читает markdown-файлы из каталога .kiro/steering/, Claude Code применяет CLAUDE.md, Cursor — .cursorrules, GitHub Copilot — .github/copilot-instructions.md. Функция одна: постоянные инструкции, определяющие, как модель подходит к работе в репозитории. В контексте анализа безопасности steering-файл кодирует методологию триажа команды в виде машиноисполняемых инструкций. Вместо того чтобы полагаться на отдельных инженеров, применяющих методологию непоследовательно, она фиксируется один раз — и модель применяет её единообразно во всех анализах. Публикуемый steering-файл переводит архитектурные принципы из первой части руководства в операционные инструкции. Там, где говорится «применяй оценку с учётом инфраструктуры», steering-файл уточняет конкретику: какие меры защиты соответствуют каким множителям, как эти множители складываются и какой минимальный порог не даёт завысить уверенность из-за одной-единственной меры контроля. Ключевое отличие конфигурации от обычного промптинга: одиночный запрос («найди уязвимости в этом коде») активирует поведение модели по умолчанию, оптимизированное под полезность, а не под строгость — модель найдёт что-то, потому что её попросили искать. Steering-файл меняет это поведение по умолчанию и задаёт: - **Что считается доказательством.** Без явных инструкций модель считает достаточным доказательством собственные рассуждения. Steering-файл требует структурной верификации — подтверждённого потока данных, подтверждённого существования функции и подтверждённого пути вызова — до того, как находка будет зарегистрирована. - **Что означает уверенность.** Сама по себе модель склонна присваивать уровни уверенности без привязки к проверяемым фактам; steering-файл привязывает оценку к доказательствам. - **Как учитывать инфраструктуру.** Наличие AWS WAF в блокирующем режиме на пути запроса должно влиять на приоритет находки, а не игнорироваться. Публикация описывает дизайн-решения по пяти разделам конфигурации, которые обеспечивают структурную верификацию, оценку на основе доказательств и приоритизацию с учётом инфраструктуры в каждой сессии анализа.

Что делать

Командам, внедряющим AI-ассистентов в процессы безопасности, стоит: 1. Определить формат steering-файла под используемый инструмент (Kiro, Claude Code, Cursor, GitHub Copilot). 2. Зафиксировать в нём методологию триажа: требования к структурной верификации находок, правила присвоения уровней уверенности и логику приоритизации с учётом защитных мер. 3. Явно описать, какие меры защиты (например, AWS WAF в блокирующем режиме) и с какими множителями соотносятся, как они складываются и какой минимальный порог защищает от завышенной уверенности. 4. Пересмотреть ранние результаты работы харнесса на предмет галлюцинированных находок и завышенных оценок критичности — это индикатор недостаточно жёсткого steering. Итог: качество AI-триажа уязвимостей определяется не мощностью модели, а тем, насколько строго и однозначно описаны правила её суждений. Хорошо настроенный steering-файл превращает разовые промпты в воспроизводимую методологию уровня опытного security-аналитика.

Источник: AWS Security Blog