Локальный запуск LLM для SOC

Введение: Разработка и внедрение систем безопасности информации (SIEM) и Security Orchestration, Automation and Response (SOC) является актуальной задачей во многих организациях. Одним из перспективных направлений в этой области является локальный запуск Large Language Models (LLM) для улучшения процессов обработки и анализа инцидентов. Именно этому вопросу был посвящен недавний эксперимент, проводившийся аналитиком технологий машинного обучения R-Vision.

Подробности

Исследователи протестировали конфигурацию Qwen3.5–122B‑A10B‑GPTQ в сочетании с GPU NVIDIA RTX PRO 6000 Blackwell Max-Q, содержащей 96 GB видеопамяти. Эксперимент включал моделирование реальной работы SOC, где запросы поступали не равномерно и были связаны с карточками инцидентов, шагами ИИ-оркестратора и действиями аналитиков. Были использованы реальные, анонимизированные инциденты из практики внутреннего SOC R-Vision, а не специально подготовленные тестовые примеры.

Что делать

Исследования показали важность выбора правильного режима работы LLM для повышения эффективности обработки инцидентов в SOC. Использование модели с отключенным "режимом рассуждений" (thinking mode) оказалось наиболее эффективным. Это имеет практическое значение для специалистов по информационной безопасности, которые могут использовать результаты этого эксперимента для оптимизации конфигурации своих систем и улучшения производительности при обработке инцидентов. Итог: Эксперимент показал, что данная конфигурация может эффективно обрабатывать значительное количество инцидентов, даже в пиковых ситуациях, и подтвердил перспективность локального запуска LLM для SOC. Правильный выбор режима работы LLM и конфигурации системы может значительно повысить производительность обработки и анализа инцидентов.

Источник: Хабр — Информационная безопасность