Атаки дистилляции: китайские компании извлекли миллиарды токенов из американских frontier AI-моделей

Американские агентства по кибербезопасности и разведке опубликовали совместное предупреждение о том, что шесть китайских ИИ-компаний с конца 2024 года проводили атаки промышленного масштаба, направленные на извлечение знаний из frontier AI-моделей США. Речь идет о так называемой дистилляции — процессе, при котором злоумышленники через API массово отправляют запросы к модели, собирают ответы и используют их для обучения собственных конкурирующих моделей. По оценкам американских ведомств, объем извлеченных данных достиг миллиардов токенов, что позволяет говорить о системном, хорошо организованном процессе, а не о разрозненных попытках единичных исследователей.

Подробности

Согласно отчету, целью атак стали американские frontier AI-модели — передовые большие языковые модели, разработанные ведущими ИИ-лабораториями США. Атаки проводились в промышленных масштабах через официальные API-интерфейсы, что затрудняет их обнаружение традиционными методами мониторинга. Дистилляция через API создает серьезные риски для разработчиков ИИ: несанкционированное копирование знаний модели подрывает экономическую модель ИИ-индустрии и конкурентные преимущества разработчиков. Кроме того, существует вероятность утечки чувствительной информации, которая могла попасть в обучающие данные моделей. Официальные лица США отмечают, что подобные операции продолжаются как минимум с конца 2024 года. Названия конкретных китайских компаний и целевых моделей в открытом отчете не раскрываются, однако подчеркивается системный характер угрозы.

Что делать

Разработчикам и операторам больших языковых моделей американские агентства рекомендуют: - Усилить мониторинг API-запросов — выявлять аномальные паттерны: массовые однотипные запросы, высокую частоту обращений с одного аккаунта или IP-диапазона. - Внедрить системы обнаружения дистилляции на основе анализа поведенческих характеристик, включая семантическую близость запросов и ответов. - Использовать rate limiting и динамические лимиты на количество токенов в час для одного пользователя. - Внедрить водяные знаки в ответы моделей для отслеживания несанкционированного использования сгенерированного контента. - Проводить регулярные проверки аккаунтов на предмет признаков автоматизированного использования. - Периодически обновлять условия использования сервисов и ужесточать ответственность за нарушение запрета на извлечение данных. Инцидент показывает, что угрозы для ИИ-инфраструктуры выходят за рамки традиционных кибератак и включают экономический шпионаж нового типа. Компаниям, использующим ИИ-сервисы, важно понимать риски, связанные с утечкой данных через модели, и учитывать их при выборе провайдеров.

Источник: BleepingComputer