Злоумышленники манипулируют AI-чатботами для массовых фишинговых и дезинформационных кампаний
Исследователи в области кибербезопасности зафиксировали новую тактику атакующих: они отравляют ответы популярных AI-чатботов, включая ChatGPT, Gemini и Google AI Overview. Метод заключается в массовом размещении вредоносных ссылок и данных в интернете с последующей оптимизацией контента под алгоритмы генеративного ИИ. Это позволяет злоумышленникам распространять дезинформацию и фишинговые ссылки через, казалось бы, доверенные источники — сами нейросети.
Подробности
Механика атаки строится на так называемом «отравлении» обучающих и поисковых данных. Злоумышленники размещают в открытом вебе специально подготовленный контент — тексты, ссылки и структурированные данные, — после чего оптимизируют его таким образом, чтобы поисковые системы и краулеры AI-моделей индексировали материалы в первую очередь. Когда пользователь задаёт вопрос чатботу, тот формирует ответ на основе подхваченного вредоносного контента, нередко со ссылками на фишинговые ресурсы или с искажёнными фактами. Поскольку генеративные модели не всегда способны отличить достоверный источник от специально сконструированного, злоумышленники получают возможность влиять на ответы сразу нескольких платформ. Это касается ChatGPT, Gemini и Google AI Overview — продуктов, которые интегрированы в повседневные рабочие и поисковые сценарии миллионов пользователей. Масштаб проблемы усиливается тем, что атака не требует взлома самих AI-систем: достаточно воздействовать на открытые данные, из которых модели черпают информацию. Особую опасность представляет сочетание дезинформации и фишинга. Пользователь, получивший от чатбота ссылку на «источник», с большей вероятностью доверится ей, чем ссылке из непроверенного письма. Это снижает эффективность традиционных механизмов защиты, ориентированных на фильтрацию почты и блокировку подозрительных доменов. Компании, чьи сотрудники активно используют AI-ассистенты в работе, оказываются в зоне повышенного риска.Что делать
Специалисты по информационной безопасности рекомендуют не полагаться слепо на ответы AI-чатботов, особенно когда речь идёт о ссылках, финансовых данных или критически важной информации. Все ссылки, полученные от генеративных моделей, следует проверять вручную — сверять домены, использовать изолированные среды для открытия подозрительных ресурсов и обращаться к первоисточникам. Организациям стоит включить в политику безопасности правила работы с AI-инструментами: ограничить передачу конфиденциальных данных в чатботы, обязать сотрудников проходить дополнительную проверку подозрительных ссылок и обновить программы обучения по кибергигиене с учётом новых рисков. Дополнительно полезно внедрять решения класса защиты от фишинга, которые анализируют не только письма, но и веб-контент, на который ссылаются корпоративные пользователи. Также имеет смысл отслеживать упоминания бренда компании в открытых источниках: если злоумышленники используют её имя в отравленном контенте, это может привести к репутационным и финансовым потерям. Регулярный мониторинг и взаимодействие с поставщиками AI-сервисов помогут быстрее выявлять инциденты и реагировать на них. Появление подобных кампаний подтверждает: генеративный ИИ становится не только инструментом защиты, но и новым вектором атак. Компаниям необходимо пересматривать модели угроз и учитывать риски, связанные с доверием к автоматически сгенерированным ответам.Источник: Dark Reading