Cloudflare запустила непрерывную проверку доверия к верифицированным ботам

Верификация бота отвечает лишь на один вопрос — кто им управляет. Она не гарантирует, что в будущем оператор будет вести себя ответственно. Как водительские права подтверждают личность и факт сдачи экзамена, но не предсказывают манеру вождения, так и верифицированный бот может игнорировать предпочтения сайта, перегружать origin-серверы или обходить системы контроля. Причиной не всегда является злой умысел — иногда это ошибка конфигурации или баг. Ранее Cloudflare описывала два вопроса, на которые стремится ответить при верификации ботов: «Ты тот, за кого себя выдаёшь?» и «Можно ли тебе доверять?». Чтобы получить статус Cloudflare Verified Bot, оператор должен соответствовать трём критериям: точно и безопасно идентифицировать себя, делать только то, что заявлено, и не заниматься абьюзивной активностью.

Подробности

Для идентификации боты используют Web Bot Auth — механизм подписи запросов, а каталогизацией занимается BotBase в открытом формате. С решением первой задачи фокус смещается ко второму правилу Verified-ботов: не причинять вреда. Cloudflare вводит систему, которая отслеживает отклонения в поведении верифицированного бота и фиксирует их. Здесь важно различать риск и доверие. Риск описывает вероятность того, что конкретный запрос или действие в моменте может быть вредоносным, и он может меняться от секунды к секунде. Доверие же строится во времени через повторяющееся и последовательное поведение. В качестве примера приводится де-листинг бота Perplexity из списка Verified в 2025 году: он пытался получить доступ к ресурсам сайтов, которые явно отказались от скрейпинга, а при блокировке запросов предпринимал попытки обойти системы контроля. Новая система измеряет, насколько часто краулер соблюдает предпочтения сайта. Наблюдения преобразуются в объяснимую «полосу доверия» — диапазон, отражающий, насколько стабильно бот уважает предпочтения сайтов и какие именно наблюдаемые действия повлияли на эту оценку. Это не бессрочный вердикт о боте или его операторе. На старте оцениваются два сигнала: соблюдает ли бот инструкции и реагирует ли он на прямую обратную связь. По сути, это «здравый смысл» и вежливость по отношению к операторам, предоставляющим информацию, которую ищут боты. Основной способ сообщить о предпочтениях — файл robots.txt. Система проверяет, соответствует ли наблюдаемый трафик бота опубликованным предпочтениям с течением времени. В будущем Cloudflare планирует публиковать эти оценки на Radar и расширять способы измерения.

Что делать

Операторам ботов стоит убедиться, что их краулеры корректно соблюдают robots.txt и другие механизмы сообщения о предпочтениях, а также реагируют на прямую обратную связь от сайтов. Это простой способ поддерживать доверие и избежать попадания в зону риска — вплоть до исключения из списка Verified. Владельцам сайтов новая система даёт дополнительный сигнал: бот, который ранее вёл себя корректно, может со временем начать отклоняться, и это будет видно по «полосе доверия». Верификация — это не единоразовый штамп, а непрерывный процесс: доверие нужно подтверждать заново.

Источник: Cloudflare Blog (Security)