Подробное руководство Google по проверке и пропуску трафика Google-Agent через защитные системы сайта
17 ноября 2026 года Google опубликовал подробные технические рекомендации, призванные помочь владельцам сайтов верифицировать и разрешать прохождение трафика Google-Agent через сети доставки контента (CDN), межсетевые экраны веб-приложений (WAF) и системы обнаружения ботов. Эта инициатива направлена на то, чтобы четко разграничить легитимные взаимодействия Google-Agent, инициируемые пользователями, и вредоносный автоматический трафик, который часто блокируется системами безопасности сайта.
Google-Agent представляет собой развитие традиционных роботов обхода, таких как Googlebot. В отличие от ботов индексирования для поиска, Google-Agent предназначен для выполнения задач, инициируемых пользователями, функционирует на инфраструктуре Google и активируется непосредственно пользователями для навигации и выполнения действий на сайтах.
Новое руководство объясняет, как операторы сайтов могут проверить такие запросы по строке User-Agent «Google-Agent» и подтвердить исходящие IP-адреса, сопоставляя их с официально опубликованными диапазонами IP Google. Дополнительно Google тестирует метод аутентификации под названием Web Bot Auth, использующий криптографические подписи, чтобы еще более надежно подтвердить легитимность агента.
Система подписанной аутентификации идентифицирует запросы через домен https:\/\/agent.bot.goog, что позволяет сайтам отличать подлинный трафик Google-Agent от ложных претензий. В руководстве подчеркивается, что простое разрешение по строке User-Agent недостаточно без проверки IP и криптографической подписи, чтобы избежать угроз безопасности.
Для реализации этих рекомендаций владельцам сайтов рекомендуется настроить свои инструменты безопасности — межсетевые экраны, CDN и фильтры ботов — на распознавание и пропуск верифицированного трафика Google-Agent. Однако порядок правил межсетевого экрана имеет решающее значение: широкие ограничения для дата-центров или типов ботов могут переопределить разрешение Google-Agent и препятствовать законным взаимодействиям.
Кроме того, документация Google отмечает, что разрешение доступа к главной странице сайта — лишь часть задачи. Проверки CAPTCHA, верификация с помощью JavaScript и другие ограничения для ботов могут препятствовать агентам выполнять ключевые действия, такие как поиск товаров, фильтрация результатов или добавление товаров в корзину на сайтах электронной коммерции. Руководство рекомендует тщательно тестировать, могут ли аутентифицированные запросы взаимодействовать с API и функционалом, необходимыми для пользовательских задач.
Для партнерских издателей это обновление вносит операционные нюансы относительно того, как трафик Google-Agent на базе ИИ может достигать их контента и взаимодействовать с ним. Хотя разрешение доступа Google-Agent не гарантирует повышения позиций в поиске или доходов от партнерских программ, обеспечение доступности имеет решающее значение для поддержки пользовательских сценариев на базе ИИ, зависящих от точного и доступного контента сайта.
В итоге новое руководство Google предоставляет рамки для управления доступом ИИ-агентов безопасным и проверяемым способом. Партнерам и операторам рекомендуют пересмотреть и скорректировать свои настройки управления ботами и межсетевыми экранами, чтобы обеспечить баланс между безопасностью и удобством использования, учитывая развитие AI-интерактивности в интернете.
Комментарий автора
«Данное обновление подчёркивает сложность управления AI-трафиком при сохранении высокой безопасности. Операторам рекомендуется проверить конфигурации ботов и межсетевых экранов, чтобы легитимный AI-трафик проходил без риска для сайта.»
Ярослав МищенкоИсточник: Affiverse