235Большинство сайтов, с которыми я работаю, создаю и поддерживаю, принадлежат малому бизнесу, и я крайне редко встречал владельцев сайтов и SEO-специалистов, которые проверяли бы логи своих серверов. Мысль о том, как отличить настоящих поисковых ботов от парсеров, выдающих себя за них, какие поисковые роботы и как часто они посещают сайты на самом деле, натолкнули меня на идею создания сервиса для анализа серверных логов ЛогАналайзер.
Как я к этому пришел
Мы много говорим о видимости в эпоху ИИ, цитировании в больших языковых моделях (LLM) и о том, используют ли системы искусственного интеллекта наш контент. Но многие ли из нас действительно знают, какие ИИ-боты посещают наши сайты?
Большинство SEO-специалистов совершенно не учитывают серверные логи при отслеживании упоминаний в ИИ-системах. Анализ паттернов поведения ботов – это именно то, что сегодня кардинально меняет подход к техническому SEO.
Яндекс Вебмастер, Google Search Console, системы аналитики и различные инструменты сканирования сайтов полезны, однако ни один из них не дает полной картины запросов, поступающих к вашей инфраструктуре. Все следят за данными в панели управления статистикой, однако именно логи показывают, какие боты заходили на сайт, а какие страницы они даже не затронули. Если ключевая страница категории в магазине выдает ошибку 403 для важных поисковых ботов, то никакой новый контент ситуацию не исправит.
Только в логах можно увидеть, «добираются» ли вообще GPTBot или PerplexityBot до тех страниц, которые вы хотите видеть в ответах ИИ. Можно месяцами работать над контентом ради заметности для ИИ, в то время как поисковый робот будет натыкаться на редиректы или заблокированные пути.
Логи серверов и систем доставки контента (CDN) показывают, какие URL-адреса запрашивались, какими пользовательскими агентами (User-Agent), когда именно и какой ответ был получен. Анализ того, какие URL посещают GPTBot или Googlebot и какие коды ответов сервера они получают, дает очень много полезной информации. А, благодаря онлайн обработке данных вы можете видеть эту активность практически в режиме реального времени.
На что стоит обратить внимание при анализе серверных логов
ИИ и большие языковые модели (LLM)
- Какие страницы сайта запрашивают Алиса, ГигаЧат, GPTBot, ClaudeBot, OAI-SearchBot, PerplexityBot и другие ИИ-боты, и как часто они это делают.
- Различия между ботами для обучения ИИ, поисковыми роботами и запросами, инициированными пользователями – ведь все они выполняют разные задачи.
- Блокируются ли ИИ-боты, применяются ли к ним ограничения по частоте запросов (Rate Limiting), получают ли они ошибки 403, 429 или 5xx.
- Какие ИИ-боты настоящие, а какие – лишь скраперы (краулеры), маскирующиеся под известных поисковых или ИИ-роботов.
- Какие разделы вашего сайта ИИ-боты посещают чаще всего, а какие важные страницы они игнорируют.
- Как меняется активность ИИ-ботов с течением времени – особенно после публикации нового контента или внесения технических изменений.
- Как активность ИИ-ботов соотносится с реальным реферальным трафиком из Алисы AI, ChatGPT, Perplexity и других аналогичных ИИ-агентов.
Традиционное техническое SEO
- Какие важные страницы сканирует Yandexbot или Googlebot, как часто они возвращаются и как быстро обнаруживают новый контент.
- На что расходуется бюджет сканирования (Crawl Budget) – например, на обработку параметров, навигацию, редиректы или малоценные страницы.
- Страницы, которые Yandexbot и Googlebot продолжают запрашивать, но которые Яндекс или Google не индексируют, или же проиндексированные страницы, которые робот больше не посещают.
- Эпизодические ошибки 404, 5xx и неожиданные редиректы, которые могут остаться незамеченными при обычном сканировании сайта.
- Находят ли Yandexbot и Googlebot новые URL-адреса и корректно ли следуют по редиректам после переезда или обновления сайта.
- Проблемы с медленным временем отклика, ограничениями частоты запросов, а также другие факторы, затрудняющие работу поисковых роботов.
- «Осиротевшие» страницы – те, на которые продолжают заходить боты, хотя внутренние ссылки на них уже отсутствуют.
- Неработающие внешние ссылки, по которым переходят пользователи, попадая в итоге на страницу с ошибкой 404.
Также важно сверять IP-адрес каждого запроса, который представляется как GPTBot или ClaudeBot, с диапазонами IP-адресов, официально опубликованными владельцами этих ботов. В таком случае с помощью ограничения частоты запросов (Rate Limiting) на стороне сервера можно притормозить «поддельных» ботов, не затрагивая при этом настоящих поисковых роботов.
Разумеется, сам факт обращения ИИ-краулера к странице еще не означает, что ее контент был использован для обучения модели или процитирован в ответе нейросети. Однако, вы хотя бы будете точно знать, что именно делают боты, а не просто строить догадки.
Резюме
У большинства сайтов есть доступ к ценным собственным данным, которые, как правило, остаются без внимания. И понимание того, какие боты посещают сайт и как они с ним взаимодействуют, может дать SEO-специалистам гораздо более ясную картину, чем «опора» исключительно на отчеты о видимости.
Журналы сервера могут выявить технические проблемы SEO и поведение поисковых роботов, которые традиционные инструменты могут не полностью зафиксировать. Понимание того, к каким страницам обращаются поисковые роботы с искусственным интеллектом, как реагируют поисковые роботы и где ресурсы обходятся впустую, может привести к более взвешенным решениям в области SEO. Собственные данные часто недооцениваются.
Всю эту статистику серверных логов можно проанализировать в бесплатном веб-сервисе ЛогАналайзер.
Другие статьи
