Белый список IP адресов Google + Яндекс. Известные юзер-агенты ИИ ботов

262

28.02.2026 | Время чтения: 18 минут

Автор: Станислав Кириченко

Список диапазонов IP адресов Google по инструментам по сборам данных на сайте

64.233.172.128/27 64.233.172.160/27 64.233.172.192/27 64.233.172.224/27 64.233.172.32/27 64.233.172.64/27 64.233.172.96/27 64.233.173.0/27 64.233.173.128/27 64.233.173.160/27 64.233.173.192/27 64.233.173.224/27 64.233.173.32/27 64.233.173.64/27 64.233.173.96/27 66.102.6.0/27 66.102.6.128/27 66.102.6.160/27 66.102.6.192/27 66.102.6.224/27 66.102.6.32/27 66.102.6.64/27 66.102.6.96/27 66.102.7.0/27 66.102.7.128/27 66.102.7.160/27 66.102.7.192/27 66.102.7.224/27 66.102.7.32/27 66.102.7.64/27 66.102.7.96/27 66.102.8.0/27 66.102.8.128/27 66.102.8.160/27 66.102.8.192/27 66.102.8.224/27 66.102.8.32/27 66.102.8.64/27 66.102.8.96/27 35.187.143.128/27 35.187.143.160/27 35.187.143.32/27 35.187.143.64/27 35.187.143.96/27 35.243.16.0/27 35.243.16.128/27 35.243.16.32/27 35.243.16.64/27 35.243.16.96/27 35.243.17.0/27 35.243.17.128/27 35.243.17.32/27 35.243.17.64/27 35.243.17.96/27 35.243.18.0/27 35.243.18.32/27 192.178.7.64/27 192.178.7.96/27 34.100.182.96/28 34.101.50.144/28 34.118.254.0/28 34.118.66.0/28 34.126.178.96/28 34.146.150.144/28 34.147.110.144/28 34.151.74.144/28 34.152.50.64/28 34.154.114.144/28 34.155.98.32/28 34.165.18.176/28 34.175.160.64/28 34.176.130.16/28 34.22.85.0/27 35.243.22.0/27 35.243.22.32/27 35.243.22.64/27 35.243.22.96/27 35.243.23.0/27 35.243.23.128/27 35.243.23.160/27 35.243.23.192/27 35.243.23.224/27 35.243.23.32/27 35.243.23.64/27 35.243.23.96/27 66.249.65.128/27 66.249.65.160/27 66.249.65.192/27 66.249.65.224/27 66.249.65.32/27 66.249.65.64/27 66.249.65.96/27 66.249.66.0/27 66.249.66.128/27 66.249.66.160/27 66.249.66.192/27 66.249.66.224/27 66.249.66.32/27 66.249.66.64/27 66.249.66.96/27 66.249.67.0/27 66.249.68.0/27 66.249.68.128/27 66.249.68.160/27 66.249.68.32/27 66.249.68.64/27 66.249.68.96/27 66.249.69.0/27 66.249.69.128/27 66.249.69.160/27 66.249.69.192/27 66.249.69.224/27 66.249.69.32/27 66.249.69.64/27 66.249.69.96/27 66.249.70.0/27 66.249.70.128/27 66.249.70.160/27 66.249.70.192/27 66.249.70.224/27 66.249.70.32/27 66.249.70.64/27 66.249.70.96/27 66.249.71.0/27 66.249.71.128/27 66.249.71.160/27 66.249.71.192/27 66.249.71.224/27 66.249.71.32/27 66.249.71.64/27 66.249.71.96/27 66.249.72.0/27 66.249.72.128/27 66.249.72.160/27 66.249.72.192/27 66.249.72.224/27 66.249.72.32/27 66.249.72.64/27 66.249.72.96/27 66.249.73.0/27 66.249.73.128/27 66.249.73.160/27 66.249.73.192/27 66.249.73.224/27 66.249.73.32/27 66.249.73.64/27 66.249.73.96/27 66.249.74.0/27 66.249.74.128/27 66.249.74.160/27 66.249.74.192/27 66.249.74.224/27 66.249.74.32/27 66.249.74.64/27 66.249.74.96/27 66.249.75.0/27 66.249.75.128/27 66.249.75.160/27 66.249.75.192/27 66.249.75.224/27 66.249.75.32/27 66.249.75.64/27 66.249.75.96/27 66.249.76.0/27 66.249.76.128/27 66.249.76.160/27 66.249.76.192/27 66.249.76.224/27 66.249.76.32/27 66.249.76.64/27 66.249.76.96/27 66.249.77.0/27 66.249.77.128/27 66.249.77.160/27 66.249.77.192/27 66.249.77.224/27 66.249.77.32/27 66.249.77.64/27 66.249.77.96/27 66.249.78.0/27 66.249.78.32/27 66.249.78.64/27 66.249.78.96/27 66.249.79.0/27 66.249.79.128/27 66.249.79.160/27 66.249.79.192/27 34.98.139.224/27 34.98.139.32/27 34.98.139.64/27 34.98.139.96/27 34.98.140.0/27 34.98.140.128/27 34.98.140.160/27 34.98.140.192/27 34.98.140.224/27 34.98.140.32/27 34.98.140.64/27 34.98.140.96/27 34.98.141.0/27 34.98.141.128/27 34.98.141.160/27 34.98.141.192/27 34.98.141.32/27 34.98.141.64/27 34.98.141.96/27 34.98.142.0/27 34.98.142.32/27 34.98.142.64/27 34.98.142.96/27 34.98.143.0/27 34.98.143.128/27 34.98.143.160/27 34.98.143.192/27 34.98.143.224/27 34.98.143.32/27 34.98.143.64/27 34.98.143.96/27 35.187.128.0/27 35.187.128.128/27 35.187.128.160/27 35.187.128.192/27 35.187.128.32/27 35.187.128.64/27 35.187.128.96/27 35.187.129.0/27 35.187.129.128/27 35.187.129.160/27 35.187.129.192/27 35.187.129.224/27 35.187.129.32/27 35.187.129.64/27 35.187.129.96/27 35.187.130.0/27 35.187.130.128/27 35.187.130.160/27 35.187.130.192/27 35.187.130.224/27 35.187.132.32/27 35.187.132.64/27 35.187.132.96/27 35.187.133.0/27 35.187.133.128/27 35.187.133.160/27 35.187.133.192/27 35.187.133.224/27 35.187.133.32/27 35.187.133.64/27 35.187.133.96/27 35.187.134.0/27 35.187.134.128/27 35.187.134.160/27 35.187.134.192/27 35.187.134.224/27 35.187.134.32/27 35.187.134.64/27 35.187.134.96/27 35.187.135.0/27 35.187.135.128/27 35.187.135.160/27 35.187.135.192/27 35.187.135.224/27 35.187.135.32/27 35.187.135.64/27 35.187.135.96/27 35.187.136.0/27 35.187.136.128/27 35.187.136.160/27 35.187.136.192/27 35.187.136.224/27 35.187.138.0/27 35.187.138.128/27 74.125.212.160/27 74.125.212.192/27 74.125.212.224/27 74.125.212.32/27 74.125.212.64/27 74.125.212.96/27 74.125.213.0/27 74.125.213.32/27 74.125.214.0/27 74.125.214.128/27 74.125.214.160/27 74.125.214.192/27 74.125.214.224/27 74.125.214.32/27 74.125.214.64/27 74.125.214.96/27 74.125.215.0/27 74.125.215.128/27 74.125.215.160/27 74.125.215.192/27 74.125.215.224/27 74.125.215.32/27 74.125.215.64/27 74.125.215.96/27 142.250.32.0/27 142.250.32.32/27 142.250.32.64/27 142.250.32.96/27 142.250.33.0/27 142.250.33.32/27

Обязательный белый список IP-адресов Google + Яндекс

8.8.4.0/24 8.8.8.0/24 8.34.208.0/20 8.35.192.0/20 23.236.48.0/20 23.251.128.0/19 34.0.0.0/15 34.2.0.0/16 34.3.0.0/23 34.3.3.0/24 34.3.4.0/24 34.3.8.0/21 34.3.16.0/20 34.3.32.0/19 34.3.64.0/18 34.4.0.0/14 34.8.0.0/13 34.16.0.0/12 34.32.0.0/11 34.64.0.0/10 34.128.0.0/10 35.184.0.0/13 35.192.0.0/14 35.196.0.0/15 35.198.0.0/16 35.199.0.0/17 35.199.128.0/18 35.200.0.0/13 35.208.0.0/12 35.224.0.0/12 35.240.0.0/13 57.140.192.0/18 64.15.112.0/20 64.233.160.0/19 66.22.228.0/23 66.102.0.0/20 66.249.64.0/19 70.32.128.0/19 72.14.192.0/18 74.114.24.0/21 74.125.0.0/16 104.154.0.0/15 104.196.0.0/14 104.237.160.0/19 107.167.160.0/19 107.178.192.0/18 108.59.80.0/20 108.170.192.0/18 108.177.0.0/17 130.211.0.0/16 136.22.160.0/20 136.22.176.0/21 136.22.184.0/23 136.22.186.0/24 136.124.0.0/15 142.250.0.0/15 146.148.0.0/17 152.65.208.0/22 152.65.214.0/23 152.65.218.0/23 152.65.222.0/23 152.65.224.0/19 162.120.128.0/17 162.216.148.0/22 162.222.176.0/21 172.110.32.0/21 172.217.0.0/16 172.253.0.0/16 173.194.0.0/16 173.255.112.0/20 192.104.160.0/23 192.158.28.0/22 192.178.0.0/15 193.186.4.0/24 199.36.154.0/23 199.36.156.0/24 199.192.112.0/22 199.223.232.0/21 207.223.160.0/20 208.65.152.0/22 208.68.108.0/22 208.81.188.0/22 208.117.224.0/19 209.85.128.0/17 216.58.192.0/19 216.73.80.0/20 216.239.32.0/19 216.252.220.0/22 5.45.192.0/18 5.255.192.0/18 37.9.64.0/18 37.140.128.0/18 77.88.0.0/18 84.252.160.0/19 87.250.224.0/19 90.156.176.0/22 93.158.128.0/18 95.108.128.0/17 141.8.128.0/18 178.154.128.0/18 213.180.192.0/19 185.32.187.0/24

IP-адреса поисковой системы Bing

157.55.39.0/24 207.46.13.0/24 40.77.167.0/24 13.66.139.0/24 13.66.144.0/24 52.167.144.0/24 13.67.10.16/28 13.69.66.240/28 13.71.172.224/28 139.217.52.0/28 191.233.204.224/28 20.36.108.32/28 20.43.120.16/28 40.79.131.208/28 40.79.186.176/28 52.231.148.0/28 20.79.107.240/28 51.105.67.0/28 20.125.163.80/28 40.77.188.0/22 65.55.210.0/24 199.30.24.0/23 40.77.202.0/24 40.77.139.0/25 20.74.197.0/28 20.15.133.160/27 40.77.177.0/24 40.77.178.0/23

Юзерагенты Google

User-Agent	Назначение	Учитывает Robots.txt
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)	Googlebot Smartphone: Индексирует страницы для мобильной версии Google Поиска	Да (Токен: Googlebot)
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36	Googlebot Desktop: Индексирует страницы для десктопной версии Google Поиска	Да (Токен: Googlebot)
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)	Googlebot (редко): Общий краулер для Google Поиска	Да (Токен: Googlebot)
Googlebot/2.1 (+http://www.google.com/bot.html)	Googlebot (редко): Общий краулер для Google Поиска	Да (Токен: Googlebot)
Googlebot-Image/1.0	Индексирует изображения для Google Картинок и связанных функций	Да (Токен: Googlebot-Image, Googlebot)
Googlebot-Video/1.0	Индексирует видео для функций Google Поиска, связанных с видео	Да (Токен: Googlebot-Video, Googlebot)
(Использует строки Googlebot)	Googlebot News: Индексирует контент для Google Новостей. Отдельной строки User-Agent нет	Да (Токен: Googlebot-News, Googlebot)
Mozilla/5.0 (X11; Linux x86_64; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Safari/537.36	Storebot-Google Desktop: Индексирует данные для платформ Google Покупок	Да (Токен: Storebot-Google)
Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36	Storebot-Google Mobile: Индексирует данные для платформ Google Покупок (мобильная версия)	Да (Токен: Storebot-Google)
Mozilla/5.0 (compatible; Google-InspectionTool/1.0;)	Google-InspectionTool Desktop: Используется для тестирования в Search Console (например, проверка URL, расширенных результатов)	Да (Токен: Google-InspectionTool, Googlebot)
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Google-InspectionTool/1.0;)	Google-InspectionTool Mobile: Используется для тестирования в Search Console (мобильная версия)	Да (Токен: Google-InspectionTool, Googlebot)
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; GoogleOther)	GoogleOther Mobile: Универсальный краулер для внутренних исследований, не привязан к конкретным продуктам	Да (Токен: GoogleOther)
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GoogleOther) Chrome/W.X.Y.Z Safari/537.36	GoogleOther Desktop: Универсальный краулер для внутренних исследований	Да (Токен: GoogleOther)
GoogleOther-Image/1.0	Индексирует изображения для внутренних исследований, не привязан к конкретным продуктам	Да (Токен: GoogleOther-Image, GoogleOther)
GoogleOther-Video/1.0	Индексирует видео для внутренних исследований, не привязан к конкретным продуктам	Да (Токен: GoogleOther-Video, GoogleOther)
Google-CloudVertexBot	Индексирует данные для создания агентов на основе Vertex AI по запросу владельцев сайтов	Да (Токен: Google-CloudVertexBot, Googlebot)
(Использует строки Googlebot)	Google-Extended: Управляет сканированием для обучения моделей Gemini и обоснования в приложениях Gemini и Vertex AI	Да (Токен: Google-Extended)

Известные ИИ боты и поисковые системы

User-Agent	Назначение	Учитывает Robots.txt
Mozilla/5.0 (compatible; Bytespider/1.0; +http://www.bytedance.com/bot.html)	Веб-краулер ByteDance для сбора данных для поиска TikTok, AI-подписей CapCut и заголовков Toutiao	Да
Mozilla/5.0 (compatible; Applebot/1.0; +http://www.apple.com/bot.html)	Краулер Apple для индексации контента для Siri, Spotlight и предложений в Safari	Да
Mozilla/5.0 (compatible; YandexNews/4.0; +http://yandex.com/bots)	Индексирует новостной контент для поисковой системы Yandex	Да
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ChatGPT-User/1.0; +https://openai.com/bot)	Выполняет запросы, инициированные пользователем в ChatGPT для получения реального времени контента	Иногда нет
Mozilla/5.0 (compatible; Diffbot/0.1; +http://www.diffbot.com/our-apis/crawler/)	Краулит URL для инструмента веб-спайдеринга Diffbot для применения API извлечения	Да
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.0; +https://openai.com/gptbot)	Собирает данные для обучения AI-моделей OpenAI, таких как GPT	Да
Mozilla/5.0 (compatible; AI2Bot/1.0; +https://allenai.org/)	Исследует домены для поиска контента для обучения открытых языковых моделей	Да
Mozilla/5.0 (iPhone; CPU iPhone OS 8_1 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12B411 Safari/600.1.4 (compatible; YandexMobileBot/3.0; +http://yandex.com/bots)	Мобильный бот для индексации контента в Yandex	Да
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ChatGPT-User/2.0; +https://openai.com/bot)	Аналогично ChatGPT-User/1.0, для действий пользователей в ChatGPT	Иногда нет
ClaudeBot/1.0; +https://www.anthropic.com	Краулит веб для обучения AI-модели Anthropic Claude	Да
Mozilla/5.0 (compatible; DeepseekBot/1.0; +https://www.deepseek.com/bot)	Краулер для DeepSeek AI, вероятно, для обучения моделей	Да
Mozilla/5.0 (compatible; YandexWebmaster/2.0; +http://yandex.com/bots)	Проверяет доступность сайта и индексацию для инструментов Yandex Webmaster	Да
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Google-Extended/1.0; +https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers)	Используется для обучения AI-моделей Google, таких как Gemini	Да
MistralAI-User/1.0	Обслуживает действия пользователей в AI-ассистенте Mistral LeChat	Да
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Gemini-Deep-Research/1.0)	Получает контент для функции Deep Research в Google Gemini	Нет
Mozilla/5.0 (compatible; Cotoyogi/1.0)	Собирает данные для управления и обучения AI-моделей	Да
Mozilla/5.0 (compatible; YouBot (+http://www.you.com))	Краулер для AI-поисковика You.com	Да
Mozilla/5.0 (compatible; TimpiBot/1.0)	Индексирует контент для поисковой системы Timpi	Да
LinkedInBot/1.0 (compatible; Mozilla/5.0; Jakarta Commons-HttpClient/3.1 +http://www.linkedin.com)	Краулит контент для предпросмотров и функций LinkedIn	Да
Mozilla/5.0 (compatible; Google-InspectionTool/1.0;)	Используется для инструментов тестирования поиска Google, таких как инспекция URL	Да
Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)	Основной краулер Yandex для веб-индексации	Да
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Bard-AI/1.0; +https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers)	Вероятно, для AI Google Bard (теперь Gemini)	Да
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36 facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)	Краулит общий контент для предпросмотров в приложениях Meta	Иногда нет
Mozilla/5.0 (compatible; Google-NotebookLM/1.0; +https://notebooklm.google.com/)	Получает источники для инструмента Google NotebookLM	Нет
Timpibot/0.8 (+http://www.timpi.io)	Краулер для децентрализованной поисковой системы Timpi	Да
TerraCottahttps://github.com/CeramicTeam/CeramicTerracotta	Веб-краулер, уважающий robots.txt	Нет
Mozilla/5.0 (compatible; YouBot/1.0; +https://you.com/bot)	Краулер для AI-поиска You.com	Да
Mozilla/5.0 (compatible; RunPod-Bot/1.0; +https://runpod.io/)	Краулер для платформы AI RunPod	Да
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; PerplexityBot/1.0; +https://perplexity.ai/bot)	Отображает веб-сайты в результатах поиска Perplexity AI	Да
Mozilla/5.0 (compatible; DuckAssistBot/1.0; +http://www.duckduckgo.com/bot.html)	Краулер для AI-фич DuckDuckGo	Да
meta-webindexer/1.1	Улучшает качество поисковых результатов Meta AI	Да
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ClaudeBot/1.0; +claudebot@anthropic.com)	Краулер для AI Anthropic Claude	Да
Mozilla/5.0 (compatible; Devin/1.0)	AI-ассистент от Devin AI	Да
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ChatGPT-Browser/1.0; +https://openai.com/bot)	Взаимодействия на основе браузера в ChatGPT	Да
Mozilla/5.0 (compatible; Webzio-Extended/1.0)	Поддерживает репозиторий данных веб-краулинга для обучения AI	Да
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot)	Поисковый бот для OpenAI	Да
CCBot/2.0	Краулит для открытого репозитория Common Crawl	Да
Mozilla/5.0 (compatible; IbouBot/1.0; [email protected]; +https://ibou.io/iboubot.html)	Краулит для базы данных поисковой системы, не для обучения AI	Да
Mozilla/5.0 (Windows NT 10.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/111.0.0.0 Safari/537.36	Стандартный веб-браузер Chrome, не бот	Н/Д
Mozilla/5.0 (compatible; xAI-Bot/1.0; +https://x.ai/)	Краулер для xAI (Grok)	Да
Mozilla/5.0 (compatible; Applebot-Extended/1.0; +http://www.apple.com/bot.html)	Обучает AI-модели Apple	Да
Mozilla/5.0 (compatible; Cohere-Command/1.0; +https://cohere.com/)	Краулер для Cohere AI	Да
Mozilla/5.0 (compatible; Crawlspace/1.0)	Краулер для обучения AI	Да
Meta-ExternalAgent/1.0 (+https://developers.facebook.com/docs/sharing/bot)	Краулит для обучения AI-моделей Meta и индексации	Иногда нет
Mozilla/5.0 (compatible; Replicate-Bot/1.0; +https://replicate.com/)	Запускает и донастраивает AI-модели	Да
Mozilla/5.0 (compatible; DuckAssistBot/1.0; +https://duckduckgo.com/duckassist)	Помогает в AI-функциях DuckDuckGo	Да
Mozilla/5.0 (compatible; YandexImages/3.0; +http://yandex.com/bots)	Индексирует изображения для Yandex	Да
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Anthropic-Claude/1.0; +https://www.anthropic.com)	Краулер для AI Anthropic Claude	Да
Mozilla/5.0 (compatible; bigsur.ai/1.0)	Краулер для обучения AI	Да
Mozilla/5.0 (compatible; anthropic-ai/1.0; +http://www.anthropic.com/bot.html)	Скрапит данные для обучения AI Anthropic	Да
Mozilla/5.0 (compatible; claude-web/1.0; +http://www.anthropic.com/bot.html)	Устаревший краулер для Claude	Да
Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.1.2) Gecko/20090729 Firefox/3.5.2 (.NET CLR 3.5.30729; Diffbot/0.1; +http://www.diffbot.com)	Старый краулер Diffbot для извлечения данных	Да
Mozilla/5.0 (compatible; YandexMetrika/2.0; +http://yandex.com/bots)	Собирает аналитику для Yandex.Metrica	Да
Mozilla/5.0 (compatible; ImagesiftBot/1.0)	Скрапит изображения для веб-интеллекта	Да
Mozilla/5.0 (compatible; Kangaroo Bot/1.0)	Скачивает данные для австралийских AI-моделей	Нет
Mozilla/5.0 (compatible; FacebookBot/1.0; +http://www.facebook.com/bot.html)	Краулит для функций Facebook	Да
Mozilla/5.0 (compatible; CCBot/1.0; +http://www.commoncrawl.org/bot.html)	Краулит для датасета Common Crawl	Да
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Gemini-AI/1.0; +https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers)	Вероятно, для AI Google Gemini	Да
Mozilla/5.0 (compatible; Groq-Bot/1.0; +https://groq.com/)	Краулер для AI-инференса Groq	Да
Mozilla/5.0 (compatible; YandexFavicons/1.0; +http://yandex.com/bots)	Получает фавиконы для Yandex	Да
Mozilla/5.0 (compatible; cohere-ai/1.0; +http://www.cohere.ai/bot.html)	Скрапит для обучения AI Cohere	Да
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36 Edg/W.X.Y.Z	Краулер поиска Bing	Да
Mozilla/5.0 (compatible; Applebot-Extended/1.0)	Обучает AI-модели Apple	Да
Mozilla/5.0 (compatible; HuggingFace-Bot/1.0; +https://huggingface.co/)	Краулер для Hugging Face AI	Да
Mozilla/5.0 (compatible; meta-externalagent/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler))	Краулит для внешнего агента Meta	Да
Mozilla/5.0 (compatible; omgili/1.0; +http://www.omgili.com/bot.html)	Получает данные из веб для insights	Да
Googlebot-Video/1.0	Индексирует видео для Google	Да
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)	Краулит для Perplexity AI	Не указано
Mozilla/5.0 (compatible; MistralAI-User/1.0; +https://mistral.ai/bot)	Действия пользователей в Mistral AI	Да
Mozilla/5.0 (compatible; Bytespider; [email protected])	Аналогично Bytespider	Да
Amazonbot/0.1 (+https://developer.amazon.com/support/amazonbot)	Улучшает продукты Amazon и AI	Да
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)	Основной веб-краулер Google	Да
Googlebot-Image/1.0	Индексирует изображения для Google	Да
Mozilla/5.0 (compatible; AI2Bot/1.0; +http://www.allenai.org/crawler)	Краулит для данных обучения AllenAI	Да
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Claude-Web/1.0; +https://www.anthropic.com)	Устаревший веб-краулер Claude	Да
Mozilla/5.0 (compatible; Google-CloudVertexBot/1.0; +https://cloud.google.com/vertex-ai)	Строит AI-модели для Vertex AI	Да
Mozilla/5.0 (compatible; Together-Bot/1.0; +https://together.ai/)	Краулер для платформы Together AI	Да
Mozilla/5.0 (compatible; Brightbot/1.0)	Скрапит для AI поддержки клиентов на веб-сайтах	Да
Mozilla/5.0 (compatible; PanguBot/1.0)	Скачивает данные для обучения LLM Huawei PanGu	Нет
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot)	Аналогично Amazonbot	Да
Mozilla/5.0 (compatible; Andibot/1.0)	Поисковая система с использованием генеративного AI	Да
Mozilla/5.0 (compatible; Character-AI/1.0; +https://character.ai/)	Краулер для Character.AI	Да
Mozilla/5.0 (compatible; Cohere-AI/1.0; +https://cohere.com/)	Краулер для Cohere AI	Да
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Perplexity-User/1.0; +https://perplexity.ai/bot)	Действия пользователей в Perplexity AI	Не указано
Mozilla/5.0 (compatible; FirecrawlAgent/1.0)	Краулер для сбора данных для AI-моделей	Да

Оригинал материала взят у Станислав Кириченко

Подписывайтесь на наш канал в Телеграм! https://t.me/siteanalyzer

Оцените статью

5/5

Другие статьи

<< Назад