Вход Регистрация
 
WordChecker Extension, Проверка позиций в Яндексе

Белый список IP адресов Google + Яндекс. Известные юзер-агенты ИИ ботов

WordChecker / Блог
 54
28.02.2026 | Время чтения: 18 минут
Facebook
Автор: Станислав Кириченко

Белый список IP адресов Google + Яндекс. Известные юзер-агенты ИИ ботов

Список диапазонов IP адресов Google по инструментам по сборам данных на сайте

64.233.172.128/27
64.233.172.160/27
64.233.172.192/27
64.233.172.224/27
64.233.172.32/27
64.233.172.64/27
64.233.172.96/27
64.233.173.0/27
64.233.173.128/27
64.233.173.160/27
64.233.173.192/27
64.233.173.224/27
64.233.173.32/27
64.233.173.64/27
64.233.173.96/27
66.102.6.0/27
66.102.6.128/27
66.102.6.160/27
66.102.6.192/27
66.102.6.224/27
66.102.6.32/27
66.102.6.64/27
66.102.6.96/27
66.102.7.0/27
66.102.7.128/27
66.102.7.160/27
66.102.7.192/27
66.102.7.224/27
66.102.7.32/27
66.102.7.64/27
66.102.7.96/27
66.102.8.0/27
66.102.8.128/27
66.102.8.160/27
66.102.8.192/27
66.102.8.224/27
66.102.8.32/27
66.102.8.64/27
66.102.8.96/27
35.187.143.128/27
35.187.143.160/27
35.187.143.32/27
35.187.143.64/27
35.187.143.96/27
35.243.16.0/27
35.243.16.128/27
35.243.16.32/27
35.243.16.64/27
35.243.16.96/27
35.243.17.0/27
35.243.17.128/27
35.243.17.32/27
35.243.17.64/27
35.243.17.96/27
35.243.18.0/27
35.243.18.32/27
192.178.7.64/27
192.178.7.96/27
34.100.182.96/28
34.101.50.144/28
34.118.254.0/28
34.118.66.0/28
34.126.178.96/28
34.146.150.144/28
34.147.110.144/28
34.151.74.144/28
34.152.50.64/28
34.154.114.144/28
34.155.98.32/28
34.165.18.176/28
34.175.160.64/28
34.176.130.16/28
34.22.85.0/27
35.243.22.0/27
35.243.22.32/27
35.243.22.64/27
35.243.22.96/27
35.243.23.0/27
35.243.23.128/27
35.243.23.160/27
35.243.23.192/27
35.243.23.224/27
35.243.23.32/27
35.243.23.64/27
35.243.23.96/27
66.249.65.128/27
66.249.65.160/27
66.249.65.192/27
66.249.65.224/27
66.249.65.32/27
66.249.65.64/27
66.249.65.96/27
66.249.66.0/27
66.249.66.128/27
66.249.66.160/27
66.249.66.192/27
66.249.66.224/27
66.249.66.32/27
66.249.66.64/27
66.249.66.96/27
66.249.67.0/27
66.249.68.0/27
66.249.68.128/27
66.249.68.160/27
66.249.68.32/27
66.249.68.64/27
66.249.68.96/27
66.249.69.0/27
66.249.69.128/27
66.249.69.160/27
66.249.69.192/27
66.249.69.224/27
66.249.69.32/27
66.249.69.64/27
66.249.69.96/27
66.249.70.0/27
66.249.70.128/27
66.249.70.160/27
66.249.70.192/27
66.249.70.224/27
66.249.70.32/27
66.249.70.64/27
66.249.70.96/27
66.249.71.0/27
66.249.71.128/27
66.249.71.160/27
66.249.71.192/27
66.249.71.224/27
66.249.71.32/27
66.249.71.64/27
66.249.71.96/27
66.249.72.0/27
66.249.72.128/27
66.249.72.160/27
66.249.72.192/27
66.249.72.224/27
66.249.72.32/27
66.249.72.64/27
66.249.72.96/27
66.249.73.0/27
66.249.73.128/27
66.249.73.160/27
66.249.73.192/27
66.249.73.224/27
66.249.73.32/27
66.249.73.64/27
66.249.73.96/27
66.249.74.0/27
66.249.74.128/27
66.249.74.160/27
66.249.74.192/27
66.249.74.224/27
66.249.74.32/27
66.249.74.64/27
66.249.74.96/27
66.249.75.0/27
66.249.75.128/27
66.249.75.160/27
66.249.75.192/27
66.249.75.224/27
66.249.75.32/27
66.249.75.64/27
66.249.75.96/27
66.249.76.0/27
66.249.76.128/27
66.249.76.160/27
66.249.76.192/27
66.249.76.224/27
66.249.76.32/27
66.249.76.64/27
66.249.76.96/27
66.249.77.0/27
66.249.77.128/27
66.249.77.160/27
66.249.77.192/27
66.249.77.224/27
66.249.77.32/27
66.249.77.64/27
66.249.77.96/27
66.249.78.0/27
66.249.78.32/27
66.249.78.64/27
66.249.78.96/27
66.249.79.0/27
66.249.79.128/27
66.249.79.160/27
66.249.79.192/27
34.98.139.224/27
34.98.139.32/27
34.98.139.64/27
34.98.139.96/27
34.98.140.0/27
34.98.140.128/27
34.98.140.160/27
34.98.140.192/27
34.98.140.224/27
34.98.140.32/27
34.98.140.64/27
34.98.140.96/27
34.98.141.0/27
34.98.141.128/27
34.98.141.160/27
34.98.141.192/27
34.98.141.32/27
34.98.141.64/27
34.98.141.96/27
34.98.142.0/27
34.98.142.32/27
34.98.142.64/27
34.98.142.96/27
34.98.143.0/27
34.98.143.128/27
34.98.143.160/27
34.98.143.192/27
34.98.143.224/27
34.98.143.32/27
34.98.143.64/27
34.98.143.96/27
35.187.128.0/27
35.187.128.128/27
35.187.128.160/27
35.187.128.192/27
35.187.128.32/27
35.187.128.64/27
35.187.128.96/27
35.187.129.0/27
35.187.129.128/27
35.187.129.160/27
35.187.129.192/27
35.187.129.224/27
35.187.129.32/27
35.187.129.64/27
35.187.129.96/27
35.187.130.0/27
35.187.130.128/27
35.187.130.160/27
35.187.130.192/27
35.187.130.224/27
35.187.132.32/27
35.187.132.64/27
35.187.132.96/27
35.187.133.0/27
35.187.133.128/27
35.187.133.160/27
35.187.133.192/27
35.187.133.224/27
35.187.133.32/27
35.187.133.64/27
35.187.133.96/27
35.187.134.0/27
35.187.134.128/27
35.187.134.160/27
35.187.134.192/27
35.187.134.224/27
35.187.134.32/27
35.187.134.64/27
35.187.134.96/27
35.187.135.0/27
35.187.135.128/27
35.187.135.160/27
35.187.135.192/27
35.187.135.224/27
35.187.135.32/27
35.187.135.64/27
35.187.135.96/27
35.187.136.0/27
35.187.136.128/27
35.187.136.160/27
35.187.136.192/27
35.187.136.224/27
35.187.138.0/27
35.187.138.128/27
74.125.212.160/27
74.125.212.192/27
74.125.212.224/27
74.125.212.32/27
74.125.212.64/27
74.125.212.96/27
74.125.213.0/27
74.125.213.32/27
74.125.214.0/27
74.125.214.128/27
74.125.214.160/27
74.125.214.192/27
74.125.214.224/27
74.125.214.32/27
74.125.214.64/27
74.125.214.96/27
74.125.215.0/27
74.125.215.128/27
74.125.215.160/27
74.125.215.192/27
74.125.215.224/27
74.125.215.32/27
74.125.215.64/27
74.125.215.96/27
142.250.32.0/27
142.250.32.32/27
142.250.32.64/27
142.250.32.96/27
142.250.33.0/27
142.250.33.32/27

Обязательный белый список IP-адресов Google + Яндекс

8.8.4.0/24
8.8.8.0/24
8.34.208.0/20
8.35.192.0/20
23.236.48.0/20
23.251.128.0/19
34.0.0.0/15
34.2.0.0/16
34.3.0.0/23
34.3.3.0/24
34.3.4.0/24
34.3.8.0/21
34.3.16.0/20
34.3.32.0/19
34.3.64.0/18
34.4.0.0/14
34.8.0.0/13
34.16.0.0/12
34.32.0.0/11
34.64.0.0/10
34.128.0.0/10
35.184.0.0/13
35.192.0.0/14
35.196.0.0/15
35.198.0.0/16
35.199.0.0/17
35.199.128.0/18
35.200.0.0/13
35.208.0.0/12
35.224.0.0/12
35.240.0.0/13
57.140.192.0/18
64.15.112.0/20
64.233.160.0/19
66.22.228.0/23
66.102.0.0/20
66.249.64.0/19
70.32.128.0/19
72.14.192.0/18
74.114.24.0/21
74.125.0.0/16
104.154.0.0/15
104.196.0.0/14
104.237.160.0/19
107.167.160.0/19
107.178.192.0/18
108.59.80.0/20
108.170.192.0/18
108.177.0.0/17
130.211.0.0/16
136.22.160.0/20
136.22.176.0/21
136.22.184.0/23
136.22.186.0/24
136.124.0.0/15
142.250.0.0/15
146.148.0.0/17
152.65.208.0/22
152.65.214.0/23
152.65.218.0/23
152.65.222.0/23
152.65.224.0/19
162.120.128.0/17
162.216.148.0/22
162.222.176.0/21
172.110.32.0/21
172.217.0.0/16
172.253.0.0/16
173.194.0.0/16
173.255.112.0/20
192.104.160.0/23
192.158.28.0/22
192.178.0.0/15
193.186.4.0/24
199.36.154.0/23
199.36.156.0/24
199.192.112.0/22
199.223.232.0/21
207.223.160.0/20
208.65.152.0/22
208.68.108.0/22
208.81.188.0/22
208.117.224.0/19
209.85.128.0/17
216.58.192.0/19
216.73.80.0/20
216.239.32.0/19
216.252.220.0/22
5.45.192.0/18
5.255.192.0/18
37.9.64.0/18
37.140.128.0/18
77.88.0.0/18
84.252.160.0/19
87.250.224.0/19
90.156.176.0/22
93.158.128.0/18
95.108.128.0/17
141.8.128.0/18
178.154.128.0/18
213.180.192.0/19
185.32.187.0/24

IP-адреса поисковой системы Bing

157.55.39.0/24
207.46.13.0/24
40.77.167.0/24
13.66.139.0/24
13.66.144.0/24
52.167.144.0/24
13.67.10.16/28
13.69.66.240/28
13.71.172.224/28
139.217.52.0/28
191.233.204.224/28
20.36.108.32/28
20.43.120.16/28
40.79.131.208/28
40.79.186.176/28
52.231.148.0/28
20.79.107.240/28
51.105.67.0/28
20.125.163.80/28
40.77.188.0/22
65.55.210.0/24
199.30.24.0/23
40.77.202.0/24
40.77.139.0/25
20.74.197.0/28
20.15.133.160/27
40.77.177.0/24
40.77.178.0/23

Юзерагенты Google

User-Agent
Назначение
Учитывает Robots.txt
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) Googlebot Smartphone: Индексирует страницы для мобильной версии Google Поиска
Да (Токен: Googlebot)
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36 Googlebot Desktop: Индексирует страницы для десктопной версии Google Поиска
Да (Токен: Googlebot)
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) Googlebot (редко): Общий краулер для Google Поиска
Да (Токен: Googlebot)
Googlebot/2.1 (+http://www.google.com/bot.html) Googlebot (редко): Общий краулер для Google Поиска
Да (Токен: Googlebot)
Googlebot-Image/1.0 Индексирует изображения для Google Картинок и связанных функций
Да (Токен: Googlebot-Image, Googlebot)
Googlebot-Video/1.0 Индексирует видео для функций Google Поиска, связанных с видео
Да (Токен: Googlebot-Video, Googlebot)
(Использует строки Googlebot) Googlebot News: Индексирует контент для Google Новостей. Отдельной строки User-Agent нет
Да (Токен: Googlebot-News, Googlebot)
Mozilla/5.0 (X11; Linux x86_64; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Safari/537.36 Storebot-Google Desktop: Индексирует данные для платформ Google Покупок
Да (Токен: Storebot-Google)
Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 Storebot-Google Mobile: Индексирует данные для платформ Google Покупок (мобильная версия)
Да (Токен: Storebot-Google)
Mozilla/5.0 (compatible; Google-InspectionTool/1.0;) Google-InspectionTool Desktop: Используется для тестирования в Search Console (например, проверка URL, расширенных результатов)
Да (Токен: Google-InspectionTool, Googlebot)
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Google-InspectionTool/1.0;) Google-InspectionTool Mobile: Используется для тестирования в Search Console (мобильная версия)
Да (Токен: Google-InspectionTool, Googlebot)
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; GoogleOther) GoogleOther Mobile: Универсальный краулер для внутренних исследований, не привязан к конкретным продуктам
Да (Токен: GoogleOther)
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GoogleOther) Chrome/W.X.Y.Z Safari/537.36 GoogleOther Desktop: Универсальный краулер для внутренних исследований
Да (Токен: GoogleOther)
GoogleOther-Image/1.0 Индексирует изображения для внутренних исследований, не привязан к конкретным продуктам
Да (Токен: GoogleOther-Image, GoogleOther)
GoogleOther-Video/1.0 Индексирует видео для внутренних исследований, не привязан к конкретным продуктам
Да (Токен: GoogleOther-Video, GoogleOther)
Google-CloudVertexBot Индексирует данные для создания агентов на основе Vertex AI по запросу владельцев сайтов
Да (Токен: Google-CloudVertexBot, Googlebot)
(Использует строки Googlebot) Google-Extended: Управляет сканированием для обучения моделей Gemini и обоснования в приложениях Gemini и Vertex AI
Да (Токен: Google-Extended)

Известные ИИ боты и поисковые системы

User-Agent
Назначение
Учитывает Robots.txt
Mozilla/5.0 (compatible; Bytespider/1.0; +http://www.bytedance.com/bot.html) Веб-краулер ByteDance для сбора данных для поиска TikTok, AI-подписей CapCut и заголовков Toutiao
Да
Mozilla/5.0 (compatible; Applebot/1.0; +http://www.apple.com/bot.html) Краулер Apple для индексации контента для Siri, Spotlight и предложений в Safari
Да
Mozilla/5.0 (compatible; YandexNews/4.0; +http://yandex.com/bots) Индексирует новостной контент для поисковой системы Yandex
Да
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ChatGPT-User/1.0; +https://openai.com/bot) Выполняет запросы, инициированные пользователем в ChatGPT для получения реального времени контента
Иногда нет
Mozilla/5.0 (compatible; Diffbot/0.1; +http://www.diffbot.com/our-apis/crawler/) Краулит URL для инструмента веб-спайдеринга Diffbot для применения API извлечения
Да
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.0; +https://openai.com/gptbot) Собирает данные для обучения AI-моделей OpenAI, таких как GPT
Да
Mozilla/5.0 (compatible; AI2Bot/1.0; +https://allenai.org/) Исследует домены для поиска контента для обучения открытых языковых моделей
Да
Mozilla/5.0 (iPhone; CPU iPhone OS 8_1 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12B411 Safari/600.1.4 (compatible; YandexMobileBot/3.0; +http://yandex.com/bots) Мобильный бот для индексации контента в Yandex
Да
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ChatGPT-User/2.0; +https://openai.com/bot) Аналогично ChatGPT-User/1.0, для действий пользователей в ChatGPT
Иногда нет
ClaudeBot/1.0; +https://www.anthropic.com Краулит веб для обучения AI-модели Anthropic Claude
Да
Mozilla/5.0 (compatible; DeepseekBot/1.0; +https://www.deepseek.com/bot) Краулер для DeepSeek AI, вероятно, для обучения моделей
Да
Mozilla/5.0 (compatible; YandexWebmaster/2.0; +http://yandex.com/bots) Проверяет доступность сайта и индексацию для инструментов Yandex Webmaster
Да
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Google-Extended/1.0; +https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers) Используется для обучения AI-моделей Google, таких как Gemini
Да
MistralAI-User/1.0 Обслуживает действия пользователей в AI-ассистенте Mistral LeChat
Да
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Gemini-Deep-Research/1.0) Получает контент для функции Deep Research в Google Gemini
Нет
Mozilla/5.0 (compatible; Cotoyogi/1.0) Собирает данные для управления и обучения AI-моделей
Да
Mozilla/5.0 (compatible; YouBot (+http://www.you.com)) Краулер для AI-поисковика You.com
Да
Mozilla/5.0 (compatible; TimpiBot/1.0) Индексирует контент для поисковой системы Timpi
Да
LinkedInBot/1.0 (compatible; Mozilla/5.0; Jakarta Commons-HttpClient/3.1 +http://www.linkedin.com) Краулит контент для предпросмотров и функций LinkedIn
Да
Mozilla/5.0 (compatible; Google-InspectionTool/1.0;) Используется для инструментов тестирования поиска Google, таких как инспекция URL
Да
Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots) Основной краулер Yandex для веб-индексации
Да
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Bard-AI/1.0; +https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers) Вероятно, для AI Google Bard (теперь Gemini)
Да
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36 facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php) Краулит общий контент для предпросмотров в приложениях Meta
Иногда нет
Mozilla/5.0 (compatible; Google-NotebookLM/1.0; +https://notebooklm.google.com/) Получает источники для инструмента Google NotebookLM
Нет
Timpibot/0.8 (+http://www.timpi.io) Краулер для децентрализованной поисковой системы Timpi
Да
TerraCottahttps://github.com/CeramicTeam/CeramicTerracotta Веб-краулер, уважающий robots.txt
Нет
Mozilla/5.0 (compatible; YouBot/1.0; +https://you.com/bot) Краулер для AI-поиска You.com
Да
Mozilla/5.0 (compatible; RunPod-Bot/1.0; +https://runpod.io/) Краулер для платформы AI RunPod
Да
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; PerplexityBot/1.0; +https://perplexity.ai/bot) Отображает веб-сайты в результатах поиска Perplexity AI
Да
Mozilla/5.0 (compatible; DuckAssistBot/1.0; +http://www.duckduckgo.com/bot.html) Краулер для AI-фич DuckDuckGo
Да
meta-webindexer/1.1 Улучшает качество поисковых результатов Meta AI
Да
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ClaudeBot/1.0; +claudebot@anthropic.com) Краулер для AI Anthropic Claude
Да
Mozilla/5.0 (compatible; Devin/1.0) AI-ассистент от Devin AI
Да
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ChatGPT-Browser/1.0; +https://openai.com/bot) Взаимодействия на основе браузера в ChatGPT
Да
Mozilla/5.0 (compatible; Webzio-Extended/1.0) Поддерживает репозиторий данных веб-краулинга для обучения AI
Да
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot) Поисковый бот для OpenAI
Да
CCBot/2.0 Краулит для открытого репозитория Common Crawl
Да
Mozilla/5.0 (compatible; IbouBot/1.0; [email protected]; +https://ibou.io/iboubot.html) Краулит для базы данных поисковой системы, не для обучения AI
Да
Mozilla/5.0 (Windows NT 10.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/111.0.0.0 Safari/537.36 Стандартный веб-браузер Chrome, не бот
Н/Д
Mozilla/5.0 (compatible; xAI-Bot/1.0; +https://x.ai/) Краулер для xAI (Grok)
Да
Mozilla/5.0 (compatible; Applebot-Extended/1.0; +http://www.apple.com/bot.html) Обучает AI-модели Apple
Да
Mozilla/5.0 (compatible; Cohere-Command/1.0; +https://cohere.com/) Краулер для Cohere AI
Да
Mozilla/5.0 (compatible; Crawlspace/1.0) Краулер для обучения AI
Да
Meta-ExternalAgent/1.0 (+https://developers.facebook.com/docs/sharing/bot) Краулит для обучения AI-моделей Meta и индексации
Иногда нет
Mozilla/5.0 (compatible; Replicate-Bot/1.0; +https://replicate.com/) Запускает и донастраивает AI-модели
Да
Mozilla/5.0 (compatible; DuckAssistBot/1.0; +https://duckduckgo.com/duckassist) Помогает в AI-функциях DuckDuckGo
Да
Mozilla/5.0 (compatible; YandexImages/3.0; +http://yandex.com/bots) Индексирует изображения для Yandex
Да
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Anthropic-Claude/1.0; +https://www.anthropic.com) Краулер для AI Anthropic Claude
Да
Mozilla/5.0 (compatible; bigsur.ai/1.0) Краулер для обучения AI
Да
Mozilla/5.0 (compatible; anthropic-ai/1.0; +http://www.anthropic.com/bot.html) Скрапит данные для обучения AI Anthropic
Да
Mozilla/5.0 (compatible; claude-web/1.0; +http://www.anthropic.com/bot.html) Устаревший краулер для Claude
Да
Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.1.2) Gecko/20090729 Firefox/3.5.2 (.NET CLR 3.5.30729; Diffbot/0.1; +http://www.diffbot.com) Старый краулер Diffbot для извлечения данных
Да
Mozilla/5.0 (compatible; YandexMetrika/2.0; +http://yandex.com/bots) Собирает аналитику для Yandex.Metrica
Да
Mozilla/5.0 (compatible; ImagesiftBot/1.0) Скрапит изображения для веб-интеллекта
Да
Mozilla/5.0 (compatible; Kangaroo Bot/1.0) Скачивает данные для австралийских AI-моделей
Нет
Mozilla/5.0 (compatible; FacebookBot/1.0; +http://www.facebook.com/bot.html) Краулит для функций Facebook
Да
Mozilla/5.0 (compatible; CCBot/1.0; +http://www.commoncrawl.org/bot.html) Краулит для датасета Common Crawl
Да
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Gemini-AI/1.0; +https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers) Вероятно, для AI Google Gemini
Да
Mozilla/5.0 (compatible; Groq-Bot/1.0; +https://groq.com/) Краулер для AI-инференса Groq
Да
Mozilla/5.0 (compatible; YandexFavicons/1.0; +http://yandex.com/bots) Получает фавиконы для Yandex
Да
Mozilla/5.0 (compatible; cohere-ai/1.0; +http://www.cohere.ai/bot.html) Скрапит для обучения AI Cohere
Да
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36 Edg/W.X.Y.Z Краулер поиска Bing
Да
Mozilla/5.0 (compatible; Applebot-Extended/1.0) Обучает AI-модели Apple
Да
Mozilla/5.0 (compatible; HuggingFace-Bot/1.0; +https://huggingface.co/) Краулер для Hugging Face AI
Да
Mozilla/5.0 (compatible; meta-externalagent/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)) Краулит для внешнего агента Meta
Да
Mozilla/5.0 (compatible; omgili/1.0; +http://www.omgili.com/bot.html) Получает данные из веб для insights
Да
Googlebot-Video/1.0 Индексирует видео для Google
Да
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot) Краулит для Perplexity AI
Не указано
Mozilla/5.0 (compatible; MistralAI-User/1.0; +https://mistral.ai/bot) Действия пользователей в Mistral AI
Да
Mozilla/5.0 (compatible; Bytespider; [email protected]) Аналогично Bytespider
Да
Amazonbot/0.1 (+https://developer.amazon.com/support/amazonbot) Улучшает продукты Amazon и AI
Да
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) Основной веб-краулер Google
Да
Googlebot-Image/1.0 Индексирует изображения для Google
Да
Mozilla/5.0 (compatible; AI2Bot/1.0; +http://www.allenai.org/crawler) Краулит для данных обучения AllenAI
Да
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Claude-Web/1.0; +https://www.anthropic.com) Устаревший веб-краулер Claude
Да
Mozilla/5.0 (compatible; Google-CloudVertexBot/1.0; +https://cloud.google.com/vertex-ai) Строит AI-модели для Vertex AI
Да
Mozilla/5.0 (compatible; Together-Bot/1.0; +https://together.ai/) Краулер для платформы Together AI
Да
Mozilla/5.0 (compatible; Brightbot/1.0) Скрапит для AI поддержки клиентов на веб-сайтах
Да
Mozilla/5.0 (compatible; PanguBot/1.0) Скачивает данные для обучения LLM Huawei PanGu
Нет
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot) Аналогично Amazonbot
Да
Mozilla/5.0 (compatible; Andibot/1.0) Поисковая система с использованием генеративного AI
Да
Mozilla/5.0 (compatible; Character-AI/1.0; +https://character.ai/) Краулер для Character.AI
Да
Mozilla/5.0 (compatible; Cohere-AI/1.0; +https://cohere.com/) Краулер для Cohere AI
Да
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Perplexity-User/1.0; +https://perplexity.ai/bot) Действия пользователей в Perplexity AI
Не указано
Mozilla/5.0 (compatible; FirecrawlAgent/1.0) Краулер для сбора данных для AI-моделей
Да

Оригинал материала взят у Станислав Кириченко

Подписывайтесь на наш канал в Телеграм! https://t.me/siteanalyzer

Оцените статью
5/5
1

Другие статьи



<< Назад


Мы в социальных сетях
 
Telegram
Created by SiteAnalyzer
Контакты