Безкоштовний інструмент · без реєстрації · миттєво
AI Crawler Checker — хто з AI-ботів вас дістає і чого коштує кожен блок
Блокування GPTBot не прибирає вас із пошуку ChatGPT. За це відповідає
OAI-SearchBot — інший агент зі своїм правилом у robots.txt. Той самий поділ є у
ClaudeBot проти Claude-SearchBot і в
PerplexityBot проти Perplexity-User. Вставте URL: чекер читає robots.txt
сайту й показує всі 23 токени, згруповані за роботою кожного, з точним рядком, який спрацював. Відмовитися від
тренування і лишитися в AI-відповідях можна — але тільки якщо в кожного бота є власна група
User-agent.
Один раз тягне /robots.txt і розбирає його. Нічого не зберігається, жоден запит не йде від імені бота, і правило, яке сайт віддає лише реальним IP краулерів, тут не зʼявиться.
Що перевіряє цей AI crawler checker
Інструмент інспектує єдиний файл, що керує доступом краулерів — твій robots.txt — і повідомляє його точно. Він не шле живий запит від імені кожного бота, тож результат каже «Дозволено robots.txt», а не «AI точно дістанеться сайту».
- Доступність robots.txt і HTTP-статус
- Специфічні
User-agentгрупи - Найбільш специфічне правило на бота (Allow / Disallow, longest-match)
- Суцільні
User-agent: *правила, що ловлять AI-ботів без власного правила - Sitemap-декларації в robots.txt
- Живий per-bot user-agent запит (планується)
- Meta robots / X-Robots-Tag headers (планується)
- Cloudflare / WAF bot-правила і 403 (планується)
- Структура llms.txt (вже працює — Валідатор llms.txt)
Сайт може пройти цю robots.txt-перевірку і все одно блокувати AI-ботів на firewall. Якщо підозрюєш WAF-блок — перевір окремо.
Підтримувані AI-краулери і що блокує кожного з них
Двадцять три токени, згруповані за задачею, яку вендор документує для кожного. Рядки взяті з документації вендорів, а не з чужих блоклистів — саме звідти беруться майже всі помилкові агенти в дикій природі: правило, написане для GPTbot чи Perplexity-Bot, не збігається ні з чим.
| Краулер | Компанія | Категорія | На що впливає блок |
|---|---|---|---|
| AI-пошук / discovery | |||
| OAI-SearchBot | OpenAI | AI-пошук / discovery | Придатність зʼявлятися лінкованим джерелом у ChatGPT Search. |
| PerplexityBot | Perplexity | AI-пошук / discovery | Придатність бути джерелом відповіді Perplexity. |
| Claude-SearchBot | Anthropic | AI-пошук / discovery | Придатність бути цитованим Claude web search. |
| DuckAssistBot | DuckDuckGo | AI-пошук / discovery | Включення у відповіді DuckAssist. |
| YouBot | You.com | AI-пошук / discovery | Включення в AI-відповіді You.com. |
| User-triggered fetch | |||
| ChatGPT-User | OpenAI | User-triggered fetch | Здатність ChatGPT відкрити твою сторінку на запит користувача. |
| Claude-User | Anthropic | User-triggered fetch | Здатність Claude відкрити твою сторінку на запит користувача. |
| Perplexity-User | Perplexity | User-triggered fetch | Відкриття твоєї сторінки Perplexity на запит користувача. |
| Meta-ExternalFetcher | Meta | User-triggered fetch | Відкриття Meta AI лінка, яким поділився користувач. |
| Тренування моделі | |||
| GPTBot | OpenAI | Тренування моделі | Чи використовується твій контент для тренування моделей OpenAI. |
| Google-Extended | Тренування моделі | Чи тренує твій контент Gemini — не Google Search і не AI Overviews. | |
| ClaudeBot | Anthropic | Тренування моделі | Загальний краул Anthropic по твоєму сайту. |
| anthropic-ailegacy | Anthropic | Тренування моделі | Legacy-краул Anthropic (переважно історичний). |
| CCBot | Common Crawl | Тренування моделі | Включення в датасет Common Crawl, який використовують багато моделей. |
| Google-CloudVertexBot | Тренування моделі | Fetch агентів Vertex AI для клієнтів Google Cloud. | |
| Applebot-Extended | Apple | Тренування моделі | Чи тренує твій контент Apple Intelligence. |
| Meta-ExternalAgent | Meta | Тренування моделі | Чи тренує твій контент моделі Meta. |
| Bytespider | ByteDance | Тренування моделі | Тренування моделей ByteDance і crawl-навантаження. |
| cohere-ai | Cohere | Тренування моделі | Чи тренує твій контент моделі Cohere. |
| Традиційний пошук | |||
| Googlebot | Традиційний пошук | Google Search І AI Overviews разом — рідко доцільно. | |
| Bingbot | Microsoft | Традиційний пошук | Bing, Copilot і опосередковано ChatGPT Search. |
| Applebot | Apple | Традиційний пошук | Підказки Siri і Spotlight. |
| Amazonbot | Amazon | Традиційний пошук | Відповіді Alexa і індексація Amazon. |
AI-пошукові краулери vs AI training-краулери
Яка різниця між AI-пошуковим краулером і AI training-краулером? AI-пошуковий краулер — як OAI-SearchBot, PerplexityBot чи Claude-SearchBot — індексує твої сторінки, щоб AI-двигун міг їх знайти, процитувати й лінкувати при відповіді. Це боти, що роблять тебе придатним до цитування. AI training-краулер — як GPTBot, Google-Extended чи CCBot — збирає контент, щоб тренувати базові знання моделі, не щоб цитувати тебе в реальному часі. Блок training-краулера — рішення про content-rights, що тримає сторінки поза training-даними; він не прибирає тебе з AI-пошукових відповідей. Блок пошукового краулера, навпаки, прямо прибирає тебе з цитованих джерел двигуна.
Чому AI-боти можуть бути заблоковані — і як це виправити
Якщо потрібний краулер заблокований, пройдись імовірними причинами по порядку. Більшість тихих блоків — одна з цих.
- robots.txt Disallow. Правило типу
Disallow: /під User-agent групою бота. Фікс: додайAllow: /або прибери Disallow для цього агента. - Суцільний
User-agent: *Disallow. Site-wide блок ловить кожен AI-бот без власного правила. Фікс: додай явні Allow-групи для потрібних AI-ботів. - HTTP 401 / 403. Не robots-проблема — WAF, CDN чи auth-шар відхиляє бота. Фікс: дозволь user-agent або його верифіковані IP у firewall.
- Cloudflare / WAF «block AI bots». Кероване правило блокує AI-краулерів попри robots.txt. Фікс: винятки для потрібних AI-пошукових ботів у WAF, не лише в robots.txt.
- Rate limiting. Агресивні ліміти віддають 429, і бот відступає. Фікс: підніми ліміти для верифікованих IP краулерів.
- Серверні помилки (5xx). Бот не проіндексує сторінку, що постійно падає. Фікс: усунь помилки і підтверди стабільний 200.
- X-Robots-Tag / meta robots noindex. Сторінка crawlable, але позначена non-indexable. Фікс: прибери
noindex, де хочеш придатність. - Redirect-петлі або недоступний robots.txt. Якщо /robots.txt 5xx\'ить чи петлить, деякі боти трактують сайт як disallowed. Фікс: віддавай чистий 200 чи 404 для /robots.txt.
Як дозволити чи заблокувати AI-краулерів у robots.txt
Скопіюй рецепт і адаптуй. Дай кожному боту власну User-agent групу, щоб правила не колідували, і памʼятай: robots.txt — advisory. Compliant-краулери його поважають, але це не firewall-рівень enforcement, і він не прибирає URL з жодного індексу.
User-agent: *
Allow: /User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: Applebot-Extended
Disallow: /
User-agent: Meta-ExternalAgent
Disallow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Claude-SearchBot
Allow: /User-agent: GPTBot
Disallow: /User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /robots.txt vs llms.txt
| robots.txt | llms.txt | |
|---|---|---|
| Призначення | Каже краулерам, які шляхи можна запитувати | Вказує AI-інструментам на ключовий контент у Markdown |
| Enforceability | Advisory — поважають compliant-боти, не firewall | Advisory guidance — не access-control |
| Хто читає | Search і AI-краулери, що слідують стандарту | AI-інструменти, що обрали підтримку (не універсально) |
| Основне | Контроль доступу краулу per user-agent | Допомогти AI зрозуміти й винести твої найкращі сторінки |
| Обмеження | Не запобігає індексації; ігнорується non-compliant ботами | Emerging-конвенція; без гарантії ранкінгу чи доступу |
Жоден файл не блокує non-compliant бота, і жоден не прибирає URL з індексу. Для контролю індексації використовуй noindex. Перевірити власний файл — у Валідаторі llms.txt.
Чи гарантує доступ краулерів AI-видимість?
Ні, і розрив більший, ніж здається. robots.txt — єдиний шар, який цей інструмент здатен прочитати, і водночас той, що найрідше є справжнім блокером. Над ним лежать чотири збої, яких він не бачить: правило WAF або bot-management, що віддає краулеру 403, поки браузер отримує 200; сторінка, чий контент зʼявляється лише після виконання JavaScript, тож запит успішний і повертає порожнечу; noindex, який тримає доступну для обходу сторінку поза індексом; і рейт-ліміти, що перетворюють обхід на низку 429. Закрийте всі пʼять — і ви станете придатними до вибірки, що все ще не те саме, що бути обраним. Пошук ранжує пасажі під питання, тож сторінка ще має на це питання відповідати.
AI crawler checker — FAQ
Як перевірити, чи має GPTBot доступ до мого сайту?
Вставте домен вище. Чекер тягне /robots.txt і знаходить правило, яке насправді діє на GPTBot: власну групу User-agent, якщо вона є у файлі, інакше — групу-зірочку. Ніколи обидві: бот, названий у власній групі, перестає читати wildcard узагалі. Ви отримаєте вердикт і точний рядок, який його дав. GPTBot — краулер для тренування, тож блок тут — це рішення про права на контент, а не про пошук.
Чим GPTBot відрізняється від OAI-SearchBot?
Різні задачі й різні правила. GPTBot збирає сторінки для тренування моделей OpenAI. OAI-SearchBot будує індекс, з якого пошук ChatGPT бере відповіді з посиланнями. Блок GPTBot тримає ваш текст поза тренуванням і ніяк не впливає на те, чи може ChatGPT вас процитувати; блок OAI-SearchBot прибирає вас із пулу джерел. Сайти, які хотіли першого й написали одне суцільне правило, отримали друге випадково.
Чи має ChatGPT доступ до сайту, який блокує GPTBot?
Так, і це найкорисніше на цій сторінці. Пошук ChatGPT дістає сторінки через OAI-SearchBot для індексації і ChatGPT-User для живого запиту під час розмови. Дозвольте ці два, забороніть GPTBot — і ви відмовились від тренування, лишившись повністю цитованими.
Що таке ChatGPT-User?
Це фетчер, який спрацьовує від користувача. Він завантажує одну конкретну сторінку в момент, коли хтось питає про цей URL або модель заходить на нього за дорученням, — масового обходу сайту він не робить. Заблокуєте — ChatGPT не зможе відкрити вашу сторінку в діалозі навіть тому, хто сам вставив посилання.
Чим PerplexityBot відрізняється від Perplexity-User?
Той самий поділ «індексація проти живого запиту», що й в OpenAI. PerplexityBot будує індекс відповідей; Perplexity-User тягне сторінку на вимогу, коли користувач на неї вказує. Блок першого прибирає вас з індексованих джерел Perplexity. Блок лише другого лишає вас в індексі, але недосяжними в моменті.
Google-Extended керує пошуком Google чи AI Overviews?
Ні тим, ні тим. Google-Extended — це перемикач тренування для Gemini і Vertex AI. Googlebot обходить, ранжує і живить AI Overviews незалежно від того, що ви поставили для Google-Extended, — тож заборона не коштує вам нічого в пошуку і не дає нічого в AI-відповідях. Це рішення про права, а не важіль видимості.
Як дозволити ClaudeBot у robots.txt?
Дайте йому групу з User-agent: ClaudeBot і або жодного Disallow, що збігається, або явний Allow: /. Одна деталь, на якій спотикаються: Anthropic має три агенти — ClaudeBot для загального обходу, Claude-SearchBot для пошукового індексу, Claude-User для живих запитів. Правило лише для ClaudeBot лишає двох інших на тому, що каже wildcard-група.
Чи може Cloudflare блокувати AI-краулерів?
Так, і незалежно від robots.txt. Cloudflare та інші CDN- і WAF-шари вміють челенджити чи відхиляти ботів за user-agent, ASN або керованими наборами правил «блокувати AI-ботів». Саме тому цей інструмент пише «Дозволено robots.txt», а не «ШІ може дістати ваш сайт» — це різні твердження, і другого ця перевірка зробити не може.
Чому AI-бот отримує 403?
Майже ніколи не від robots.txt: той просить, а не забороняє, і нічого не повертає. 403 дає файрвол, bot-management на CDN, рейт-лімітер або серверне правило, що відхиляє user-agent чи діапазон IP. Якщо robots.txt тут проходить, а боти все одно бачать 403 — фікс у налаштуваннях WAF, не у файлі.
Як заблокувати тренувальних ботів, але лишити пошукових?
Заборонити тренувальних — GPTBot, Google-Extended, CCBot, Applebot-Extended, Meta-ExternalAgent — і дозволити тих, що дістають контент для відповіді: OAI-SearchBot, PerplexityBot, Claude-SearchBot, ChatGPT-User, Claude-User. Кожному — власна група User-agent. Правила не зливаються між групами, тож це працює лише коли кожен агент названий явно. Готовий варіант для копіювання є вище.
Чи може robots.txt заборонити індексацію?
Ні, і ця помилка дорого коштує. robots.txt керує обходом; заборонений URL усе одно може потрапити в індекс як голе посилання, якщо на нього ведуть інші сторінки, і виглядатиме гірше саме через відсутність контенту. Щоб тримати сторінку поза індексом, потрібен noindex у meta robots або заголовку X-Robots-Tag — а щоб його прочитати, краулеру треба дозволити її завантажити.
Як часто перевіряти доступ AI-краулерів?
На кожному деплої, що чіпає robots.txt, після будь-якої зміни CDN чи WAF і після міграції платформи — саме звідти беруться тихі блоки. Поза цим щокварталу достатньо, щоб ловити агентів, яких вендори додають без анонсу; реєстр за цим інструментом звіряється з документацією вендорів з тією ж періодичністю.
Це один шар. Аудит перевіряє всі пʼять.
Безкоштовний AI Visibility Audit проганяє 47 перевірок: доступ краулерів, llms.txt, JSON-LD, метадані, придатність контенту до витягу, сигнали бренду як сутності й поточну AI-видимість, — а тоді надсилає оцінку 0–100 із трьома фіксами, які рухають її найбільше.
Запустити безкоштовний AI Visibility Audit