SEO-чек

Проверка robots.txt

Проверьте, не блокирует ли robots.txt важные разделы и объявлен ли sitemap.

Разбор правил User-agent: *, Disallow, строки Sitemap и типичных ошибок F-10 / G-07.

Что увидите за ~60 секунд

Правила robots.txt, Disallow, sitemap и сбои пороговых проверок — не симулятор пути.

3 из бесплатных сканов сегодня

Бесплатный аудит · без регистрации

Бесплатно — без регистрацииРезультат за ~60 секундАнализ по выборкеТолько white-hat проверки

Ошибки robots.txt

  • Слишком широкий Disallow закрыл весь раздел
  • Нет строки Sitemap в robots.txt
  • Disallow без noindex на живых страницах с кодом 200

Что проверяем

Загрузка robots.txt, правила Disallow, ссылки на sitemap и проверка «запрет без noindex».

Как читать отчёт по robots.txt

Отчёт показывает, какие разделы закрыты для краулера и есть ли sitemap в robots.txt. Это не симулятор «можно ли проиндексировать URL» для всех ботов.

  1. Проверьте, не закрыт ли Disallow новый шаблонный раздел — частая ошибка перед массовой публикацией.
  2. Убедитесь, что строка Sitemap указывает на актуальную карту — иначе новые URL не попадут в выборку краулера.
  3. Если URL запрещён в robots, но отдаёт 200 без noindex — это риск «скрытого» контента; используйте noindex, а не robots для снятия из индекса (F-10).

Что внутри отчёта

Вкладка «Проблемы» с приоритетными находками аудита
Иллюстративный preview продукта — вымышленный домен

Частые вопросы

Про выборку, лимиты guest-проверок и типичные ограничения сервиса.

Тест произвольного URL?+

Анализируем правила для User-agent: * и заблокированные URL из sitemap — не симулятор для всех ботов.

Замена Вебмастера?+

Нет — быстрая гигиена до и после изменений robots.txt.

Можно проверить staging?+

Да, если URL публично доступен и у вас есть право теста.

Проверка бесплатная?+

Да — в guest-аудите.

Тот же движок, отдельные страницы под частые вопросы о шаблонных сайтах.

Из статей

Инструменты · На главную · Как это работает · Тарифы