SEO-чек
Проверка robots.txt
Проверьте, не блокирует ли robots.txt важные разделы и объявлен ли sitemap.
Разбор правил User-agent: *, Disallow, строки Sitemap и типичных ошибок F-10 / G-07.
Что увидите за ~60 секунд
Правила robots.txt, Disallow, sitemap и сбои пороговых проверок — не симулятор пути.
Ошибки robots.txt
- Слишком широкий Disallow закрыл весь раздел
- Нет строки Sitemap в robots.txt
- Disallow без noindex на живых страницах с кодом 200
Что проверяем
Загрузка robots.txt, правила Disallow, ссылки на sitemap и проверка «запрет без noindex».
Как читать отчёт по robots.txt
Отчёт показывает, какие разделы закрыты для краулера и есть ли sitemap в robots.txt. Это не симулятор «можно ли проиндексировать URL» для всех ботов.
- Проверьте, не закрыт ли Disallow новый шаблонный раздел — частая ошибка перед массовой публикацией.
- Убедитесь, что строка Sitemap указывает на актуальную карту — иначе новые URL не попадут в выборку краулера.
- Если URL запрещён в robots, но отдаёт 200 без noindex — это риск «скрытого» контента; используйте noindex, а не robots для снятия из индекса (F-10).
Что внутри отчёта

Частые вопросы
Про выборку, лимиты guest-проверок и типичные ограничения сервиса.
Тест произвольного URL?+
Анализируем правила для User-agent: * и заблокированные URL из sitemap — не симулятор для всех ботов.
Замена Вебмастера?+
Нет — быстрая гигиена до и после изменений robots.txt.
Можно проверить staging?+
Да, если URL публично доступен и у вас есть право теста.
Проверка бесплатная?+
Да — в guest-аудите.
Специализированные проверки
Тот же движок, отдельные страницы под частые вопросы о шаблонных сайтах.
Из статей
13 мин
robots.txt для Яндекса и Google
Директива Disallow, Sitemap в robots.txt и типовые ошибки на шаблонных проектах.
Читать →