Robots.txt: как управлять обходом сайта и не закрыть важные страницы
Что разрешать и запрещать поисковым роботам, чем robots.txt отличается от noindex и как проверять изменения.
Файл robots.txt задаёт правила обхода сайта для роботов, которые поддерживают этот протокол. Его размещают в корне конкретного хоста: например, https://example.ru/robots.txt. Правила другого поддомена или другого протокола нужно проверять отдельно.
Сначала определите задачу
Запрет обхода, исключение страницы из поиска и защита информации — разные задачи. Disallow ограничивает обход. Для исключения доступной страницы из индекса используют поддерживаемые поиском механизмы, например noindex. Закрытые документы защищают авторизацией: robots.txt публичен и не является системой контроля доступа.
Если робот не может открыть страницу из-за Disallow, он не прочитает размещённый на ней noindex. Поэтому сочетание двух ограничений нельзя применять автоматически, рассчитывая на быстрое удаление URL из поиска.
Минимальный пример
User-agent: *
Disallow: /internal-search/
Sitemap: https://example.ru/sitemap.xmlЭто учебный пример для условного сайта. Он запрещает обход раздела внутреннего поиска и указывает карту сайта. Адреса здесь нужно заменить на реальные. Правило не подходит для бездумного копирования на любой магазин: у каждого проекта своя структура.
Как подготовить изменения
- Сохраните текущий файл и выгрузите список основных страниц: главная, категории, товары, услуги, статьи.
- Отдельно соберите служебные адреса, фильтры, сортировки и поисковые результаты.
- Для каждой группы решите, нужен ли обход и должна ли страница участвовать в поиске.
- Проверьте, не затрагивает ли широкое правило полезные вложенные страницы.
- Убедитесь, что необходимые для отображения страницы стили и скрипты остаются доступны.
Проверка после публикации
Откройте robots.txt без авторизации. Вместо HTML страницы ошибки должен возвращаться текстовый файл. Проверьте важные URL в инструментах вебмастеров и зафиксируйте дату изменения. Затем наблюдайте за обходом и индексированием: эффект не обязан появляться сразу.
Для магазина с фильтрами заведите небольшой набор контрольных адресов: обычная категория, полезная посадочная страница фильтра, сортировка и карточка товара. Повторяйте проверку после изменений каталога и SEO-модулей. Это дешевле, чем искать причину выпадения целого раздела.
На тестовом сайте отдельно проверьте ограничения перед запуском. Перенос Disallow: / с dev-версии на рабочий домен способен закрыть обход всего проекта.
Официальная справка по теме: документация и рекомендации.
