1. Главная
  2. Блог
  3. robots.txt для сайта: что закрыть, а что…

robots.txt для сайта: что закрыть, а что открыть

robots.txt — маленький текстовый файл, который говорит поисковым роботам, куда на сайте ходить не нужно. Одна лишняя строка в нём может убрать из поиска весь сайт. Разбираем, как он устроен и что в нём должно быть у малого бизнеса.

Блог · Штатно — студия сайтов, продвижения и ИИ-сотрудников для малого бизнеса ·

Что такое robots.txt и где он лежит

Это обычный текстовый файл в корне сайта: вашсайт.ru/robots.txt. Откройте этот адрес в браузере — если файл есть, вы увидите его содержимое. Поисковые роботы заходят на этот адрес первым делом и читают правила.

Важно понимать, что robots.txt:

  • управляет обходом, а не показом — он просит робота не заходить на страницы;
  • не защищает данные — закрытая в нём страница всё равно открывается по прямой ссылке, а сам файл может прочитать любой;
  • не гарантирует удаление из поиска в Google — если на закрытую страницу ведут ссылки, Google может показать её адрес в выдаче без описания. Чтобы убрать страницу из поиска надёжно, используют мета-тег noindex.

Правила robots.txt соблюдают поисковые роботы Яндекса и Google. Сторонние боты могут их игнорировать, поэтому файл — инструмент управления поиском, а не защита от копирования.

Если файла нет совсем, роботы считают, что можно обходить всё. Это не катастрофа для маленького сайта, но в поиск могут попасть служебные страницы.

Как устроены правила

Файл состоит из блоков. Каждый блок начинается со строки User-agent — для какого робота правила — и содержит правила Disallow (запретить) и Allow (разрешить).

  • User-agent: * — правила для всех роботов;
  • User-agent: Yandex — только для роботов Яндекса;
  • Disallow: /admin/ — не заходить в раздел /admin/ и всё, что внутри;
  • Disallow: /*?sort= — звёздочка означает любые символы: закрыть все адреса с параметром сортировки;
  • Allow: /admin/uploads/ — разрешить конкретную папку внутри закрытой;
  • Sitemap: https://вашсайт.ru/sitemap.xml — где лежит карта сайта.

Если для робота есть отдельный блок, он читает только его, а общий блок со звёздочкой игнорирует. Поэтому, если вы делаете отдельный блок для Яндекса, повторите в нём все нужные запреты.

Правила чувствительны к регистру букв в адресах и к слешам. Disallow: /Catalog/ и Disallow: /catalog/ — разные правила. Пустая строка Disallow: без значения означает «разрешено всё». Строки с решёткой — комментарии, роботы их пропускают.

Директива Host, которую раньше указывали для Яндекса, больше не используется: главное зеркало Яндекс определяет по 301-редиректу. Если она есть в файле, её можно убрать.

Что закрывать на сайте малого бизнеса

Закрывать стоит страницы, которые не нужны людям из поиска и создают дубли:

  • админку и служебные разделы: вход в панель управления, системные папки движка;
  • корзину, оформление заказа, личный кабинет;
  • результаты поиска по сайту;
  • страницы сортировки, фильтров и сравнения товаров, если они не оптимизированы под поиск;
  • версии для печати;
  • адреса с метками рекламы и служебными параметрами;
  • тестовые страницы и черновики.

Если сомневаетесь, нужна ли страница в поиске, задайте простой вопрос: будет ли человек рад попасть на неё из Яндекса? Страница услуги — да. Корзина с пустым списком товаров или результаты поиска по сайту — нет.

Не закрывайте файлы стилей, скриптов и картинок: роботу они нужны, чтобы понять, как страница выглядит на телефоне. Не закрывайте страницы услуг, цены, контакты, статьи и кейсы — именно они приводят клиентов.

Пример файла и директива Clean-param

Примерный robots.txt для сайта услуг на WordPress:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /search/
Disallow: /*?replytocom=

User-agent: Yandex
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /search/
Clean-param: utm_source&utm_medium&utm_campaign&utm_content&utm_term

Sitemap: https://вашсайт.ru/sitemap.xml

Обратите внимание: в блоке для Яндекса правила повторены полностью, потому что робот Яндекса читает только свой блок. В конце — ссылка на карту сайта, она относится ко всему файлу, а не к отдельному блоку.

Это шаблон, а не готовый файл для копирования: адреса служебных разделов зависят от движка и плагинов. Перед публикацией проверьте его на своих адресах.

Clean-param — директива, которую понимает Яндекс. Она говорит роботу, что адреса, отличающиеся только перечисленными параметрами, — это одна и та же страница. Так из поиска уходят дубли с метками рекламы, а робот не тратит время на их обход. Google эту директиву не использует, для него дубли закрывают тегом canonical.

Меняйте файл осторожно: сохраните старую версию, внесите правку и сразу проверьте её в Вебмастере. Ошибка в одной строке может закрыть важный раздел, а заметите вы это только по падению числа страниц в поиске через несколько дней.

На Tilda robots.txt формируется автоматически, отдельные страницы закрываются от индексации в настройках страницы. В WordPress файл можно править через SEO-плагин или загрузить вручную в корень сайта.

Частые ошибки

  1. Disallow: / после разработки. Сайт закрыли на время работ и забыли открыть. Весь сайт вне поиска.
  2. Закрыты стили и скрипты. Робот видит страницу «голой» и может решить, что она неудобна для телефонов.
  3. Закрыт раздел целиком из-за одной строки. Например, Disallow: /uslugi без слеша на конце закрывает и /uslugi/, и всё, что начинается с этих букв.
  4. Пытаются убрать страницу из поиска через robots.txt. Если страница уже в индексе, надёжнее поставить noindex и дать роботу её прочитать.
  5. Файл отдаёт ошибку. Если по адресу robots.txt сервер отвечает ошибкой 5xx, роботы могут на время приостановить обход сайта.
  6. Указана карта сайта со старым адресом или с http вместо https.

Как проверить robots.txt

В Яндекс Вебмастере откройте «Инструменты» → «Анализ robots.txt». Вебмастер загрузит текущий файл, покажет ошибки в синтаксисе, а внизу можно вставить список адресов и посмотреть, какие из них разрешены, а какие закрыты. Обязательно вставьте адреса главной, услуг, цен и контактов — все они должны быть разрешены.

Проверяйте файл после каждого обновления движка, смены темы, установки SEO-плагина и переезда на другой хостинг: в этих случаях robots.txt нередко перезаписывается стандартным содержимым. Раз в квартал просто откройте вашсайт.ru/robots.txt и посмотрите, не появилось ли там неожиданных запретов.

Быстрая проверка без Вебмастера — бесплатная проверка индексации: она покажет, не закрыт ли сайт в robots.txt и мета-тегами, и найдёт карту сайта. Если сайт или его разделы пропали из поиска, загляните также в статью «Сайт не индексируется Яндексом».

Если robots.txt нужно собрать с нуля под ваш движок и при этом разобраться с дублями, canonical и картой сайта, это укладывается в экспресс-доработку за 9 990 ₽: до 10 исправлений из проверки и одна доработка на выбор за 3 рабочих дня, с отчётом «было — стало».

Частые вопросы

Обязательно ли нужен robots.txt?
Нет, без него сайт тоже индексируется. Но файл помогает закрыть служебные страницы и дубли и указать роботам карту сайта, поэтому его стоит сделать.
Можно ли спрятать страницу от людей через robots.txt?
Нет. Файл просит роботов не заходить на страницу, но сама страница открывается по прямой ссылке. Закрытые данные защищают паролем.
Как быстро Яндекс учтёт изменения в robots.txt?
Яндекс регулярно перечитывает файл, обычно изменения учитываются в течение нескольких дней. Проверить, как он видит файл, можно в Вебмастере.

Не закрыт ли ваш сайт от поиска?Бесплатная проверка покажет правила robots.txt, мета-теги noindex и карту сайта.

Проверить индексацию

Бесплатный разбор сайтаЗа 2 дня найдём 3 точки роста вашего сайта. Берём не больше 3 разборов в неделю. Или просто напишите нам — ответим сами.