robots.txt для сайта: что закрыть, а что открыть
robots.txt — маленький текстовый файл, который говорит поисковым роботам, куда на сайте ходить не нужно. Одна лишняя строка в нём может убрать из поиска весь сайт. Разбираем, как он устроен и что в нём должно быть у малого бизнеса.
Что такое robots.txt и где он лежит
Это обычный текстовый файл в корне сайта: вашсайт.ru/robots.txt. Откройте этот адрес в браузере — если файл есть, вы увидите его содержимое. Поисковые роботы заходят на этот адрес первым делом и читают правила.
Важно понимать, что robots.txt:
- управляет обходом, а не показом — он просит робота не заходить на страницы;
- не защищает данные — закрытая в нём страница всё равно открывается по прямой ссылке, а сам файл может прочитать любой;
- не гарантирует удаление из поиска в Google — если на закрытую страницу ведут ссылки, Google может показать её адрес в выдаче без описания. Чтобы убрать страницу из поиска надёжно, используют мета-тег noindex.
Правила robots.txt соблюдают поисковые роботы Яндекса и Google. Сторонние боты могут их игнорировать, поэтому файл — инструмент управления поиском, а не защита от копирования.
Если файла нет совсем, роботы считают, что можно обходить всё. Это не катастрофа для маленького сайта, но в поиск могут попасть служебные страницы.
Как устроены правила
Файл состоит из блоков. Каждый блок начинается со строки User-agent — для какого робота правила — и содержит правила Disallow (запретить) и Allow (разрешить).
User-agent: *— правила для всех роботов;User-agent: Yandex— только для роботов Яндекса;Disallow: /admin/— не заходить в раздел /admin/ и всё, что внутри;Disallow: /*?sort=— звёздочка означает любые символы: закрыть все адреса с параметром сортировки;Allow: /admin/uploads/— разрешить конкретную папку внутри закрытой;Sitemap: https://вашсайт.ru/sitemap.xml— где лежит карта сайта.
Если для робота есть отдельный блок, он читает только его, а общий блок со звёздочкой игнорирует. Поэтому, если вы делаете отдельный блок для Яндекса, повторите в нём все нужные запреты.
Правила чувствительны к регистру букв в адресах и к слешам. Disallow: /Catalog/ и Disallow: /catalog/ — разные правила. Пустая строка Disallow: без значения означает «разрешено всё». Строки с решёткой — комментарии, роботы их пропускают.
Директива Host, которую раньше указывали для Яндекса, больше не используется: главное зеркало Яндекс определяет по 301-редиректу. Если она есть в файле, её можно убрать.
Что закрывать на сайте малого бизнеса
Закрывать стоит страницы, которые не нужны людям из поиска и создают дубли:
- админку и служебные разделы: вход в панель управления, системные папки движка;
- корзину, оформление заказа, личный кабинет;
- результаты поиска по сайту;
- страницы сортировки, фильтров и сравнения товаров, если они не оптимизированы под поиск;
- версии для печати;
- адреса с метками рекламы и служебными параметрами;
- тестовые страницы и черновики.
Если сомневаетесь, нужна ли страница в поиске, задайте простой вопрос: будет ли человек рад попасть на неё из Яндекса? Страница услуги — да. Корзина с пустым списком товаров или результаты поиска по сайту — нет.
Не закрывайте файлы стилей, скриптов и картинок: роботу они нужны, чтобы понять, как страница выглядит на телефоне. Не закрывайте страницы услуг, цены, контакты, статьи и кейсы — именно они приводят клиентов.
Пример файла и директива Clean-param
Примерный robots.txt для сайта услуг на WordPress:
User-agent: *Disallow: /wp-admin/Allow: /wp-admin/admin-ajax.phpDisallow: /?s=Disallow: /search/Disallow: /*?replytocom=User-agent: YandexDisallow: /wp-admin/Allow: /wp-admin/admin-ajax.phpDisallow: /?s=Disallow: /search/Clean-param: utm_source&utm_medium&utm_campaign&utm_content&utm_termSitemap: https://вашсайт.ru/sitemap.xml
Обратите внимание: в блоке для Яндекса правила повторены полностью, потому что робот Яндекса читает только свой блок. В конце — ссылка на карту сайта, она относится ко всему файлу, а не к отдельному блоку.
Это шаблон, а не готовый файл для копирования: адреса служебных разделов зависят от движка и плагинов. Перед публикацией проверьте его на своих адресах.
Clean-param — директива, которую понимает Яндекс. Она говорит роботу, что адреса, отличающиеся только перечисленными параметрами, — это одна и та же страница. Так из поиска уходят дубли с метками рекламы, а робот не тратит время на их обход. Google эту директиву не использует, для него дубли закрывают тегом canonical.
Меняйте файл осторожно: сохраните старую версию, внесите правку и сразу проверьте её в Вебмастере. Ошибка в одной строке может закрыть важный раздел, а заметите вы это только по падению числа страниц в поиске через несколько дней.
На Tilda robots.txt формируется автоматически, отдельные страницы закрываются от индексации в настройках страницы. В WordPress файл можно править через SEO-плагин или загрузить вручную в корень сайта.
Частые ошибки
Disallow: /после разработки. Сайт закрыли на время работ и забыли открыть. Весь сайт вне поиска.- Закрыты стили и скрипты. Робот видит страницу «голой» и может решить, что она неудобна для телефонов.
- Закрыт раздел целиком из-за одной строки. Например,
Disallow: /uslugiбез слеша на конце закрывает и/uslugi/, и всё, что начинается с этих букв. - Пытаются убрать страницу из поиска через robots.txt. Если страница уже в индексе, надёжнее поставить noindex и дать роботу её прочитать.
- Файл отдаёт ошибку. Если по адресу robots.txt сервер отвечает ошибкой 5xx, роботы могут на время приостановить обход сайта.
- Указана карта сайта со старым адресом или с http вместо https.
Как проверить robots.txt
В Яндекс Вебмастере откройте «Инструменты» → «Анализ robots.txt». Вебмастер загрузит текущий файл, покажет ошибки в синтаксисе, а внизу можно вставить список адресов и посмотреть, какие из них разрешены, а какие закрыты. Обязательно вставьте адреса главной, услуг, цен и контактов — все они должны быть разрешены.
Проверяйте файл после каждого обновления движка, смены темы, установки SEO-плагина и переезда на другой хостинг: в этих случаях robots.txt нередко перезаписывается стандартным содержимым. Раз в квартал просто откройте вашсайт.ru/robots.txt и посмотрите, не появилось ли там неожиданных запретов.
Быстрая проверка без Вебмастера — бесплатная проверка индексации: она покажет, не закрыт ли сайт в robots.txt и мета-тегами, и найдёт карту сайта. Если сайт или его разделы пропали из поиска, загляните также в статью «Сайт не индексируется Яндексом».
Если robots.txt нужно собрать с нуля под ваш движок и при этом разобраться с дублями, canonical и картой сайта, это укладывается в экспресс-доработку за 9 990 ₽: до 10 исправлений из проверки и одна доработка на выбор за 3 рабочих дня, с отчётом «было — стало».
Частые вопросы
Обязательно ли нужен robots.txt?
Можно ли спрятать страницу от людей через robots.txt?
Как быстро Яндекс учтёт изменения в robots.txt?
Не закрыт ли ваш сайт от поиска?Бесплатная проверка покажет правила robots.txt, мета-теги noindex и карту сайта.
Проверить индексациюБесплатный разбор сайтаЗа 2 дня найдём 3 точки роста вашего сайта. Берём не больше 3 разборов в неделю. Или просто напишите нам — ответим сами.