Сайт не индексируется Яндексом: 9 причин и что делать
Сайт работает, а в поиске Яндекса его нет или там только главная. Обычно причина одна из девяти, и почти все видны в Яндекс Вебмастере за полчаса. Разбираем по порядку: от самых частых к редким.
Сначала проверьте, что именно не индексируется
«Сайт не индексируется» бывает в двух вариантах, и лечатся они по-разному:
- В поиске нет ничего. Наберите в Яндексе
site:вашсайт.ru. Если результатов ноль — проблема на уровне всего сайта: доступ закрыт, сайт новый или есть нарушение. - В поиске только часть страниц. Главная находится, а услуги и статьи — нет. Тогда причина обычно в конкретных страницах: дубли, мало текста, нет ссылок на них.
Точную картину даёт Яндекс Вебмастер. Если сайт туда ещё не добавлен, начните с этого: войдите на webmaster.yandex.ru, нажмите «Добавить сайт» и подтвердите права — мета-тегом, HTML-файлом или DNS-записью. Данные появятся не сразу, обычно в течение нескольких дней.
Быстрый вариант без Вебмастера — наша бесплатная проверка индексации: она смотрит robots.txt, мета-теги noindex, ответ сервера и карту сайта и показывает, что мешает роботу.
Причины 1–3: сайт закрыт от робота
- Запрет в robots.txt. Откройте
вашсайт.ru/robots.txt. СтрокаDisallow: /в блокеUser-agent: *илиUser-agent: Yandexзакрывает весь сайт. Так часто оставляют после разработки. Проверить конкретную страницу можно в Вебмастере: «Инструменты» → «Анализ robots.txt», внизу поле для списка адресов. - Мета-тег noindex. В коде страницы есть
<meta name="robots" content="noindex">. В WordPress это включает галочка «Попросить поисковые системы не индексировать сайт» в «Настройки» → «Чтение». В Tilda проверьте настройки сайта и страниц в разделе SEO: там есть запрет индексации. - Сайт закрыт паролем или доступен только из одной страны. Если хостинг или защита от ботов отдаёт роботу Яндекса страницу проверки или ошибку 403, робот не увидит содержимое. Посмотрите в Вебмастере «Инструменты» → «Проверка ответа сервера»: должен быть код 200 и ваш текст.
Почему так часто? Пока сайт делают, его закрывают от поиска, чтобы в выдачу не попали черновики. При запуске про запрет забывают, и сайт месяцами работает «невидимкой». Если сайт сдали недавно, проверьте эти три пункта первыми.
Эти три причины встречаются чаще всего и исправляются за минуты. После исправления отправьте главные страницы на «Переобход страниц» в разделе «Индексирование».
Причины 4–6: робот приходит, но не может работать
- Ошибки сервера. Если сайт часто отвечает 5xx или долго думает, робот откладывает обход. Смотрите «Индексирование» → «Статистика обхода»: там видно, какие коды получал робот. Ориентир по скорости — ответ сервера до 0,8 секунды.
- Нет карты сайта или в ней ошибки. Робот находит страницы по ссылкам и по sitemap.xml. Если внутренних ссылок на страницу нет, а в карте её тоже нет, робот может о ней не узнать. Карта добавляется в «Индексирование» → «Файлы Sitemap».
- Страницы собираются скриптами. Если текст и ссылки появляются только после работы JavaScript, робот может увидеть пустую страницу. Проверьте через «Проверка ответа сервера»: если в ответе нет вашего текста, проблема здесь.
Отдельно посмотрите на хостинг. Дешёвый тариф, на котором сайт иногда «лежит» по ночам, владелец может не замечать месяцами, а робот замечает. Если в статистике обхода регулярно встречаются ошибки 5xx, стоит поговорить с хостингом или сменить тариф.
Эти причины — уже техническая работа: настройки хостинга, генерация карты сайта, иногда переделка шаблона.
Причины 7–9: Яндекс видит страницы, но не берёт в поиск
- Дубли и зеркала. Сайт открывается и с www, и без, и по http, и по https — для робота это разные адреса. Плюс дубли от фильтров, меток и параметров. Яндекс оставляет одну версию, а остальные исключает. Нужен 301-редирект на одно главное зеркало и тег canonical.
- Малоценные страницы. В Вебмастере в «Индексирование» → «Страницы в поиске» → «Исключённые» можно встретить статус «Малоценная или маловостребованная страница». Обычно это страницы, где мало своего текста или текст повторяет другие страницы. Помогают уникальное описание, цены, примеры работ, ответы на вопросы.
- Нарушения и безопасность. Загляните в «Диагностика» → «Безопасность и нарушения». Вирус на сайте, скрытый текст или накрутка поведенческих факторов приводят к ограничениям. Если там пусто — эту причину можно исключить.
Где всё это видно в Вебмастере: короткая карта
| Раздел Вебмастера | Что там смотреть |
|---|---|
| Диагностика → Диагностика сайта | Критичные ошибки: сайт недоступен, robots.txt запрещает обход, нет карты |
| Индексирование → Страницы в поиске | Сколько страниц в поиске и почему исключены остальные |
| Индексирование → Проверка статуса URL | Знает ли Яндекс конкретную страницу и что с ней |
| Индексирование → Статистика обхода | Какие ответы получал робот: 200, 404, 5xx |
| Индексирование → Переобход страниц | Попросить робота зайти на страницу после исправлений |
Начинайте с «Диагностики сайта»: если там есть критичная ошибка, остальное можно пока не смотреть. Затем откройте «Страницы в поиске», переключитесь на «Исключённые» и отсортируйте по статусу. Самые частые статусы — «Дубль», «Запрещено в robots.txt», «Ошибка HTTP», «Малоценная страница». Каждый из них указывает на одну из причин выше.
Названия разделов иногда меняются, но логика остаётся: диагностика, страницы в поиске, обход.
Сколько ждать после исправлений
Новый сайт или исправленная страница попадают в поиск не мгновенно. Робот должен зайти, скачать страницу и решить, включать ли её. Ускорить можно так:
- отправить важные страницы в «Переобход страниц» — дневной лимит виден прямо в этом разделе;
- добавить или обновить sitemap.xml в Вебмастере;
- поставить ссылки на новые страницы с главной и из меню;
- подключить IndexNow, если движок это умеет, — тогда сайт сам сообщает Яндексу о новых адресах.
Чего делать не нужно: покупать «ускорение индексации», регистрировать сайт в сотне каталогов и массово отправлять одни и те же страницы на переобход каждый день. Это не помогает, а с сомнительными каталогами может навредить.
Если через пару недель после исправлений ничего не изменилось, проверьте статус конкретного адреса в «Проверке статуса URL»: там будет написано, что робот увидел.
Если разбираться самому некогда
Причины 1–3 владелец обычно находит сам за вечер. Причины 4–9 требуют доступа к хостингу, коду и опыта: где-то нужно настроить редиректы, где-то переписать тексты, где-то собрать нормальную карту сайта.
Порядок действий, если хочется сделать всё по шагам: добавить сайт в Вебмастер, проверить «Диагностику», открыть robots.txt и код главной на noindex, проверить ответ сервера, добавить карту сайта, затем разобрать исключённые страницы. Обычно уже на третьем-четвёртом шаге причина находится.
Для этого у нас есть экспресс-доработка за 9 990 ₽: исправляем до 10 проблем из проверки плюс одна доработка на выбор, срок — 3 рабочих дня, в конце отчёт «было — стало». Если вопрос шире индексации и сайт в целом плохо находится, посмотрите на продвижение.
Частые вопросы
Сколько времени Яндекс индексирует новый сайт?
Почему в Яндексе есть только главная страница?
Нужно ли платить Яндексу за индексацию?
Яндекс не видит сайт?Бесплатная проверка покажет, мешает ли роботу robots.txt, noindex, ответ сервера или карта сайта.
Проверить индексациюБесплатный разбор сайтаЗа 2 дня найдём 3 точки роста вашего сайта. Берём не больше 3 разборов в неделю. Или просто напишите нам — ответим сами.