Какие страницы должны быть в индексе?
Не каждый адрес должен попадать в поиск, поэтому сначала решите, какие страницы действительно должны там быть: услуги, ключевые категории, руководства, которые отвечают на вопросы покупателей. Возьмите небольшую выборку таких страниц, лучше всего из разных шаблонов, и проверьте у каждой код ответа, редиректы, директивы для роботов и тег canonical — это основа технического SEO.
Инструмент проверки URL в Search Console показывает и версию, которую Google проиндексировал в последний раз, и результат проверки страницы в реальном времени. Сравните их: возможно, проблема уже исправлена, а возможно, она появилась уже после последнего сканирования.
Если вы нашли директиву noindex или неожиданный canonical, выясните, откуда они берутся: из HTML-кода страницы, из HTTP-заголовка или из общего шаблона. И не меняйте правила для всего сайта по состоянию одного адреса — сначала убедитесь, что проблема повторяется во всей выборке.
Для выборки удобно завести простую таблицу: адрес, шаблон, код ответа, директивы, canonical и статус в Search Console. Она быстро показывает закономерности — например, что проблема есть у всех страниц одного шаблона и больше нигде.
Может ли Google добраться до страницы?
Выясните, как робот может обнаружить адрес по обычным ссылкам. Карта сайта (sitemap) помогает, но не заменяет продуманную навигацию: страница, которая есть только в sitemap, почти не получает поддержки от остального сайта.
Проверьте, что на страницу ведут ссылки из подходящей категории или раздела услуг, что эти ссылки указывают на конечный адрес, а не на адрес с редиректом, и что сервер отвечает стабильно, без периодических ошибок и тайм-аутов. Подсказки даёт отчёт об индексировании страниц в Search Console: статус «Обнаружена, не проиндексирована» означает, что Google знает адрес, но ещё не сканировал его, а «Просканирована, но пока не проиндексирована» — что страницу загрузили, но пока решили не включать в индекс.
Если содержимое зависит от JavaScript, проверьте, что на самом деле видно после отрисовки: проверка в реальном времени показывает итоговый HTML и скриншот. Текст, который появляется только после клика, робот может вообще не увидеть.
Не дубль ли это?
Когда с доступом всё в порядке, сравните страницу с похожими адресами на сайте. Ищите шаблоны, которые повторяются без существенных различий, пустые категории и несколько адресов с одним и тем же содержимым. Если Search Console сообщает, что Google выбрал другой канонический адрес, а не указанный вами, скорее всего, он нашёл именно такой дубль.
Решите, какая страница должна быть основной по этой теме, и объединяйте осознанно: перенесите содержимое, настройте редирект или canonical и обновите внутренние ссылки, чтобы они вели туда же. Пустые и почти пустые страницы — отдельный случай: прежде чем добиваться их индексации, решите, нужны ли они вообще или честнее закрыть их от индекса, пока не появится содержимое.
Исправив конкретный дефект, запросите индексирование для одного показательного адреса и следите за результатом в ближайшие недели. И сохраняйте реалистичные ожидания: ни отправка адреса на проверку, ни безупречная техническая проверка не гарантируют, что страница попадёт в поиск.
Последовательность диагностики индексации
Шаблон, который можно адаптировать под ваш проект.
| Вопрос | Какие данные собрать |
|---|---|
| Можно ли обнаружить страницу? | Внутренние ссылки по теме и актуальная запись в sitemap. |
| Можно ли её загрузить? | Код ответа после редиректов, запреты в robots.txt и стабильность сервера. |
| Разрешена ли индексация нужной версии? | Теги noindex и canonical и то, что видно после загрузки скриптов. |
| Стоит ли её индексировать? | Есть ли у страницы своя задача, чем она отличается от похожих, нет ли дублей. |
Чек-лист: индексация
- Проверьте небольшую выборку адресов из разных шаблонов.
- У каждого адреса проверьте итоговый ответ, директивы и canonical.
- Сравните проиндексированную версию с проверкой в реальном времени в Search Console.
- Убедитесь, что внутренние ссылки ведут на конечный адрес.
- Записывайте каждое изменение и проверяйте его результат в Search Console.
Пример: новая страница услуги не попадает в индекс
Новая страница услуги отдаёт код 200 и не закрыта директивой noindex, но в поиске её нет. Диагностика показывает, что все внутренние ссылки ведут на старый адрес, с которого настроен редирект на новую страницу, а в sitemap тоже до сих пор указан старый адрес.
Решение — заменить ссылки в тексте и запись в sitemap на конечный адрес, проверить, как отрисовывается страница, и заново оценить, обнаруживает ли её робот. Хороший диагноз называет конкретный дефект — в данном случае ссылки на адрес с редиректом, — а не расплывчатую «проблему с индексацией». Тот же подход SEO-аудит применяет ко всему сайту.
Частые ошибки
- Менять правила для всего сайта из-за одного URL. Сначала проверьте выборку из нескольких шаблонов: одна странная страница редко оправдывает глобальные изменения.
- Полагаться только на карту сайта. Страница, которая есть в sitemap, но на которую не ссылаются тематические разделы, получает мало поддержки от остального сайта.
- Ссылаться на адреса с редиректом. Внутренние ссылки и записи в sitemap должны вести на конечный URL, а не на адрес, который на него перенаправляет.
- Снова и снова запрашивать индексирование. Повторные запросы не устраняют причину. Найдите дефект, исправьте его и только потом один раз запросите индексирование.
Частые вопросы
Как быстро Google индексирует новую страницу?
Зависит от сайта: как часто Google его обходит, насколько хорошо страница перелинкована и есть ли в ней что-то своё. Фиксированного срока нет. Ускоряют индексацию понятная ссылка из тематического раздела, правильная запись в sitemap, быстрый и стабильный сервер и контент, который не повторяет другие страницы.
Что значит «Обнаружена, не проиндексирована»?
Google знает о существовании URL, но ещё не сканировал его. Часто это указывает на слабую внутреннюю перелинковку, большое количество похожих малоценных адресов, которые конкурируют за внимание, или медленный сервер. Усильте ссылки на страницу и уберите дубли, прежде чем запрашивать индексирование.
Помогает ли запрос на индексирование в Search Console?
Он просит Google просканировать страницу раньше — это полезно после того, как вы исправили конкретный дефект. Попадание в индекс он не гарантирует и не отменяет проблем вроде дублей или noindex. Отправляйте запрос один раз на каждую исправленную страницу и следите за результатом.
Исправит ли индексацию карта сайта?
Карта сайта помогает Google находить адреса и понимать, какие из них вы считаете важными, но не может сделать страницу допустимой к индексу или достойной его. Если страница закрыта, канонизирована на другой адрес или слишком похожа на остальные, запись в sitemap этого не изменит. Техническое SEO обычно начинается со ссылок и дублей, а не с карты сайта.
