Сначала: проверьте, есть ли проблема
Прежде чем искать причину, убедитесь, что проблема действительно существует. Введите в Google:
Если результатов нет или их значительно меньше, чем страниц на сайте — читайте дальше.
Также откройте Google Search Console → Индексирование → Страницы. Там Google сам объясняет, почему каждая страница не проиндексирована.
12 причин и решения
Тег noindex на странице
Самая распространенная причина «невидимости» в Google. В коде страницы есть тег, который прямо запрещает индексацию:
Такой тег мог появиться по ошибке во время разработки или если CMS автоматически устанавливает noindex для определенных типов страниц (теги, категории, страницы поиска).
Проверьте код каждой страницы (Ctrl+U в браузере, ищите «noindex»). В WordPress — проверьте Yoast SEO или RankMath, настройки видимости для каждого типа записи.
Блокировка в robots.txt
Файл robots.txt может блокировать Googlebot от обхода целых разделов сайта. Откройте yoursite.com/robots.txt и ищите строки типа:
Если строка Disallow: / — это блокирует весь сайт. Удалите или замените на Disallow: (пустое значение — разрешает все). Проверьте через инструмент тестирования robots.txt в Search Console.
Сайт защищен паролем или на техническом обслуживании
Если сайт требует авторизации или возвращает код 503 — Googlebot не может получить доступ к контенту. Это типично для новых сайтов, которые запускаются «тихо».
Убедитесь, что сайт доступен без авторизации. Проверьте через Google Search Console → Инспекция URL → «Проверить доступный URL».
Низкий бюджет обхода — Googlebot не успевает
Каждому сайту Google выделяет определенный «бюджет обхода» — количество страниц, которые он готов обходить за определенное время. Для новых и небольших сайтов этот бюджет минимален.
Если сайт имеет тысячи страниц или часто изменяется — Googlebot просто не успевает обходить все URL.
Используйте Google Indexing API для приоритетных страниц. Удалите из карты сайта «мусорные» URL (теги с 1 статьей, пустые категории, поисковые запросы). Проверьте скорость сайта — медленный сайт получает меньший бюджет обхода.
Дублирующий контент и канонический
Если несколько URL имеют одинаковый или очень похожий контент, Google выбирает один «канонический» URL и может игнорировать другие. Типичные проблемы:
- HTTP и HTTPS версии сайта без редиректа
- www и non-www версии
- Страницы с трейлинг-слешем и без: /page и /page/
- Параметры URL: /page?utm_source=... вместо /page
Установите канонический тег на всех страницах, указывающий на «основную» версию. Настройте 301-редиректы. В Search Console проверьте отчет «Обнаружено, но не проиндексировано» — там часто есть информация о дубликатах.
Тонкий или низкокачественный контент
Google может отказаться индексировать страницы с малым количеством уникального текста. Под угрозой:
- Страницы с менее чем 300–500 словами
- Автоматически сгенерированный контент
- Шаблонные страницы с минимальным уникальным содержимым (теги, месяцы)
- Контент, скопированный с других сайтов
Либо значительно улучшите контент, либо закройте такие страницы тегом noindex. Лучше иметь 50 качественных проиндексированных страниц, чем 500 «невидимых».
Ускорьте индексацию с IndexFast
Когда устраните технические проблемы — отправьте все URL напрямую через Google Indexing API. Результат увидите через несколько часов, а не недель.
Попробовать бесплатно →Ошибки сервера — коды 4xx и 5xx
Если Googlebot получает ошибки при запросе страниц — он перестает их посещать и удаляет из индекса. Коды 404 (не найдено), 500 (ошибка сервера), 503 (сервис недоступен) — все это снижает активность обхода.
Search Console → Индексирование → Страницы → «Не найдено (404)» и «Ошибка сервера (5xx)». Исправьте или настройте 301-редиректы для удаленных страниц. Проверьте логи сервера на наличие массовых ошибок.
Медленная скорость загрузки страниц
Google учитывает Core Web Vitals при ранжировании и при определении бюджета обхода. Очень медленный сайт (LCP > 4 секунды) получает меньший бюджет обхода.
Проверьте через PageSpeed Insights (pagespeed.web.dev). Ключевые метрики: LCP (Largest Contentful Paint) менее 2.5с, FID менее 100мс, CLS менее 0.1. Оптимизируйте изображения, включите кэширование, подключите CDN.
Нет ссылок на страницу
Googlebot находит новые страницы в основном через ссылки. Если на страницу нет ни одной внутренней или внешней ссылки — она может оставаться «невидимой», даже если она есть в карте сайта.
Добавьте внутренние ссылки с других популярных страниц. Убедитесь, что новые статьи появляются в разделах «Читайте также», «Новые публикации» и т.д. Или используйте Indexing API для прямого уведомления Google.
JavaScript-рендеринг блокирует контент
Если ваш сайт построен на React, Vue или Angular и контент рендерится только на стороне клиента — Googlebot может не видеть текст страниц. Он «видит» только пустую HTML-структуру.
Настройте Server-Side Rendering (SSR) или Static Site Generation (SSG). Проверьте через Search Console → Инспекция URL → «Просмотреть загруженную страницу» — там показано, что именно видит Googlebot.
Молодой домен — просто нужно время
Для новых доменов (меньше 6 месяцев) Google обычно медленнее добавляет страницы в индекс. Это нормально — алгоритмы проверяют надежность новых ресурсов.
Получите несколько качественных внешних ссылок (с авторитетных сайтов вашей тематики). Регулярно публикуйте качественный контент. Используйте Indexing API для ускорения. Зарегистрируйте сайт в Search Console и добавьте карту сайта.
Фильтр или санкции Google
В редких случаях сайт может получить ручное наказание от команды Google (за манипуляции с ссылками, спамный контент, клоакинг и т.д.) или автоматическое алгоритмическое наказание.
Проверьте Search Console → Безопасность и ручные действия → Ручные действия. Если есть наказание — исправьте нарушения и подайте запрос на пересмотр. Для алгоритмических фильтров — улучшайте качество контента и ссылочный профиль.
Пошаговый план действий
Если ваш сайт не индексируется — действуйте в следующем порядке:
- Проверьте robots.txt — убедитесь, что нет блокировок
- Проверьте тег noindex на проблемных страницах
- Откройте Search Console → Страницы → прочитайте причины исключения
- Проверьте доступность сайта и коды ответа сервера
- Проверьте скорость через PageSpeed Insights
- Устраните найденные проблемы
- Отправьте URL через Google Indexing API для ускорения индексации
IndexFast показывает, какие URL из карты сайта были успешно отправлены через API, а какие вернули ошибку — это помогает быстро выявить технические проблемы с конкретными страницами.
Автоматическая индексация — просто и быстро
После устранения причин — запустите переиндексацию всего сайта через IndexFast. 500 URL за один клик, результат в течение 24 часов.
Попробовать бесплатно →