Спочатку: перевіряємо чи є проблема
Перш ніж шукати причину, переконайтесь що проблема дійсно є. Введіть у Google:
Якщо результатів немає або їх значно менше ніж сторінок на сайті — читайте далі.
Також відкрийте Google Search Console → Індексування → Сторінки. Там Google сам пояснює чому кожна сторінка не проіндексована.
12 причин і рішення
Тег noindex на сторінці
Найчастіша причина «невидимості» в Google. У коді сторінки стоїть тег який прямо забороняє індексацію:
Такий тег міг з'явитись помилково під час розробки або якщо CMS автоматично виставляє noindex для певних типів сторінок (теги, категорії, сторінки пошуку).
Перевірте код кожної сторінки (Ctrl+U у браузері, шукайте «noindex»). В WordPress — перевірте Yoast SEO або RankMath, налаштування видимості для кожного типу запису.
Блокування в robots.txt
Файл robots.txt може блокувати Googlebot від сканування цілих розділів сайту. Відкрийте yoursite.com/robots.txt і шукайте рядки типу:
Якщо рядок Disallow: / — це блокує весь сайт. Видаліть або замініть на Disallow: (порожнє значення — дозволяє все). Перевірте через інструмент тестування robots.txt в Search Console.
Сайт закритий паролем або на технічному обслуговуванні
Якщо сайт вимагає авторизацію або видає код 503 — Googlebot не може отримати доступ до контенту. Це типово для нових сайтів які запускають «тихо».
Переконайтесь що сайт доступний без авторизації. Перевірте через Google Search Console → Інспекція URL → «Перевірити доступний URL».
Низький crawl budget — Googlebot не встигає
Кожному сайту Google виділяє певний «бюджет сканування» — кількість сторінок які він готовий обходити за певний час. Для нових і невеликих сайтів цей бюджет мінімальний.
Якщо сайт має тисячі сторінок або часто змінюється — Googlebot просто не встигає обходити всі URL.
Використовуйте Google Indexing API для пріоритетних сторінок. Видаліть з sitemap «сміттєві» URL (теги з 1 статтею, порожні категорії, пошукові запити). Перевірте швидкість сайту — повільний сайт отримує менший crawl budget.
Дублі контенту і canonical
Якщо кілька URL мають однаковий або дуже схожий контент, Google обирає один «канонічний» URL і може ігнорувати інші. Типові приблеми:
- HTTP і HTTPS версії сайту без редіректу
- www і non-www версії
- Сторінки з трейлінг-слешем і без: /page і /page/
- Параметри URL: /page?utm_source=... замість /page
Встановіть canonical тег на всіх сторінках що вказує на «основну» версію. Налаштуйте 301-редіректи. В Search Console перевірте звіт «Виявлено, але не проіндексовано» — там часто є інформація про дублі.
Тонкий або низькоякісний контент
Google може відмовитись індексувати сторінки з малою кількістю унікального тексту. Під загрозою:
- Сторінки з менше ніж 300–500 словами
- Автоматично згенерований контент
- Сторінки-шаблони з мінімальним унікальним вмістом (теги, місяці)
- Контент скопійований з інших сайтів
Або значно покращте контент, або закрийте такі сторінки тегом noindex. Краще мати 50 якісних проіндексованих сторінок ніж 500 «невидимих».
Прискорте індексацію з IndexFast
Коли усунете технічні проблеми — відправте всі URL напряму через Google Indexing API. Результат побачите за кілька годин, а не тижнів.
Спробувати безкоштовно →Помилки сервера — коди 4xx і 5xx
Якщо Googlebot отримує помилки при запиті сторінок — він перестає їх відвідувати і вилучає з індексу. Коди 404 (не знайдено), 500 (помилка сервера), 503 (сервіс недоступний) — все це знижує активність сканування.
Search Console → Індексування → Сторінки → «Не знайдено (404)» і «Помилка сервера (5xx)». Виправіть або налаштуйте 301-редіректи для видалених сторінок. Перевірте логи сервера на наявність масових помилок.
Повільна швидкість завантаження
Google враховує Core Web Vitals при ранжируванні і при визначенні crawl budget. Дуже повільний сайт (LCP > 4 секунди) отримує менший бюджет сканування.
Перевірте через PageSpeed Insights (pagespeed.web.dev). Ключові метрики: LCP (Largest Contentful Paint) менше 2.5с, FID менше 100мс, CLS менше 0.1. Оптимізуйте зображення, увімкніть кешування, підключіть CDN.
Немає посилань на сторінку
Googlebot знаходить нові сторінки переважно через посилання. Якщо на сторінку немає жодного внутрішнього або зовнішнього посилання — вона може залишатись «невидимою» навіть якщо є в sitemap.
Додайте внутрішні посилання з інших популярних сторінок. Переконайтесь що нові статті є в розділах «Читайте також», «Нові публікації» тощо. Або використайте Indexing API для прямого повідомлення Google.
JavaScript-рендеринг блокує контент
Якщо ваш сайт побудований на React, Vue або Angular і контент рендериться лише на стороні клієнта — Googlebot може не бачити текст сторінок. Він «бачить» лише порожній HTML-каркас.
Налаштуйте Server-Side Rendering (SSR) або Static Site Generation (SSG). Перевірте через Search Console → Інспекція URL → «Переглянути завантажену сторінку» — там показано що саме бачить Googlebot.
Молодий домен — просто потрібен час
Для нових доменів (менше 6 місяців) Google зазвичай повільніше додає сторінки до індексу. Це нормально — алгоритми перевіряють надійність нових ресурсів.
Отримайте декілька якісних зовнішніх посилань (з авторитетних сайтів вашої тематики). Регулярно публікуйте якісний контент. Використайте Indexing API для пришвидшення. Зареєструйте сайт в Search Console і додайте sitemap.
Фільтр або санкції Google
У рідких випадках сайт може отримати ручне покарання від команди Google (за маніпуляції з посиланнями, спамний контент, cloaking тощо) або автоматичний алгоритмічний штраф.
Перевірте Search Console → Безпека та ручні дії → Ручні заходи. Якщо є покарання — виправте порушення і подайте запит на перегляд. Для алгоритмічних фільтрів — покращуйте якість контенту і посилальний профіль.
Покроковий план дій
Якщо ваш сайт не індексується — дійте в такому порядку:
- Перевірте robots.txt — чи немає блокувань
- Перевірте тег noindex на проблемних сторінках
- Відкрийте Search Console → Сторінки → прочитайте причини виключення
- Перевірте доступність сайту і коди відповіді сервера
- Перевірте швидкість через PageSpeed Insights
- Усуньте знайдені проблеми
- Відправте URL через Google Indexing API для прискорення
IndexFast показує які URL зі sitemap вдалось відправити через API, а які повернули помилку — це допомагає швидко виявити технічні проблеми з конкретними сторінками.
Автоматична індексація — просто і швидко
Після усунення причин — запустіть переіндексацію всього сайту через IndexFast. 500 URL за один клік, результат за 24 години.
Спробувати безкоштовно →