Чому сайт не індексується в Google

Успіх онлайн-бізнесу залежить від видимості сайту в пошукових системах. Ключовим фактором є індексація вебсторінок — процес, при якому пошукові роботи безперервно сканують його контент, включаючи текст, зображення та відео, для подальшого додавання до бази даних пошукової системи. Чим якісніша індексація вашого сайту, тим вище його ранжування у пошукових системах за відповідними запитами.

Як дізнатися, чи індексується ваш сайт

Найпростіший спосіб перевірити індексацію — виконати пошук по сайту у відповідній пошуковій системі. Якщо сторінки є у видачі, значить, вони проіндексовані.

Причин, чому сайт не індексується Гуглом, дуже багато. Розглянемо основні з них.

Файл Robots.txt

Розробники зберігають тестову версію сайту на окремих доменах. І щоб вона не індексувалася, використовують файл robots.txt. Якщо після завершення робіт у файл не вносяться зміни, то Google не індексує сайт, тому що вміст тестової версії потрапляє на робочий домен разом із забороною на індексацію в robots.txt.

Побачити, чи допущено таку помилку, можна в налаштуваннях індексації в панелі керування ресурсом (якщо сайт на CMS WordPress). Для цього потрібно зайти до розділу «Налаштування», далі — до підрозділу «Читання». Тут буде поле «Видимість для пошукових систем» — воно має бути порожнім. Також можна скористатися спеціальними інструментами, про які ми розповімо далі.

Перевіряємо файл Robots.txt

Щоб розібратися, чому Гугл не індексує сайт, використовуйте Google Search Console — безплатний інструмент для вебмайстрів. Щоб почати користуватися сервісом, вам знадобиться обліковий запис у Google. Алгоритм досить простий: перейдіть в розділ «Індексування», далі — «Сторінки». Тут ви побачите, які файли robots.txt знайдені на вашому сайті.

Метатеги Robots

Ще одна поширена причина, чому сайт не індексується у Google, — це метатег Robots. Він повідомляє пошуковим роботам про те, що індексувати сторінку не потрібно. У її коді метатег може виглядати так:

<meta name=“robots” content=“noindex”>

Перевіряємо метатег Robots

Зробити це можна за допомогою Google Search Console. У розділі «Індексування» ви знайдете підрозділ «Сторінки» і далі таблицю «Чому ці сторінки не індексуються».

Також для пошуку метатегів Robots можна використовувати спеціальні програми, наприклад, Screaming Frog SEO Spider або Netpeak Spider.

Файл .htaccess

Він дозволяє керувати різними параметрами та функціями сервера на рівні окремих каталогів або цілого вебсайту. І якщо в цьому файлі прописані правила, що забороняють це робити, то сайт індексуватися не буде. Як правило, файл знаходиться в кореневій директорії ресурсу або в будь-якому з його підкаталогів.

Тег Rel Canonical

Цей тег є елементом HTML, який використовується для вказівки основної URL-адреси сторінки. Його використання допомагає уникнути проблем із дублюванням контенту та сприяє більш ефективному ранжуванню сторінок у результатах пошуку. Але також його використання може стати причиною, чому сайт не індексується у Google, наприклад, якщо тег некоректно використовується.

Перевіряємо наявність тегів rel="canonical"

У Google Search Console інформація про цей тег знаходиться в розділі «Перевірка URL».

Також дізнатися, чи використовувався цей тег, можна за допомогою платних програм Screaming Frog, Netpeak Spider та інших.

X-Robots-Tag

Це HTTP-заголовок, який надає інструкції для пошукових роботів про те, як обробляти вміст сторінки. Значення X-Robots-Tag можуть включати різні директиви. Зокрема, noindex — причина, через яку сайт не індексується Гуглом.

Перевіряємо наявність X-Robots-Tag на сторінках сайту

Можна використовувати плагін Web Developer, доступний для більшості популярних браузерів. У розділі Information або Headers ви знайдете інформацію про заголовки HTTP, включаючи X-Robots-Tag.

Також можна використовувати інструменти для аудиту сайтів Screaming Frog та Netpeak Spider. Після завершення цього процесу ви знайдете інформацію про X-Robots-Tag.

Довга відповідь сервера

Час відповіді сервера — це інтервал, за який запит від клієнта в браузері досягає сервера, а клієнт отримує відповідь. Згідно з рекомендаціями Google, час відгуку не повинен перевищувати 500 мілісекунд, а в ідеалі — бути менше ніж 200 мілісекунд. Дуже важливо стежити за тим, щоб відповідь не була довгою, адже це одна з найпоширеніших причин, чому Google не індексує сайт повною мірою.

Перевіряємо час відповіді сервера

WebPageTest — це потужний інструмент для тестування продуктивності вебсайтів. Він дозволяє виміряти швидкість завантаження сторінки з різних місць та на різних пристроях. Просто введіть URL-адресу вашої сторінки на сайті WebPageTest, виберіть місце розташування та браузер, а потім запустіть тест. Ви отримаєте докладний звіт про час завантаження, компоненти сторінки (DNS, TCP, TLS та інші), а також рекомендації щодо оптимізації.

Ще один безплатний інструмент для перевірки продуктивності вебсторінок — це GTmetrix. З його допомогою ви можете перевірити, як ваша сторінка завантажується на різних пристроях. Також миттєво перевірити швидкість завантаження вашої сторінки можна за допомогою Dotcom-Tools. Введіть URL-адресу, і ви отримаєте детальний графік часу завантаження елементів сторінки.

Чому сервер може довго відповідати

Існує кілька поширених причин, які можуть призвести до уповільнення завантаження сторінок та зниження продуктивності сайту.

• Обмежені ресурси сервера. Це особливо актуально для високонавантажених ресурсів чи сайтів із великою кількістю динамічного контенту.
• Неоптимізована настройка сервера. Неправильна конфігурація вебсервера, бази даних або інших компонентів системи може призвести до неефективного використання ресурсів і, як наслідок, зниження продуктивності.
• Відсутність оптимізації клієнтської частини. Неоптимізовані файли CSS, JavaScript та зображення збільшують розмір сторінки та час її завантаження.
• Відсутність кешування. Кешування статичних ресурсів (CSS, JavaScript, зображень) та динамічного контенту на стороні сервера та клієнта дозволяє знизити навантаження на нього та прискорити завантаження сторінок, що відвідуються повторно.
• Неоптимізовані запити до бази даних. Надмірні запити можуть уповільнювати генерацію динамічного контенту та збільшувати час очікування для користувачів.

Для забезпечення оптимальної швидкості завантаження сайту рекомендується регулярно проводити аудит та оптимізацію на всіх рівнях.

Неправильна відповідь сервера

Також важливо регулярно перевіряти коди відповіді сервера, щоб переконатися, що ваш сайт працює коректно і користувачі можуть успішно отримувати доступ до контенту. Код 200 вказує на те, що сторінка доступна на сервері та успішно завантажується. Якщо ви отримуєте інший код, це свідчить про помилки в ньому, наприклад, 404 (сторінку не знайдено) або 500 (внутрішня помилка сервера). І це одна з причин, чому сайт не індексується в Гуглі.

Перевіряємо відповідь сервера

Є кілька способів, як це можна зробити.

• Google Search Console. Цей безплатний інструмент Google допоможе вам відстежувати стан вашого сайту.
• httpstatus.io. Цей онлайн-сервіс дозволяє швидко перевірити коди відповіді сервера для конкретних URL-адрес.
• Netpeak Spider та Screaming Frog. Ці програми надають докладніші аналізи вашого сайту.

Також можна встановити спеціальні плагіни для браузерів. Просто відкрийте сторінку, натисніть F12, перейдіть на вкладку Network, оновіть сторінку та перегляньте коди відповіді для кожного ресурсу.

Нестабільна робота хостингу чи сервера

Власникам вебресурсів дуже важливо забезпечити надійність використовуваного хостингу та стабільність серверної інфраструктури, оскільки нестабільна робота призводить до того, що Google не індексує сторінки. Для контролю доступності сайту існує безліч спеціалізованих сервісів, відомих як uptime checkers. Ввівши відповідний пошуковий запит, ви отримаєте список інструментів, що дозволяють відстежувати стабільність роботи хостингу та своєчасно виявляти будь-які перебої.

Проблеми з AJAX/JavaScript

Давайте докладніше розглянемо, які проблеми можуть виникнути.

• Затримка індексації. Якщо ваш контент повністю залежить від клієнтської обробки (так званого Client-Side Rendering), це може призвести до затримок в індексації. Наприклад, Google може бачити порожній екран, доки JavaScript не «відмалює» контент.
• Проблеми із динамічним контентом. Індексація не буде здійснюватися, якщо пошукові системи не можуть інтерпретувати контент або отримати доступ до нього.
• Відсутність контенту. Якщо JavaScript не підтримується або не розпізнається пошуковими роботами, Гугл не індексує сайт.
• Проблеми з навігацією. Використання AJAX може спричинити труднощі з навігацією на вашому сайті. Наприклад, навігаційні елементи можуть не працювати належним чином.

Щоб мінімізувати ці проблеми, використовуйте універсальні фреймворки або Server-Side Rendering (SSR). Також уникайте приховування важливого контенту за JavaScript, особливо на початковому завантаженні сторінки.

Контент низької якості

Існує таке поняття як thin content (порожній або низькоякісний контент), яке відноситься до вебсторінок, позбавлених цінності для користувачів.

До такого контенту належать:

• матеріали, що повністю або частково скопійовані з інших джерел;
• ідентична інформація, розміщена на кількох сторінках вашого сайту чи інших ресурсах;
• згенерований програмним шляхом контент, позбавлений сенсу та логіки;
• неінформативні сторінки з партнерськими посиланнями;
• сторінки, створені виключно для перенаправлення користувачів на інші ресурси.

Пошукові системи прагнуть надавати релевантні та корисні результати, тому Google не індексує сторінки або ж вони ранжуються набагато нижче.

Раніше забанений домен

Google підтримує чорні списки доменів, які були забанені або мали проблеми у минулому. Якщо ваш домен знаходиться в такому списку, це відповідь на запитання, чому сайт не індексується в Google.

Якщо ви придбали раніше забанений домен, важливо зробити кроки для відновлення його репутації. Переконайтеся, що весь контент відповідає стандартам Google і не порушує правила. І після цього надішліть запит на розгляд через Google Search Console.

Відсутність Sitemap на сайті

Sitemap або карта сайту є структурованим файлом, що містить список всіх доступних сторінок вашого сайту з їх URL-адресами. Її відсутність — також одна з причин, через яку не індексується сайт у Google. Без карти пошуковий робот може випадково проіндексувати лише кілька сторінок. І якщо значна частина вебсторінок залишиться неіндексованою, це негативно вплине на видимість сайту в пошуковій видачі.

Створення карти сайту — це відносно простий процес, який можна виконати вручну або за допомогою спеціалізованих інструментів та плагінів.

Нескінченний цикл переадресації

Найчастіше ця проблема виникає через банальну друкарську помилку або помилки в налаштуваннях перенаправлень, але вирішити її можна досить просто. Якщо ваш сайт працює на WordPress, інструмент .htaccess може допомогти виявити сторінки, з яких відбувається перенаправлення трафіку. Достатньо виконати пошук за ключовим словом Redirect 301, щоб знайти всі файли з перенапрямками. Після цього уважно перевірте їх на наявність друкарських помилок або інших та виправте. Якщо ви виявите тимчасові перенаправлення (302 редирект), рекомендується замінити їх на постійні (301 редирект).

Також можна використовувати такий інструмент як Screaming Frog. Він дозволяє провести глибокий аналіз сайту та виявити будь-які помилки, через які не індексується сайт у Google. Після розв’язання всіх виявлених проблем рекомендуємо повторно надіслати запит на індексацію вашого сайту через Google Search Console. Зазвичай процес повторної індексації займає близько семи днів, після чого ваш вебресурс має коректно індексуватись пошуковими системами.

Відсутність усіх варіантів домену в Google Search Console

При переході на HTTPS пошукові системи сприймають HTTP та HTTPS версії сайту як два окремі ресурси. Якщо ви не верифікуєте обидві версії в Search Console, Google не індексує нові сторінки, і тоді можуть виникнути проблеми з дублюванням контенту та передачі посилальної ваги між сторінками.

Для запобігання таким ситуаціям необхідно додати та верифікувати обидва варіанти домену (HTTP та HTTPS) у Search Console. Це дозволить Google правильно розпізнавати та обробляти ваш сайт, незалежно від протоколу.

Проблеми з боку пошукових систем

Причини, чому Google не індексує сторінки, можуть бути пов'язані з роботою самих пошукових систем. Тимчасові збої, перевантаження або інші проблеми можуть тимчасово вплинути на можливість пошукових роботів індексувати вебресурси. Якщо ви зіткнулися з проблемами індексації, які, на вашу думку, пов'язані з роботою пошукових систем, рекомендуємо звернутися до служби підтримки.

Висновок

Без адекватної індексації вебресурсу будь-які спроби просування пошукових систем приречені на провал. Тому відстеження цього процесу є критично важливим для успішного зростання вашого онлайн-бізнесу. Постійний моніторинг індексації та своєчасна оптимізація контенту дозволять вам зайняти передові позиції у пошуковій видачі та залучити цільовий трафік на ваш сайт.