Що таке індексація сайту пошуковою системою та як її покращити

Індексація в пошукових системах — що це?

Індексування сайту — це внесення його сторінок до бази пошукових систем. У ході цього процесу система збирає інформацію про зміст ресурсу. Пошукові роботи (їх ще називають павуками) сканують й обробляють вебсторінки, відео, зображення тощо. Після того, як аналіз завершений, сторінки зберігаються до пошукового індексу — тобто бази даних. І саме в ній надалі система шукає результати, які відповідають запитам користувачів.

Як відбувається індексація сайту пошуковими системами

Один запит — це тисячі адрес, які потенційно містять відповідь. По суті Google знає його до того, як користувач ввів запит у пошуковий рядок. Індексація — безперервний процес, оскільки веб-роботи регулярно сканують нові та оновлені сайти, додаючи отриману інформацію до індексу (бази даних). Виходить, коли користувач щось шукає в інтернеті, насправді шукає індекс.

Підсторінки сайту, тобто дочірні, що йдуть після основної, індексуються по одній. Після введення запиту робот виконує пошук за індексом та знаходить усі відповідні йому сторінки. Таким чином, ми отримуємо справді величезну кількість результатів.

Щоб дати користувачеві найточнішу відповідь, Google використовує алгоритми, які вибирають сайти в індексі на основі кількох сотень різних факторів. Вони враховують не лише кількість та розміщення ключових слів, релевантних словосполучень, а й якість, юзабіліті сайту, наскільки добре він захищає конфіденційні дані. Факторів ранжирування безліч, і потрібно відповідати кожному. При цьому сам процес визначення позиції сайту та відображення результатів пошуку займає у Google приблизно півсекунди.

Скільки www-адрес в індексі? Сотні мільярдів. Вони займають понад 100 000 000 гігабайт. Google призначає сайт для індексу відповідно до слів, які він містить.

Краулінговий бюджет сканування

Краулінговий бюджет - це максимальний обсяг даних, які пошукова система може отримати з домену за одне відвідування роботом. Щоб отримати максимальну користь з обходу роботом, необхідно розглянути два аспекти:

• обмеження швидкості сканування;
• прискорення індексування сайту

Під час одного відвідування сайту роботи хочуть просканувати максимально можливу кількість URL-адрес. Обмеження швидкості сканування у тому, щоб вони робили обхід без перевантаження сервера. Якщо краулер завантажуватиме надто велику кількість сторінок, сайт почне завантажуватися повільніше, а це, у свою чергу, розчарує його відвідувача.

Раніше для цього обмеження слід було вказувати директиву crawl-delay у файлі robots.txt. Сьогодні вона вважається застарілою, оскільки пошукові системи самі керують швидкістю. Якщо навантаження на сервер занадто велике, сканування припиняється автоматично, тому «важкі» сторінки необхідно оптимізувати, щоб їхня вага зменшилася, і на їхню обробку роботи витрачали менше часу.

Щоб прискорити індексування, робота примусово повертають на сайт. Для цього нові або оновлені сторінки надсилаються на повторне сканування через панель вебмайстра. Варто відзначити, що популярні сайти, що часто оновлюються, обробляються частіше, оскільки зміни на них привертають увагу пошукових роботів. Саме тому припинення робіт із оптимізації стає причиною зниження позицій у видачі.

Якщо коротко, бюджет індексації сайту — кількість URL-адрес, які пошукова система може і хоче проіндексувати. Виражається у мегабайтах (Мб).

На кожен домен виділено щоденний бюджет. Боти переглядають сторінки до краю та припиняють індексування після його витрати. Потім вони повертаються, щоб перевірити поновлення на вже завантажених адресах. Якщо архітектура сайту погано опрацьована, сторінки, розташовані надто глибоко, можуть взагалі не індексуватися. Щоб цього уникнути, потрібно наголошувати не стільки на красивому дизайні, скільки на юзабіліті з урахуванням подальшої оптимізації. Важливі підсторінки повинні бути серед перших в ієрархії структури сайту, інші впорядковуються зі зниження пріоритетності.

Коли пошуковий робот повертається на сайт, ніхто не знає. За ідеєю, сканування здійснюється щодня, але ніде не зазначено, коли саме бот його припиняє і коли відновлює.

Покрокова інструкція перевірки індексації

Давайте перевіримо сайт elit-web.ua різними способами, щоб побачити мінуси та плюси кожної з перевірок.

1. Перевірка індексації на панелі вебмайстра

Google Search Console - базовий інструмент SEO для вебмайстрів, маркетологів та власників сайту.

Щоб дізнатися, чи є сторінка в індексі, авторизуємося в обліковому записі Google. Якщо ви цього ще не робили — пройдіть реєстрацію, для цього потрібно ввести адресу ресурсу і виконати дії за інструкцією. Щоб отримати інформацію про ваш ресурс через Google Search Console, вам необхідно мати доступ до його адмін-панелі. Докладніше, як це зробити, читайте тут.

Після верифікації відкриваємо "Покриття" у вкладці "Огляд". Бачимо зрозумілий графік, як змінювалася кількість проіндексованих сторінок за вказаний проміжок часу. Нижче наведено список виявлених помилок.

Сервіс пропонує можливість перевірити веб-сайт на індексацію. Після вирішення помилок тут же можна відправити сторінку на повторну переіндексацію, натиснувши кнопку «Запросити індексування». Цією ж кнопкою можна надіслати нові сторінки на перше індексування.

Важливо: не потрібно запитувати індексацію кілька разів для однієї сторінки - це не прискорить процес.

Переваги: безкоштовно, графіки наочні.

Недоліки: необхідний доступ до адмін-панелі сайту, що перевіряється, неточне відображення інформації — сервіс показує звіти, оперуючи даними останнього обходу, ситуація на поточний період може дещо відрізнятися. Після реєстрації в обліковому записі дані для звіту з'являються не відразу.

2. Перевірка індексації через оператори у пошукових запитах

Якщо потрібно швидко і не вдаючись до допомоги сервісів дізнатися кількість проіндексованих сторінок, скористайтеся операторами - для цього вводимо в пошуковий рядок браузера таку конструкцію:

site:https://elit-web.ua

Цей спосіб більше підходить для одноразового використання, він не дає глибокого аналізу та не надає графіки.

3. Використання онлайн-сервісів для перевірки індексації

Sitechecker

Дозволяє відстежити ступінь видимості, зміну позицій за ключами, дає рекомендації щодо покращення.

Плюси: бюджетний, підходить для десктопних та мобільних пристроїв, надсилає на пошту щоденні та щотижневі звіти з динамікою змін позицій, фільтрує ключі за умовами та сортує їх за амплітудою позицій, робить аналіз видачі за кожним ключовим словом.

Мінуси: не передбачено аналізу трафіку.

Netpeak Checker

Підходить для веб-майстрів та фахівців SEO. Підходить для вирішення широкого спектру завдань: глибокого SEO-аудиту, порівняння кількох URL-адрес, кастомного парсингу веб-сайтів, аналізу стратегії розкрутки конкурентів. До плюсів варто також віднести можливість повернення товару протягом 14 днів після покупки та можливість інтеграції з іншими сервісами для аналітики.

Мінуси: десктопний та потребує установки.

Screamingfrog

Програма, яка буде корисною для виконання технічного аудиту та моніторингу позицій сайту.

Плюси: може сканувати як весь сайт, так і задані вручну окремі сторінки або розділи, відображає коди сервера для всіх виявлених сторінок, гнучкі налаштування, широкий набір опцій для вивантаження інформації в CSV, можливість відображення деревоподібної структури веб-сайту.

Ще одна важлива перевага полягає в тому, що програми можна будь-якої миті поставити на стоп, закрити, відкрити через час і продовжити далі.

Мінуси: не вважає статистичний вага веб-сторінок, незручна реалізації вивантаження вихідних зовнішніх посилань, вимогливість до можливостей ПК, заплутаний інтерфейс.

Ahrefs

Зручна програма для оптимізації та підготовки веб-сайту, відстеження показників просування.

Плюси: широкий набір функцій, простий інтерфейс, зручність у роботі, працює на хмарних обчисленнях, автоматичне збереження параметрів після сканування, автооновлення.

Мінуси: відносно висока вартість використання.

SE Ranking

Ця програма включає широкий набір інструментів для SEO та інтернет-маркетингу, оснащений конструктором звітів, є опція аналізу конкурентів, моніторингу зворотних посилань.

Плюси: функціональність, можливість перевірки окремих параметрів, є безкоштовна програма для смартфонів на ОС Android та iOS, інтуїтивно зрозумілий інтерфейс.

Мінуси: слабка підтримка користувачів, вартість десктопної версії.

4. Запуск букмарклетів

Букмарклети являють собою маленькі програми на JavaScript, які зберігаються у вигляді закладок. Вони створюються для того, щоб автоматично перевірити індексацію сторінок.

Для запуску процесу спочатку просто перетягніть посилання з файлу «Перевірка індексації» на панель закладок. Потім потрібно відкрити сторінку або сайт і клікнути по закладці. З'явиться нова вкладка Google з запитом, що містить оператор «site:», дозволяючи вам побачити результати індексації.

5. Чим корисний індексатор Google Indexing API

Це сучасний і, головне, безкоштовний інструмент, розроблений мегагігантом Google для того, щоб перевірити індексування сайту. Він допоможе виконати такі операції:

• отримати інформацію про останній запит Google за конкретною URL-адресою;
• надіслати запит на переіндексацію сторінки;
• надіслати запит на видалення сторінки з індексу.

Фактично це можливість безпосередньо інформувати пошукових роботів про додавання чи видалення сторінок. Простіше кажучи, ви маєте повний контроль за процесом краулінгу. Цей інструмент особливо корисний для проєктів, для роботи яких важливо, щоб нові сторінки максимально швидко відображалися у видачі (наприклад, для вебресурсів новин).

Однією з важливих переваг Google Indexing API є можливість надсилання на індексацію об'єднаних пакетних запитів (до 100 в одному пакеті). За день можна надіслати не більше 200 запитів. На цей момент Indexing API підтримує сканування сторінок зі структурованими даними типу JobPosting або BroadcastEvent, які вбудовані в об'єкт VideoObject.

Як запросити індексацію в Search Console

Ми вже з вами говорили про те, що це базовий сервіс для того, щоб дізнатися кількість проіндексованих сторінок. У ньому можна виправити помилки, якщо ви отримаєте інформацію про проблему.

Нагадуємо: перевірити, чи проіндексований контент, розміщений на конкретній сторінці, можна в однойменному розділі. Для запуску процесу необхідно вказати посилання в рядку пошуку.

Якщо ж ви отримаєте негативну відповідь або вам потрібно, щоб вміст сайту з'явився в системі швидше, відправити запит на індексацію сторінки можна, просто натиснувши кнопку внизу екрана.

Як надіслати на індексацію пакет посилань одночасно?

Ми вже з'ясували, як перевірити індексацію сторінки сайту та визначилися з тим, як надіслати запит на окрему адресу. Але іноді виникає ситуація, коли потрібно запросити індексацію для великого списку сторінок. Це можна зробити двома способами:

• через Консоль Google. Для цього необхідно заздалегідь підготувати файл картки сайту з усіма адресами, які необхідно проіндексувати. Його потрібно буде завантажити на сервіс та надіслати запит на індексацію;
• через Google Indexing API. Можливості цього інструменту дозволяють надіслати пакетний запит на індексацію. Але ми вже говорили, що є обмеження щодо кількості адрес у пакеті (до 100). Тому цей метод підходить для індексування невеликих сайтів.

І пам'ятайте: знадобиться певний час, перш ніж усі сторінки оновленого проєкту будуть проіндексовані. Але про це далі.

Як приховати сайт чи сторінку від індексації?

Іноді потрібна протилежна дія — виключити окремі сторінки з індексу. Для того щоб приховати вміст вебресурсу або якихось його розділів від пошукових ботів і далі — від відображення у видачі Google, потрібно додати команду Disallow із зазначенням «/» (кореневої директорії) у файлі robots.txt. Ця інструкція забороняє всім пошуковим роботам індексувати будь-які розділи вебресурсу.

Якщо потрібно заборонити індексування окремих блоків на порталі, допоможе додавання метатегу «noindex, nofollow» на ці сторінки.

Чому сайт не індексується?

Ось причини, через які пошукові алгоритми не можуть проіндексувати веб-сторінку:

• Помилки у файлі robots.txt.

У разі неправильного використання закриває від індексації весь ресурс або локальні сторінки.

• Відсутність файлу sitemap.xml.

Наявність цього файлу допомагає пошуковим алгоритмам швидко та правильно проіндексувати ресурс. У ньому мають бути посилання на всі сторінки сайту, які підлягають індексації.

• Новий сайт

Пошукові алгоритми перевіряють не одразу і не всі сторінки. Періодично варто проводити перевірку індексації – якщо кількість перевірених URL поступово збільшується, все гаразд.

• Приватні опції.

В адмін-панелі сайту може бути налаштовано приховування від індексу.

• Мітки «noindex/nofollow».

Такі теги, написані в коді, закривають від індексу сторінки.

• Сміттєві сторінки.

Якщо на сайті багато сторінок із «сміттєвим», неунікальним контентом, роботи будуть витрачати час на їх індексацію, поки не дійдуть дійсно корисних URL-ів.

Як прискорити індексацію сторінки Google?

Зміни на сайті та індексація.

Систематичне оновлення сайту новим і корисним контентом може призвести до того, що роботи пошукових систем частіше відвідуватимуть його, тим самим прискорюючи індексацію. Це, звісно, лише одне метод, але дуже важливий з погляду пошукового просування. Перш ніж дізнатися, чому деякі адреси скануються швидше, інші сповільнюються, варто вивчити способи прискорення всього процесу.

Методи прискорення індексації сторінки.

Ось кілька SEO-методів, які допоможуть прискорити індексацію сайту:

• додавання посилань на сторінки з великим трафіком.

Чим більше посилань пов'язано з сайтом, тим вища ймовірність того, що він буде проіндексований. Також контент, який потрібно швидко проіндексувати, має бути пов'язаний із головною. Крім того, що ближче до неї знаходиться важлива сторінка, то краще. Теоретично пошукова система повинна сканувати її швидше. Ось чому варто враховувати це під час планування структури сайту. Щоб прискорити цей процес, варто також розмістити важливі посилання у своєму блозі, соціальних мережах, тематичному форумі або написати статтю, яка містить посилання;

• використання карт XML та HTML.

Карта сайту допоможе прискорити процес індексації сайту, хоча загалом відсутність файлів XML та HTML не завадить роботі зробити це і без них. Карта сайту – це перелік наявних підсторінок. Вона мінімізує кількість переходів робота по сторінках, завдяки чому зменшується час на їх пошуки;

• надсилання запиту на індексацію сторінок за допомогою Google Search Console .

Увага! Прискорення індексації - це не те саме, що збільшення позиції сайту в результатах пошуку. Індексація безпосередньо не впливає на неї, але дуже позначається на самому просуванні. Непроіндексований контент не буде включений до результатів пошуку, але в той же час індексування не означає, що позиції сторінки будуть високими.