Що таке індексація сайту пошуковою системою та як її покращити

Індексація в пошукових системах — що це?

Індексування сайту — це внесення його сторінок до бази пошукових систем. У ході цього процесу система збирає інформацію про зміст ресурсу. Пошукові роботи (їх ще називають павуками) сканують й обробляють вебсторінки, відео, зображення тощо. Після того, як аналіз завершений, сторінки зберігаються до пошукового індексу — тобто бази даних. І саме в ній надалі система шукає результати, які відповідають запитам користувачів.

Як відбувається індексація сайту пошуковими системами

Один запит — це тисячі адрес, які потенційно містять відповідь. По суті Google знає його до того, як користувач ввів запит у пошуковий рядок. Індексація — безперервний процес, оскільки веб-роботи регулярно сканують нові та оновлені сайти, додаючи отриману інформацію до індексу (бази даних). Виходить, коли користувач щось шукає в інтернеті, насправді шукає індекс.

Підсторінки сайту, тобто дочірні, що йдуть після основної, індексуються по одній. Після введення запиту робот виконує пошук за індексом та знаходить усі відповідні йому сторінки. Таким чином, ми отримуємо справді величезну кількість результатів.

Щоб дати користувачеві найточнішу відповідь, Google використовує алгоритми, які вибирають сайти в індексі на основі кількох сотень різних факторів. Вони враховують не лише кількість та розміщення ключових слів, релевантних словосполучень, а й якість, юзабіліті сайту, наскільки добре він захищає конфіденційні дані. Факторів ранжирування безліч, і потрібно відповідати кожному. При цьому сам процес визначення позиції сайту та відображення результатів пошуку займає у Google приблизно півсекунди.

Скільки www-адрес в індексі? Сотні мільярдів. Вони займають понад 100 000 000 гігабайт. Google призначає сайт для індексу відповідно до слів, які він містить.

Завантаження, індексація та робота алгоритмів

Щоб визначити сайт, який найкраще відповідає запитам користувача, повинні спрацювати пошукові алгоритми. Саме завдяки їм результати в індексі вибираються та впорядковуються у визначеному порядку. Google постійно працює над покращенням своїх алгоритмів, тому він може розпізнавати ключові слова, контекст і навіть помилки, які можуть з'являтися під час введення запиту. При цьому алгоритми оцінюють не лише текст, а й інші аспекти, наприклад, довіру до сайту, достовірність та інформативність контенту, якість посилань та навіть наміри користувача.

Індексування та сканування

Що таке індексація сторінок ми розглянули. Однак у контексті пошукових систем ви можете знайти термін «сканування». Сканування ще не індексує сторінки, а лише переміщує робота між ними.

Crawling - це відправка бота на аналізований сайт, тоді як індексування - це завантаження, обробка та збір даних для включення його до індексу пошукової системи. Сканування не означає, що адреса була проіндексована і з'явиться в результатах пошуку.

Розміщення веб-адреси в індексі – це наступний етап після сканування. Не кожна просканована сторінка індексується, але кожна проіндексована просканована раніше.

Краулінговий бюджет сканування

Краулінговий бюджет - це максимальний обсяг даних, які пошукова система може отримати з домену за одне відвідування роботом. Щоб отримати максимальну користь з обходу роботом, необхідно розглянути два аспекти:

• обмеження швидкості сканування;
• прискорення індексування сайту

Під час одного відвідування сайту роботи хочуть просканувати максимально можливу кількість URL-адрес. Обмеження швидкості сканування у тому, щоб вони робили обхід без перевантаження сервера. Якщо краулер завантажуватиме надто велику кількість сторінок, сайт почне завантажуватися повільніше, а це, у свою чергу, розчарує його відвідувача.

Раніше для цього обмеження слід було вказувати директиву crawl-delay у файлі robots.txt. Сьогодні вона вважається застарілою, оскільки пошукові системи самі керують швидкістю. Якщо навантаження на сервер занадто велике, сканування припиняється автоматично, тому «важкі» сторінки необхідно оптимізувати, щоб їхня вага зменшилася, і на їхню обробку роботи витрачали менше часу.

Щоб прискорити індексування, робота примусово повертають на сайт. Для цього нові або оновлені сторінки надсилаються на повторне сканування через панель вебмайстра. Варто відзначити, що популярні сайти, що часто оновлюються, обробляються частіше, оскільки зміни на них привертають увагу пошукових роботів. Саме тому припинення робіт із оптимізації стає причиною зниження позицій у видачі.

Якщо коротко, бюджет індексації сайту — кількість URL-адрес, які пошукова система може і хоче проіндексувати. Виражається у мегабайтах (Мб).

На кожен домен виділено щоденний бюджет. Боти переглядають сторінки до краю та припиняють індексування після його витрати. Потім вони повертаються, щоб перевірити поновлення на вже завантажених адресах. Якщо архітектура сайту погано опрацьована, сторінки, розташовані надто глибоко, можуть взагалі не індексуватися. Щоб цього уникнути, потрібно наголошувати не стільки на красивому дизайні, скільки на юзабіліті з урахуванням подальшої оптимізації. Важливі підсторінки повинні бути серед перших в ієрархії структури сайту, інші впорядковуються зі зниження пріоритетності.

Коли пошуковий робот повертається на сайт, ніхто не знає. За ідеєю, сканування здійснюється щодня, але ніде не зазначено, коли саме бот його припиняє і коли відновлює.

Циклічна індексація

Індексування носить циклічний характер, тому потрібно постійно дбати про якість сайту та оновлення, щоб займати високі позиції в результатах видачі. Після першого відвідування роботи час від часу повертаються, щоб перевірити та проіндексувати будь-які зміни. Чим частіше вони зустрічають новий, цінний контент, тим більша ймовірність, що повернуться знову. І як результат: чим раніше він буде проіндексований, тим швидше з'явиться в результатах пошуку.

Покрокова інструкція перевірки індексації

Давайте перевіримо сайт elit-web.ua різними способами, щоб побачити мінуси та плюси кожної з перевірок.

1. Перевірка індексації на панелі вебмайстра

Google Search Console - базовий інструмент SEO для вебмайстрів, маркетологів та власників сайту.

Щоб дізнатися, чи є сторінка в індексі, авторизуємося в обліковому записі Google. Якщо ви цього ще не робили — пройдіть реєстрацію, для цього потрібно ввести адресу ресурсу і виконати дії за інструкцією. Щоб отримати інформацію про ваш ресурс через Google Search Console, вам необхідно мати доступ до його адмін-панелі. Докладніше, як це зробити, читайте тут.

Після верифікації відкриваємо "Покриття" у вкладці "Огляд". Бачимо зрозумілий графік, як змінювалася кількість проіндексованих сторінок за вказаний проміжок часу. Нижче наведено список виявлених помилок.

Сервіс пропонує можливість перевірити веб-сайт на індексацію. Після вирішення помилок тут же можна відправити сторінку на повторну переіндексацію, натиснувши кнопку «Запросити індексування». Цією ж кнопкою можна надіслати нові сторінки на перше індексування.

Важливо: не потрібно запитувати індексацію кілька разів для однієї сторінки - це не прискорить процес.

Переваги: безкоштовно, графіки наочні.

Недоліки: необхідний доступ до адмін-панелі сайту, що перевіряється, неточне відображення інформації — сервіс показує звіти, оперуючи даними останнього обходу, ситуація на поточний період може дещо відрізнятися. Після реєстрації в обліковому записі дані для звіту з'являються не відразу.

2. Перевірка індексації через оператори у пошукових запитах

Якщо потрібно швидко і не вдаючись до допомоги сервісів дізнатися кількість проіндексованих сторінок, скористайтеся операторами - для цього вводимо в пошуковий рядок браузера таку конструкцію:

site:https://elit-web.ua

Цей спосіб більше підходить для одноразового використання, він не дає глибокого аналізу та не надає графіки.

3. Використання онлайн-сервісів для перевірки індексації

Sitechecker

Дозволяє відстежити ступінь видимості, зміну позицій за ключами, дає рекомендації щодо покращення.

Плюси: бюджетний, підходить для десктопних та мобільних пристроїв, надсилає на пошту щоденні та щотижневі звіти з динамікою змін позицій, фільтрує ключі за умовами та сортує їх за амплітудою позицій, робить аналіз видачі за кожним ключовим словом.

Мінуси: не передбачено аналізу трафіку.

Netpeak Checker

Підходить для веб-майстрів та фахівців SEO. Підходить для вирішення широкого спектру завдань: глибокого SEO-аудиту, порівняння кількох URL-адрес, кастомного парсингу веб-сайтів, аналізу стратегії розкрутки конкурентів. До плюсів варто також віднести можливість повернення товару протягом 14 днів після покупки та можливість інтеграції з іншими сервісами для аналітики.

Мінуси: десктопний та потребує установки.

Screamingfrog

Програма, яка буде корисною для виконання технічного аудиту та моніторингу позицій сайту.

Плюси: може сканувати як весь сайт, так і задані вручну окремі сторінки або розділи, відображає коди сервера для всіх виявлених сторінок, гнучкі налаштування, широкий набір опцій для вивантаження інформації в CSV, можливість відображення деревоподібної структури веб-сайту.

Ще одна важлива перевага полягає в тому, що програми можна будь-якої миті поставити на стоп, закрити, відкрити через час і продовжити далі.

Мінуси: не вважає статистичний вага веб-сторінок, незручна реалізації вивантаження вихідних зовнішніх посилань, вимогливість до можливостей ПК, заплутаний інтерфейс.

Ahrefs

Зручна програма для оптимізації та підготовки веб-сайту, відстеження показників просування.

Плюси: широкий набір функцій, простий інтерфейс, зручність у роботі, працює на хмарних обчисленнях, автоматичне збереження параметрів після сканування, автооновлення.

Мінуси: відносно висока вартість використання.

SE Ranking

Ця програма включає широкий набір інструментів для SEO та інтернет-маркетингу, оснащений конструктором звітів, є опція аналізу конкурентів, моніторингу зворотних посилань.

Плюси: функціональність, можливість перевірки окремих параметрів, є безкоштовна програма для смартфонів на ОС Android та iOS, інтуїтивно зрозумілий інтерфейс.

Мінуси: слабка підтримка користувачів, вартість десктопної версії.

4. Запуск букмарклетів

Букмарклети являють собою маленькі програми на JavaScript, які зберігаються у вигляді закладок. Вони створюються для того, щоб автоматично перевірити індексацію сторінок.

Для запуску процесу спочатку просто перетягніть посилання з файлу «Перевірка індексації» на панель закладок. Потім потрібно відкрити сторінку або сайт і клікнути по закладці. З'явиться нова вкладка Google з запитом, що містить оператор «site:», дозволяючи вам побачити результати індексації.

5. Чим корисний індексатор Google Indexing API

Це сучасний і, головне, безкоштовний інструмент, розроблений мегагігантом Google для того, щоб перевірити індексування сайту. Він допоможе виконати такі операції:

• отримати інформацію про останній запит Google за конкретною URL-адресою;
• надіслати запит на переіндексацію сторінки;
• надіслати запит на видалення сторінки з індексу.

Фактично це можливість безпосередньо інформувати пошукових роботів про додавання чи видалення сторінок. Простіше кажучи, ви маєте повний контроль за процесом краулінгу. Цей інструмент особливо корисний для проєктів, для роботи яких важливо, щоб нові сторінки максимально швидко відображалися у видачі (наприклад, для вебресурсів новин).

Однією з важливих переваг Google Indexing API є можливість надсилання на індексацію об'єднаних пакетних запитів (до 100 в одному пакеті). За день можна надіслати не більше 200 запитів. На цей момент Indexing API підтримує сканування сторінок зі структурованими даними типу JobPosting або BroadcastEvent, які вбудовані в об'єкт VideoObject.

Як запросити індексацію в Search Console

Ми вже з вами говорили про те, що це базовий сервіс для того, щоб дізнатися кількість проіндексованих сторінок. У ньому можна виправити помилки, якщо ви отримаєте інформацію про проблему.

Нагадуємо: перевірити, чи проіндексований контент, розміщений на конкретній сторінці, можна в однойменному розділі. Для запуску процесу необхідно вказати посилання в рядку пошуку.

Якщо ж ви отримаєте негативну відповідь або вам потрібно, щоб вміст сайту з'явився в системі швидше, відправити запит на індексацію сторінки можна, просто натиснувши кнопку внизу екрана.

Як надіслати на індексацію пакет посилань одночасно?

Ми вже з'ясували, як перевірити індексацію сторінки сайту та визначилися з тим, як надіслати запит на окрему адресу. Але іноді виникає ситуація, коли потрібно запросити індексацію для великого списку сторінок. Це можна зробити двома способами:

• через Консоль Google. Для цього необхідно заздалегідь підготувати файл картки сайту з усіма адресами, які необхідно проіндексувати. Його потрібно буде завантажити на сервіс та надіслати запит на індексацію;
• через Google Indexing API. Можливості цього інструменту дозволяють надіслати пакетний запит на індексацію. Але ми вже говорили, що є обмеження щодо кількості адрес у пакеті (до 100). Тому цей метод підходить для індексування невеликих сайтів.

І пам'ятайте: знадобиться певний час, перш ніж усі сторінки оновленого проєкту будуть проіндексовані. Але про це далі.

Часті питання в процесі індексації сайтів.

Чому я не можу знайти свою сторінку в Google?

Час індексації.

Скільки часу займає індексація сторінки Google? На це питання немає однозначної відповіді. Однак практика веб-майстрів показує — завантаження нового сайту в індекс пошукової системи може зайняти від кількох днів до кількох місяців. У цій статті ми розглянемо фактори, які прискорюють та уповільнюють цей процес, і спробуємо відповісти на питання, чи можна оцінити реальний час індексації сторінки Google.

Як перевірити, чи була сторінка збережена у пошуковій системі?

Спосіб 1: введіть сайт у вікно пошукової системи на посилання Вашого сайту. Якщо ви отримуєте результати, сайт був проіндексований. Відсутність посилань на сайт означає, що він, ймовірно, ще не оброблений роботом Google.

Спосіб 2: перевірити статистичний звіт у консолі Google для веб-майстрів. Він містить інформацію про дії на сайті, виконані пошуковим роботом за останні 90 днів.

Коли Google не зберігає адресу в індексі?

Google не зберігає url сайту з різних причин. Декілька прикладів, чому це може статися:

• неправильно налаштований robots.txt. При цьому пошукова система, як і раніше, може переглядати сторінку, заблоковану у файлі robots.txt, але не бачитиме її вміст. У цьому випадку поруч із результатом з'явиться повідомлення: «Опис цього результату недоступний через robots.txt»,
  обмежено вибраними каталогами,

наприклад:
User-agent: *
Disallow: / images /
Disallow: / private /

Тут ми не блокуємо індексацію всієї сторінки, а лише елементи, що зберігаються у двох каталогах, тобто images та Private.

Або

User-agent: *
Disallow: /

Тут блокуємо доступ до всього сайту.

• неправильно налаштований файл .htaccess, який дозволяє, серед іншого, блокувати користувачів, наприклад, за IP-адресами. Якщо адміністратор випадково заблокував IP-адреси Google, сторінка не проіндексується;
• застаріла карта сайту;
• Низький сайт.

Коли варто переіндексувати сайт?

Надсилання запитів на панелі веб-майстра на сканування сторінок не є обов'язковим, але може допомогти прискорити відвідування сайту роботом Google. Пам'ятайте, що робота автоматично повертається, щоб отримати актуальну інформацію про його вміст. Таким чином, запит на індексування можна повторити, але на практиці це необов'язково, тому що достеменно невідомо, чи це дійсно прискорить процес. У загальних рекомендаціях, доступних у Довідці Google, є інформація про те, що індексація займає від декількох днів до декількох тижнів (у деяких випадках навіть місяців), і надсилання великої кількості запитів на повторне збереження однієї й тієї ж URL-адреси ніяк не прискорить її.

Як приховати сайт чи сторінку від індексації?

Іноді потрібна протилежна дія — виключити окремі сторінки з індексу. Для того щоб приховати вміст вебресурсу або якихось його розділів від пошукових ботів і далі — від відображення у видачі Google, потрібно додати команду Disallow із зазначенням «/» (кореневої директорії) у файлі robots.txt. Ця інструкція забороняє всім пошуковим роботам індексувати будь-які розділи вебресурсу.

Якщо потрібно заборонити індексування окремих блоків на порталі, допоможе додавання метатегу «noindex, nofollow» на ці сторінки.

Чому сайт не індексується?

Ось причини, через які пошукові алгоритми не можуть проіндексувати веб-сторінку:

1. Помилки у файлі robots.txt.

   У разі неправильного використання закриває від індексації весь ресурс або локальні сторінки.

2. Відсутність файлу sitemap.xml.

   Наявність цього файлу допомагає пошуковим алгоритмам швидко та правильно проіндексувати ресурс. У ньому мають бути посилання на всі сторінки сайту, які підлягають індексації.

3. Новий сайт

   Пошукові алгоритми перевіряють не одразу і не всі сторінки. Періодично варто проводити перевірку індексації – якщо кількість перевірених URL поступово збільшується, все гаразд.

4. Приватні опції.

   В адмін-панелі сайту може бути налаштовано приховування від індексу.

5. Мітки «noindex/nofollow».

   Такі теги, написані в коді, закривають від індексу сторінки.

6. Сміттєві сторінки.

   Якщо на сайті багато сторінок із «сміттєвим», неунікальним контентом, роботи будуть витрачати час на їх індексацію, поки не дійдуть дійсно корисних URL-ів.

Як виправити помилки індексації

Чек-лист із виправлення сторінок для переіндексації:

• налаштувати та оптимізувати файли robots.txt, sitemap. xml;
• збільшити швидкість завантаження сайту спеціальними сервісами;
• унікалізувати контент, зробити його корисним для ЦА;
• видалити дубльовані сторінки;
• виконати грамотну перелінковку.

Як прискорити індексацію сторінки Google?

Зміни на сайті та індексація.

Систематичне оновлення сайту новим і корисним контентом може призвести до того, що роботи пошукових систем частіше відвідуватимуть його, тим самим прискорюючи індексацію. Це, звісно, лише одне метод, але дуже важливий з погляду пошукового просування. Перш ніж дізнатися, чому деякі адреси скануються швидше, інші сповільнюються, варто вивчити способи прискорення всього процесу.

Методи прискорення індексації сторінки.

Ось кілька SEO-методів, які допоможуть прискорити індексацію сайту:

• додавання посилань на сторінки з великим трафіком.

Чим більше посилань пов'язано з сайтом, тим вища ймовірність того, що він буде проіндексований. Також контент, який потрібно швидко проіндексувати, має бути пов'язаний із головною. Крім того, що ближче до неї знаходиться важлива сторінка, то краще. Теоретично пошукова система повинна сканувати її швидше. Ось чому варто враховувати це під час планування структури сайту. Щоб прискорити цей процес, варто також розмістити важливі посилання у своєму блозі, соціальних мережах, тематичному форумі або написати статтю, яка містить посилання;

• використання карт XML та HTML.

Карта сайту допоможе прискорити процес індексації сайту, хоча загалом відсутність файлів XML та HTML не завадить роботі зробити це і без них. Карта сайту – це перелік наявних підсторінок. Вона мінімізує кількість переходів робота по сторінках, завдяки чому зменшується час на їх пошуки;

• надсилання запиту на індексацію сторінок за допомогою Google Search Console .

Увага! Прискорення індексації - це не те саме, що збільшення позиції сайту в результатах пошуку. Індексація безпосередньо не впливає на неї, але дуже позначається на самому просуванні. Непроіндексований контент не буде включений до результатів пошуку, але в той же час індексування не означає, що позиції сторінки будуть високими.

Швидка індексація сторінок Google: скільки часу це займе?

Чому одна адреса сканується швидше, ніж інша?

Як зазвичай буває з Google, коли доходить до індексації, експерти компанії нічого не пояснюють безпосередньо. У 2018 році Джон Мюллер з Google підтвердив, що URL-адреси зберігаються відповідно до різних факторів і що пошукова система не сканує URL-адреси з однаковою частотою весь час. Тому не дивно, що деякі сайти роботи відвідуватимуть щодня, інші – щотижня, треті – раз на кілька місяців або навіть за півроку.

Варто підкреслити, що рідкісне сканування сайту не означає, що з ним щось не так з технічного боку. Період обробки кілька місяців цілком нормальний і природний. Як приклад, слід додати, що внесення значних змін на сайті призведе до того, що частина сторінок проіндексується швидко. Решті доведеться деякий час почекати. Чому так відбувається? На це впливають багато факторів: перелінкування, структура сторінки, частота змін. Наприклад, якщо сайт давно не оновлювався, пошукова система може не відправити до нього робота. Тим не менш, коли відбувається оновлення, це може зайняти якийсь час, але зрештою робот Google обов'язково відвідає сторінку, що змінилася.

Як швидко пошукова система може проіндексувати сторінку?

У більшості випадків на це потрібно кілька днів. Це може зайняти до 24 годин, хоча не можна сказати, що це відбувається постійно. Веб-майстри визнають, що буває й інакше: сторінка може з'явитися в індексі того ж дня, через тиждень чи навіть місяць.

Скільки часу займає індексація змін на сторінках?

На це питання немає однозначної відповіді. Google працює в певному темпі, але відомо, що крім частоти оновлень, він також враховує й інші фактори. Щоб пошуковий робот відвідував сайт частіше, його потрібно регулярно оновлювати. Після внесених змін, наприклад, видалення або додавання сторінок, надішліть запит на перехід через панель вебмайстра. Також можна залишати посилання на новий контент у соціальних мережах, блогах, тематичних форумах.

Від індексації до ранжування.

Без індексації ви не зможете отримати високих позицій у результатах пошуку, тому що це необхідний крок для включення сайту до індексу Google. Саме індексування іноді займає кілька місяців. Після збереження сайту в кеші Google потрібен час, щоб оцінити зміни. На даний момент сторінка вже знаходиться на якомусь рівні у рейтингу. Ви вносите зміни, щоб поліпшити рейтинг і цикл починається знову.

Повільна індексація сторінок у Google.

Очікування індексації: скільки часу це займає, у чому причина?

Довге очікування на індексацію: наслідки для сайту.

Час, необхідний індексації, впливає тимчасово просування загалом. Підняття позицій або змін у ранжируванні можна спостерігати лише після індексації сторінки.

Повільна індексація нових сторінок.

Для появи нової сторінки в результатах пошуку може знадобитися від 24 годин до кількох місяців. Це тому, що сайт новий, він не має вхідних посилань.

Очікування протягом кількох тижнів появи адреси у результатах пошуку – природний процес. Як користувачі інтернету, ми звикли до миттєвого отримання відповідей на запити, але з іншого боку, веб-майстра це відбувається не так швидко, як хотілося б. Щоб підвищити ймовірність швидкого сканування сторінки, виконайте дії, описані в розділі «Як прискорити індексацію сторінки Google?».

Повільна індексація змінених сторінок.

Варто розуміти, що регулярне та часте оновлення контенту прискорює індексацію і, отже, підвищує шанс піднятися у рейтингу пошукової системи. Чим частіше щось відбувається на сайті, тим більша ймовірність того, що Google вважатиме його активним і частіше відправлятиме свій сканер для аналізу змін.

Як заборонити сайту виконувати індексацію сторінок

Існує декілька способів зробити це:

1. Використовуйте в html-коді сторінки атрибут noindex. Так пошукова система «зрозуміє», що цю сторінку необхідно виключити з результатів пошуку.
2. Обмежте індексацію через файл конфігурації .htaccess за допомогою пароля.
3. Використовуйте файл robots.txt. За допомогою цього документа можна заборонити індексацію ресурсу цілком або ж заблокувати доступ до вибраних сторінок.
4. Видаліть URL через спеціальні плагіни.

Кожен із методів підходить під окрему ситуацію. Тому вибирати, як закрити сайт або сторінки від індексування, потрібно індивідуально.