Что такое индексация сайта поисковой системой и как ее улучшить

Индексация в поисковых системах - что это?

Индексирование сайта — это внесение его страниц в базу поисковых систем. В ходе этого процесса система собирает информацию о содержании ресурса. Поисковые роботы (их еще называют пауками) сканируют и обрабатывают веб-страницы, видео, изображения и т. д. После того как анализ завершен, страницы сохраняются в поисковый индекс — то есть базу данных. И именно в ней в дальнейшем система ищет результаты, которые соответствуют запросам пользователей.

Как происходит индексация сайта поисковыми системами

Один запрос — это тысячи адресов, потенциально содержащих ответ. По сути, Google знает его до того, как пользователь ввел запрос в поисковую строку. Индексация — непрерывный процесс, так как веб-роботы регулярно сканируют новые и обновленные сайты, добавляя полученную информацию в индекс (базу данных). Получается, когда пользователь что-то ищет в интернете, на самом деле он ищет индекс.

Подстраницы сайта, то есть, дочерние, идущие после основной, индексируются по одной. После ввода запроса робот выполняет поиск по индексу и находит все соответствующие ему страницы. Таким образом, мы получаем действительно огромное количество результатов.

Чтобы дать пользователю наиболее точный ответ, Google использует алгоритмы, которые выбирают сайты в индексе на основе нескольких сотен различных факторов. Они учитывают не только количество и размещение ключевых слов, релевантных словосочетаний, но и качество, юзабилити сайта, насколько хорошо он защищает конфиденциальные данные. Факторов ранжирования множество, и соответствовать нужно каждому. При этом сам процесс определения позиции сайта и отображения результатов поиска занимает у Google примерно полсекунды.

Сколько www-адресов в индексе? Сотни миллиардов. Они занимают более 100 000 000 гигабайт. Google назначает сайт для индекса в соответствии со словами, которые он содержит.

Краулинговый бюджет сканирования

Краулинговый бюджет — это максимальный объем данных, которые поисковая система может получить с домена за одно посещение роботом. Чтобы извлечь максимальную пользу из обхода роботом, необходимо рассмотреть два аспекта:

• ограничение скорости сканирования;
• ускорение индексирования сайта.

Во время одного посещения сайта роботы хотят просканировать максимально возможное количество URL-адресов. Ограничение скорости сканирования заключается в том, чтобы они делали обход без перегруза сервера. Если краулер будет загружать слишком большое количество страниц, сайт начнет грузиться медленнее, а это, в свою очередь, разочарует его посетителя.

Ранее для этого ограничения нужно было указывать директиву crawl-delay в файле robots.txt. Сегодня она считается устаревшей, так как поисковые системы сами управляют скоростью. Если нагрузка на сервер слишком большая, сканирование прекращается автоматически, поэтому «тяжелые» странички необходимо оптимизировать, чтобы их вес уменьшился, и на их обработку роботы тратили меньше времени.

Чтобы ускорить индексирование, бота принудительно возвращают на сайт. Для этого новые или обновленные страницы отправляются на повторное сканирование через панель вебмастера. Стоит отметить, что популярные и часто обновляемые сайты обрабатываются чаще, так как изменения на них привлекают внимание поисковых роботов. Именно поэтому прекращение работ по оптимизации становится причиной снижения позиций в выдаче.

Если кратко, бюджет индексации сайта — количество URL-адресов, которые поисковая система может и хочет проиндексировать. Выражается в мегабайтах (Мб).

На каждый домен выделен ежедневный бюджет. Боты просматривают страницы до предела и прекращают индексирование после его израсходования. Затем они возвращаются, чтобы проверить обновления на уже загруженных адресах. Если архитектура сайта плохо проработана, страницы, расположенные слишком глубоко, могут вообще не индексироваться. Чтобы этого избежать, нужно делать упор не столько на красивом дизайне, сколько на юзабилити с учетом дальнейшей оптимизации. Важные подстраницы должны находиться в числе первых в иерархии структуры сайта, остальные упорядочиваются по мере снижения приоритетности.

Когда поисковый робот возвращается на сайт, никто не знает. По идее, сканирование осуществляется каждый день, но нигде не указано, когда именно бот его прекращает и в какое время возобновляет.

Пошаговая инструкция проверки индексации

Давайте проверим сайт elit-web.ua разными способами, чтобы увидеть минусы и плюсы каждой из проверок.

1. Проверка индексации в панели вебмастера

Google Search Console — базовый инструмент SEO для вебмастеров, маркетологов и владельцев сайта.

Чтобы узнать, есть ли страница в индексе, авторизуемся в аккаунте Google. Если вы еще этого не делали — пройдите регистрацию, для этого нужно ввести адрес ресурса и выполнить действия по инструкции. Чтобы получить информацию о вашем ресурсе через Google Search Console вам необходимо иметь доступ к его админ-панели. Подробнее, как это сделать, читайте здесь.

После верификации открываем «Покрытие» во вкладке «Обзор». Видим понятный график, как изменялось количество проиндексированных страниц за указанный интервал времени. Ниже есть список обнаруженных ошибок.

Сервис предлагает возможность проверить сайт на индексацию. После решения ошибок здесь же можно отправить страницу на повторную переиндексацию, кликнув по кнопке «Запросить индексирование». Этой же кнопкой можно отправить новые страницы на первое индексирование.

Важно: не нужно запрашивать индексацию несколько раз для одной и той же страницы — это не ускорит процесс.

Преимущества: бесплатно, наглядные графики.

Недостатки: необходим доступ к админ-панели проверяемого сайта, неточное отображение информации — сервис показывает отчеты, оперируя данными последнего обхода, ситуация на текущий период может несколько отличаться. После регистрации в аккаунте данные для отчета появляются не сразу.

2. Проверка индексации через операторы в поисковых запросах

Если нужно быстро и не прибегая к помощи сервисов узнать количество проиндексированных страниц, воспользуйтесь операторами — для этого вводим в поисковую строку браузера следующую конструкцию:

site:https://elit-web.ua

Этот способ больше подходит для одноразового использования, он не дает глубокого анализа и не предоставляет графики.

3. Использование онлайн-сервисов для проверки индексации

Sitechecker

Позволяет отследить степень видимости, изменение позиций по ключам, дает рекомендации по улучшению.

Плюсы: бюджетный, подходит для десктопных и мобильных устройств, присылает на почту ежедневные и еженедельные отчеты с динамикой изменений позиций, фильтрует ключи по условиям и сортирует их по амплитуде позиций, делает анализ выдачи по каждому ключевому слову.

Минусы: не предусмотрен анализ трафика.

Netpeak Checker

Подходит для веб-мастеров и специалистов SEO. Подходит для решения широкого спектра задач: глубокого SEO-аудита, сравнения нескольких URL, кастомного парсинга веб-сайтов, анализа стратегии раскрутки конкурентов. К плюсам стоит также отнести возможность возврата продукта в течение 14 дней после покупки и возможность интеграции с другими сервисами для аналитики.

Минусы: десктопный и требует установки.

Screamingfrog

Программа, которая будет полезна для выполнения технического аудита и мониторинга позиций сайта.

Плюсы: может сканировать, как весь сайт, так и заданные вручную отдельные страницы или разделы, отображает коды сервера для всех обнаруженных страниц, гибкие настройки, широкий набор опций для выгрузки информации в CSV, возможность отображения древовидной структуры веб-сайта.

Еще одно важное преимущество заключается в том, что программы можно в любой момент поставить на стоп, закрыть, открыть через время и продолжить дальше.

Минусы: не считает статистический вес веб-страниц, неудобная реализации выгрузки исходящих внешних ссылок, требовательность к возможностям ПК, запутанный интерфейс.

Ahrefs

Удобная программа для оптимизации и подготовки веб-сайта, отслеживания показателей продвижения.

Плюсы: широкий набор функций, простой интерфейс, удобность в работе, работает на облачных вычислениях, автоматическое сохранение параметров после сканирования, автообновление.

Минусы: относительно высокая стоимость использования.

SE Ranking

Эта программа включает в себя широкий набор инструментов для SEO и интернет-маркетинга, оснащен конструктором отчетов, есть опция анализа конкурентов, мониторинга обратных ссылок.

Плюсы: функциональность, возможность проверки отдельных параметров, есть бесплатное приложение для смартфонов на ОС Android и iOS, интуитивно понятный интерфейс.

Минусы: слабоватая поддержка пользователей, стоимость десктопной версии.

4. Запуск букмарклетов

Букмарклеты представляют собой маленькие программы на JavaScript, которые сохраняются в виде закладок. Они создаются для того, чтобы автоматически проверить индексацию страниц.

Для запуска процесса сначала просто перетащите ссылку из файла «Проверка индексации» на панель закладок. Затем потребуется открыть страницу или сайт и кликнуть по закладке. Появится новая вкладка Google с запросом, содержащим оператор «site:», позволяя вам увидеть результаты индексации.

5. Чем полезен индексатор Google Indexing API

Это современный и, главное, бесплатный инструмент, разработанный мегагигантом Google для того, чтобы проверить индексирование сайта. Он поможет выполнить такие операции:

• получить информацию о последнем запросе Google по конкретному URL-адресу;
• отправить запрос на переиндексацию страницы;
• отправить запрос на удаление страницы из индекса.

Фактически это возможность напрямую информировать поисковых роботов о добавлении или удалении страниц. Проще говоря, вы имеете полный контроль над процессом краулинга. Этот инструмент особенно полезен для проектов, для работы которых важно, чтобы новые страницы максимально быстро отображались в выдаче (например, для новостных веб-ресурсов).

Одним из важных преимуществ Google Indexing API является возможность отправки на индексацию объединенных пакетных запросов (до 100 в одном пакете). В день можно отправить не более 200 запросов. На данный момент Indexing API поддерживает сканирование страниц со структурированными данными типа JobPosting или BroadcastEvent, которые встроены в объект VideoObject.

Как запросить индексацию в Search Console

Мы уже с вами говорили о том, что это базовый сервис для того, чтобы узнать количество проиндексированных страниц. В нем также можно исправить ошибки, если вы получите информацию о проблеме.

Напоминаем: проверить, проиндексирован ли контент, размещенный на конкретной странице, можно в одноименном разделе. Для запуска процесса необходимо указать ссылку в строке поиска.

Если же вы получите негативный ответ или вам нужно, чтобы содержимое сайта появилось в системе побыстрее, то отправить запрос на индексацию страницы можно, попросту нажав на кнопку внизу экрана.

Как отправить на индексацию пакет ссылок одновременно?

Мы уже выяснили, как проверить индексацию страницы сайта и определились с тем, как отправить запрос для отдельного адреса. Но иногда возникает ситуация, когда требуется запросить индексацию для большого списка страниц. Это можно сделать двумя способами:

• через Консоль Google. Для этого необходимо заранее подготовить файл карты сайта со всеми адресами, которые требуется проиндексировать. Его нужно будет загрузить на сервис и послать запрос на индексацию;
• через Google Indexing API. Возможности этого инструмента позволяют отправить пакетный запрос на индексацию. Но мы уже говорили, что есть ограничения по количеству адресов в пакете (до 100). Поэтому данный метод подходит для индексирования небольших сайтов.

И помните: потребуется определенное время, прежде чем все страницы обновленного проекта будут проиндексированы. Но об этом далее.

Как скрыть сайт или страницу от индексации?

Иногда требуется противоположное действие — исключить отдельные страницы из индекса. Для того чтобы скрыть содержимое веб-ресурса или каких-то его разделов от поисковых ботов и далее — от отображения в выдаче Google, нужно добавить команду Disallow с указанием «/» (корневой директории) в файле robots.txt. Это указание запрещает всем поисковым роботам индексировать любые разделы веб-ресурса.

Если нужно запретить индексирование отдельных блоков на портале, то поможет добавление метатега «noindex, nofollow» на эти страницы.

Почему не индексируется сайт?

Вот причины, по которым поисковые алгоритмы не могут проиндексировать веб-страницу:

• Ошибки в файле robots.txt.

При неправильном использовании закрывает от индексации весь ресурс или локальные страницы.

• Отсутствие файла sitemap.xml.

Наличие этого файла помогает поисковым алгоритмам быстро и правильно проиндексировать ресурс. В нем должны содержаться ссылки на все страницы сайта, которые подлежат индексации.

• Новый сайт.

Поисковые алгоритмы проверяют не сразу и не все страницы. Периодически стоит проводить проверку индексации — если количество проверенных URL постепенно увеличивается, все в порядке.

• Приватные настройки.

В админ-панели сайта может быть по умолчанию настроено скрытие от индекса.

• Теги «noindex/nofollow».

Такие теги, прописанные в коде, закрывают от индекса страницы.

• Мусорные страницы.

Если на сайте много страниц с «мусорным», неуникальным контентом, роботы будут тратить время на их индексацию, пока не дойдут до действительно полезных URL-ов.

Как ускорить индексацию страницы в Google?

Изменения на сайте и индексация.

Систематическое обновление сайта новым и полезным контентом может привести к тому, что роботы поисковых систем будут чаще его посещать, тем самым ускоряя индексацию. Это, конечно, только один метод, но очень важный с точки зрения поискового продвижения. Прежде чем мы узнаем, почему некоторые адреса сканируются быстрее, а другие замедляются, стоит изучить способы ускорения всего процесса.

Способы ускорения индексации страницы.

Вот несколько SEO-методов, которые помогут ускорить индексацию сайта:

• добавление ссылок на страницы с большим трафиком.

Чем больше ссылок связано с сайтом, тем выше вероятность того, что он будет проиндексирован. Также контент, который нужно быстро проиндексировать, должен быть связан с главной. Кроме того, чем ближе к ней находится важная страница, тем лучше. Теоретически, поисковая система должна сканировать ее быстрее. Вот почему стоит учитывать это при планировании структуры сайта. Чтобы ускорить этот процесс, стоит также разместить важные ссылки в своем блоге, социальных сетях, тематическом форуме или написать статью, содержащую ссылку;

• использование карт XML и HTML.

Карта сайта поможет ускорить процесс индексации сайта, хотя в целом отсутствие файлов XML и HTML не помешает роботу сделать это и без них. Карта сайта — это перечень имеющихся подстраниц. Она минимизирует количество переходов бота по страницам, благодаря чему уменьшается время на их поиски;

• отправка запроса на индексацию страниц с помощью Google Search Console.

Внимание! Ускорение индексации — это не то же самое, что увеличение позиции сайта в результатах поиска. Индексация напрямую не влияет на нее, но сильно сказывается на самом продвижении. Непроиндексированный контент не будет включен в результаты поиска, но в то же время индексирование не означает, что позиции страницы будут высокими.