Как полезный контент Google и другие системы искусственного интеллекта могут повлиять на видимость вашего сайта

Искусственный интеллект меняет то, как мы ищем и находим информацию в интернете. Google, пионер в этой области, постоянно тестирует новые технологии на основе ИИ для улучшения результатов поиска. Начиная с Search Generative Experience (SGE) и заканчивая интеграцией технологии чата Google Bard AI в различные продукты Гугл, искусственный интеллект меняет наш поисковый опыт.

Но что это значит для видимости сайта в выдаче? Если вы заметили необъяснимое снижение органического поискового трафика, есть большая вероятность, что система полезного контента Google, управляемая искусственным интеллектом, влияет на рейтинг веб-ресурса. Она использует машинное обучение, чтобы предсказать, будет ли информация нужна пользователю. Если будет обнаружено, что на большинстве страниц контент не соответствует требованиям, сайт может быть классифицирован как «неполезный».

В этой статье мы расскажем о том, как искусственный интеллект уже кардинально изменил систему ранжирования Google и что можно сделать, чтобы веб-ресурс не потерял свои позиции.

Напомним, цель Гугл — предоставить пользователю страницы, которые могут быть ему полезны и удовлетворят его ожидания. Система достигает этой цели, используя сложную интеграцию моделей машинного обучения для создания сигналов, которые Google применяет в алгоритмах ранжирования.

И еще хотим лишний раз напомнить, что когда дело доходит до сортировки сайтов в выдаче, то нет ничего более важного, чем соответствие критериям качества Гугл, которые изложены в документации по созданию полезного контента.

Эволюция алгоритмов Google и роль ИИ

Трансформация в систему, генерирующую ответы и управляемую искусственным интеллектом, всегда была целью Google. Миссия корпорации заключается в том, чтобы сделать мировую информацию доступной и полезной. В 2000 году соучредитель Google Ларри Пейдж сказал:

«Искусственный интеллект станет окончательной версией Google. Таким образом мы получим совершенную поисковую систему, которая будет понимать все в интернете. Она точно поймет, что вы хотите, и даст вам то, что нужно. Это и есть искусственный интеллект».

В 2013 году эту мысль продолжил руководитель отдела поиска Google Амит Сингхал. Он заявил, что «компьютеры будут знать, чего хотят люди, и пользователям не придется вводить свои запросы в маленькое окошко на чистой белой странице». По его словам, «судьба поиска — стать тем самым компьютером из “Звездного пути”, и именно его мы создаем».

Google также заявила, что уже продолжительное время использует искусственный интеллект для улучшения алгоритмов, а именно с 2016 года.

На тепловой карте, созданной доктором Питом из MOZ, видно, что чем «горячее» или ближе к красному цвету полоса, тем больше турбулентности было в результатах поиска Гугл в то время. Было бы справедливо предположить, что компания начала использовать ИИ в своих алгоритмах в конце 2016 года. А какое важное событие произошло в это время?

Под номером 3 на этой карте обозначено обновление Google Penguin 4.0 2016 года. Во время этого апдейта Гугл сообщила, что система может игнорировать неестественные ссылки вместо того, чтобы алгоритмически подавлять сайты, которые их создали.

Также интересно отметить, что первоначальное развертывание Penguin произошло всего за пару недель до того, как Google запустила Knowledge Graph («Сеть знаний»). А эта технология, в свою очередь, важна для ИИ. Объявление Google о чат-боте Bard тоже говорит нам, что он сочетает в себе мощь, интеллект и креативность языковых моделей с «широтой мировых знаний». Вероятно, это Knowledge Graph.

Так что чем больше Google использует системы искусственного интеллекта, тем важнее для нас становится соответствие контенту, который они поощряют.

Как системы ранжирования Google используют искусственный интеллект для генерации сигналов

Несколько систем ранжирования Google используют машинное обучение, подмножество ИИ, для генерации сигналов. Они играют решающую роль в определении того, какие сайты размещаются выше в результатах поиска.

Уточним: сигнал — это часть информации, которую алгоритмы Google могут использовать для принятия решения о том, какой контент стоит ранжировать выше. Одним из примеров таких данных является количество качественных ссылок, ведущих на определенную страницу.

Генерирует эти сигналы так называемая Helpful Content System (система полезного контента) Google.

Роль системы полезного контента в генерации сигналов

Система полезного контента использует ИИ для генерации сигнала. С помощью него Гугл маркирует контент, который имеет «малую ценность, низкую добавленную стоимость», или, другими словами, является неполезным для людей. Эти данные, наряду со многими другими, учитываются в процессе ранжирования.

Если ваш трафик снижается, это может быть результатом того, что система полезного контента определяет большую часть информации как не самый интересный результат для пользователя. Такой процесс оценки выполняется непрерывно и влияет на рейтинг сайта в течение нескольких месяцев, а это означает, что изменения могут произойти в любое время, а не только в связи с анонсированными обновлениями.

По сути, система сигнализирует: «В целом контент с этого ресурса — не самый полезный вариант для поиска по сравнению с другими». Такая ситуация может быть серьезным препятствием, которое не позволяет сайту полностью реализовать свой потенциал.

Действительно, если глубже проанализировать содержание страниц, которым алгоритмы Google отдают предпочтение, и сравнить их с теми, которые ранжируются ниже, становится видно, что первые явно полезнее и информативнее.

Возможно, они быстрее отвечают на запрос или приводят пользователя к продукту, который он хочет купить. Может быть, на них есть качественные изображения или таблицы. Часто Google показывает выше сайт компании, которая имеет реальный мировой опыт или предлагает инновационный подход к теме. Контент, который система отмечает как достойный для высокого ранжирования, несет особую ценность и оригинальный взгляд по сравнению с другими страницами в интернете.

Вот несколько примеров, которые можно встретить на сайтах:

Как генерируют сигналы системы обнаружения спама

SpamBrain — это система искусственного интеллекта, которая способна выявить попытки манипулирования поиском. Теперь она может генерировать сигнал, указывающий на то, что сайт участвует в манипулятивных схемах с целью повышения ранжирования.

Если ваш ресурс понизил позиции с 14 декабря 2022 года, возможно, виновато декабрьское обновление. Благодаря апдейту SpamBrain Google стал лучше определять, на какие сайты ведут ссылки с заспамленных площадок.

Это вызывает много вопросов. Например, стоит ли использовать Disavow Links Tool для отклонения ссылок? В некоторых случаях да, особенно если вы создавали их для целей SEO.

Но сайтам, затронутым этим обновлением, инструмент вряд ли поможет. Во многих случаях потери означают, что не сам ресурс был классифицирован как спам, а под такое определение попали площадки, ссылающиеся на него, что приводит к потере ценности обратных ссылок.

Однако трудно определить, начались потери позиций именно во время этого апдейта или они были связаны с изменениями в системе полезного контента, поскольку оба процесса происходили одновременно.

Например, на этот сайт, возможно, повлияло спам-обновление от 14 декабря. Но потери начались в связи с апдейтом системы полезного контента от 5 декабря.

На этот сайт вели много обратных ссылок, которые явно были размещены с целью SEO-продвижения. В этом случае лучше отклонить эти линки. Но, скорее всего, позиции веб-ресурса вряд ли быстро улучшатся.

Итак, предлагаем несколько рекомендаций, что делать, если на рейтинг сайта повлияли спам-системы Google:

• если вы создали ссылки для целей SEO и видите, что трафик начал снижение с 14 декабря 2022 года, стоит подумать об использовании Disavow Links Tool, чтобы Гугл не учитывал эти линки в своих алгоритмах. Возможно, на сайте есть классификация спама. Правильное использование Disavow Links Tool может удалить ее;
• если вы занимались линкбилдингом в прошлом и наблюдаете снижение трафика для страниц, на которые были направлены эти ссылки, возможно, на вашем сайте нет классификации спама. Скорее, площадки, с которых осуществлялся переход на ваш ресурс, были маркированы как участники манипулятивных схем, и линки на них были нейтрализованы. В таких случаях не стоит выполнять отклонение ссылок с помощью Disavow Links Tool;
• если вы не уверены, стоит ли использовать вышеуказанный инструмент, лучше потратьте время на повышение полезности, ценности материалов на сайте.

Как система ранжирования отзывов оценивает качество контента

Система ранжирования отзывов — это еще один инструмент машинного обучения на основе AI, который оценивает любой контент, содержащий мнение о продукте или анализирующий его. Подчеркнем — любой, а не только обзоры товаров. Эта модель «направлена на то, чтобы найти и оценить по достоинству обзоры высокого качества, то есть контент, содержащий глубокий анализ, оригинальные исследования и написанный экспертами или энтузиастами, которые хорошо разбираются в теме».

Система ранжирования отзывов оценивает материалы на уровне страниц. Но если у вас есть значительный объем контента, который эта система признала неполноценным, вы можете получить сигнал в масштабах всего сайта. Если вы пострадали от обновления системы ранжирования отзывов после 12 апреля 2023 года, то, возможно, алгоритмы машинного обучения Google сочли, что ваши материалы в меньшей степени полезны, чем другие.

Сложности основных обновлений Google

Основные обновления Google направлены на поощрение контента, ценного для пользователей. Компания предоставляет рекомендации по созданию материалов, ориентированных на людей, и предлагает список критериев, которые необходимо учитывать.

Мы рекомендуем тщательно изучить документацию Google о полезном контенте. Это критерии, по которым работают алгоритмы ранжирования.

Panda: генезис моделей качества Google

Впервые мы увидели версию этих критериев в объявлении об алгоритме Panda в 2011 году. В этом документе Google заявила: «Именно такие вопросы мы задаем себе, когда пишем алгоритмы, которые пытаются оценить качество сайта».

Когда Panda впервые развернули, SEO-сообщество поняло, что будут затронуты сайты с явно неполноценным контентом. Но немногие тогда могли предсказать, что Google однажды сможет использовать ИИ для создания модели, определяющей качество и пользу информации на веб-ресурсе.

В 2011 году компания опубликовала такую информацию про Panda:

«Наши алгоритмы оценки качества сайтов направлены на то, чтобы помочь людям находить “высококачественные” сайты за счет снижения рейтинга низкокачественного контента. Недавнее обновление Panda решает сложную задачу алгоритмической оценки качества сайта. Делая шаг назад, мы хотели бы объяснить некоторые идеи и исследования, которые лежат в основе разработки наших алгоритмов.

Ниже приведены вопросы, которые можно использовать для оценки “качества” страницы или статьи. Именно такие вопросы мы задаем себе, когда пишем алгоритмы, которые пытаются оценить качество сайта. Считайте, что мы пытаемся закодировать то, что, по нашему мнению, нужно нашим пользователям.

Разумеется, мы не раскрываем реальные сигналы ранжирования, используемые в наших алгоритмах, поскольку не хотим, чтобы пользователи играли с результатами поиска; но если вы хотите лучше понять мышление Google, то приведенные ниже вопросы дадут некоторое представление о том, как мы рассматривали данную проблему:

• Вы доверяете информации, представленной в этой статье?
• Эта статья написана экспертом или энтузиастом, хорошо знающим тему, или она носит поверхностный характер?
• Есть ли на сайте повторяющиеся, частично совпадающие или лишние статьи на одни и те же или похожие темы с немного разными вариантами ключевых слов?
• Будет ли безопасно оставлять информацию о своей кредитной карте на этом сайте?
• Есть ли в этой статье орфографические, стилистические или фактические ошибки?
• Темы были определены в соответствии с реальными интересами читателей сайта или сайт генерирует контент в попытках угадать, что может хорошо ранжироваться в поисковых системах?
• Содержит ли статья оригинальный контент или информацию, оригинальные репортажи, оригинальные исследования или оригинальный анализ?
• Представляет ли страница существенную ценность по сравнению с другими страницами в результатах поиска?
• Насколько тщательно контролируется качество контента?
• Описываются ли в статье обе стороны истории?
• Является ли сайт признанным авторитетом в своей теме?
• Производится ли контент массово, отдается на аутсорсинг большому количеству авторов или распределяется по большой сети сайтов, чтобы отдельные страницы или сайты не получали столько внимания?
• Статья хорошо отредактирована или выглядит небрежной, сделанной наспех?
• Доверились бы вы информации, полученной с этого сайта, если бы речь шла о здоровье?
• Признали бы вы этот сайт авторитетным источником при упоминании его названия?
• Дает ли данная статья полное или исчерпывающее описание темы?
• Содержит ли эта статья глубокий анализ или интересную информацию, которая не является очевидной?
• Захотели бы вы добавить эту страницу в закладки, поделиться ей с другом или порекомендовать ее?
• Нет ли в этой статье чрезмерного количества рекламы, отвлекающей от основного содержания или мешающей ему?
• Ожидали бы вы увидеть эту статью в печатном журнале, энциклопедии или книге?
• Являются ли статьи короткими, бессодержательными или не содержащими полезной информации?
• Страницы создавались с большой скрупулезностью и вниманием к деталям или же внимания к деталям мало?
• Будут ли пользователи жаловаться, если увидят страницы этого сайта?

Написание алгоритма для оценки качества страницы или сайта — гораздо более сложная задача, но мы надеемся, что приведенные выше вопросы дадут некоторое представление о том, как мы пытаемся писать алгоритмы, которые отличают сайты более высокого качества от сайтов более низкого качества».

Фильтр Panda от Google стал катастрофой для многих веб-ресурсов. Были разработаны расплывчатые теории по восстановлению, которые сводились, по сути, к «удалению, объединению или улучшению неполноценного контента».

Однако мало кто рассматривал советы Google по повышению качества как что-то, что может быть измерено алгоритмически. В то время SEO-сообщество не могло предположить, что искусственный интеллект будет использован для коренной трансформации методов оценки. Благодаря использованию моделей машинного обучения алгоритмы теперь могут интерпретировать огромное количество сигналов, учась определять пользу, актуальность и глубину информации и соответствующим образом корректировать ранжирование.

Можно теоретически рассуждать о том, как это происходит, но мы точно знаем, что поощряются сайты, соответствующие рекомендациям Гугл по полезному контенту.

Поиск осуществляется на основе сотен алгоритмов и моделей машинного обучения

Google написала статью о том, как ИИ влияет на результаты поиска. В ней, в частности, сказано, что система основана на работе сотен алгоритмов и моделей машинного обучения. Каждый срабатывает в разное время и в разных комбинациях, чтобы обеспечить наиболее полезные результаты.

В статье подробно рассказывается о том, как система глубокого обучения под названием RankBrain используется для ранжирования сайтов. Ее называют «одной из основных систем искусственного интеллекта, обеспечивающих работу поиска сегодня». В статье также идет речь о нейронном подборе, использующем ИИ для определения идеи, которую ищет пользователь, и контента, соответствующего ей. Это считается «большим скачком вперед от понимания слов к понятиям».

Если вы уже запутались, то все сводится к следующему: поиск работает на основе сотен алгоритмов и моделей машинного обучения, которые генерируют сигналы, помогающие определить, насколько качественными и полезными являются страницы.

Ключ к ранжированию — постоянно быть наиболее полезным результатом. Чтобы ваш сайт был именно таким, необходимо учитывать каждый из критериев полезного контента Google. Они представляют собой обобщенную версию руководства по оценке качества поиска.

Роль оценщиков качества в алгоритмах машинного обучения

На странице Google «Как работает поиск» говорится о применении систем машинного обучения, которые помогают лучше оценивать релевантность. По словам представителей компании, для такого анализа используются «данные о взаимодействии» — от людей, которые взаимодействуют с поисковой системой. Их называют Quality Raters, или оценщиками качества. Затем эти данные преобразуются в сигналы. Выше мы упомянули несколько систем, генерирующих их, включая системы полезного контента и ранжирования отзывов.

Что же представляют собой эти данные о взаимодействии?

В документации Google о том, как используются Quality Raters, упоминаются два источника.

Данные о взаимодействии: роль поиска в режиме реального времени

Эксперименты в режиме реального времени помогают моделям машинного обучения определить, справляются ли они со своей задачей по лучшему распознаванию полезного контента. Если нет, то системы могут узнать, каким характеристикам можно придать больший вес в алгоритмах, чтобы добиться еще более высоких результатов.

Компания Google хочет, чтобы ее модели действительно хорошо распознавали качественный контент. Для этого необходимо показать множество примеров полезных и неполезных результатов. Чем больше их, тем лучше модель предсказывает правильное сочетание факторов, которые необходимо учитывать для определения качества.

Как Google получает множество примеров? У компании есть целая команда людей, которые их предоставляют.

Кто эти помощники? Это 16 000 оценщиков качества.

Оценщики качества: определение полезных и неполезных страниц

У компании Google есть документ, который каждый SEO-специалист должен прочитать несколько раз, под названием Quality Raters' Guidelines (QRG, или руководство для оценщиков качества). По сути, это учебник, помогающий оценщикам понять, что именно позволяет считать контент полезным для человека. Эти рекомендации описывают те материалы, которые используются при создании моделей искусственного интеллекта.

Критерии полезности контента представляют собой обобщенную версию рекомендаций, предложенных в QRG.

Маркировки «полезно» и «неполезно» имеют неоценимое значение для алгоритмов машинного обучения Google. Классифицируя таким образом результаты поиска, оценщики качества предоставляют реальную обратную связь, на которой алгоритмы могут учиться.

Как определяется польза страницы?

Quality Raters используют шкалу оценок, которая учитывает, насколько хорошо контент удовлетворяет потребности пользователя. Она состоит из 2 частей.

Высококачественная страница — та, которая понимает цель пользователя и отвечает ей, не причиняя вреда, предлагая высококачественный и удобный опыт. Она соответствует намерениям человека, предоставляя полезный и точный контент, а также дает значительную ценность в ответ на конкретный поисковый запрос.

Недостаточно просто иметь несколько хороших страниц. Google утверждает, что наличие достаточного количества страниц, классифицированных как неполезные, может привести к снижению позиций всего сайта, в том числе качественных страниц.

Если вы наблюдаете ухудшение поисковых показателей, то вполне возможно, что ваш контент подает Google сигналы о том, что его следует считать скорее средним по качеству на приведенном выше графике, чем высоким. Он приносит пользу. Он достигает своей цели. Но чаще всего он не является лучшим вариантом для показа пользователям.

Если большая часть ваших страниц такая, вы можете столкнуться с классификатором полезного контента. И он влияет на весь ваш сайт, а не только на низкокачественные материалы.

Довольно долгое время опытный SEO-специалист мог добиться многого с помощью постраничного SEO и наращивания ссылочной массы, чтобы улучшить ранжирование при среднем качестве контента. Сегодня же модели машинного обучения помогают Google определять, какие сайты в наибольшей степени соответствуют критериям, которые люди считают полезными. Это значительно усложняет ранжирование контента среднего уровня. Он может служить полезной цели, но не заслуживает высокой оценки.

Два столпа качества: E-E-A-T и удовлетворение потребностей пользователей

Хотя вопросы по полезному контенту и QRG дают нам много информации, создание качественных страниц сводится к двум составляющим: критериям E-E-A-T и, что еще более важно, насколько вы удовлетворяете потребности пользователей.

E-E-A-T: краеугольный камень качества

Качество — это синоним E-E-A-T. Аббревиатура расшифровывается как Experience (опыт), Expertise (компетентность), Authoritativeness (авторитетность) и Trustworthiness (надежность). В QRG понятия E-E-A-T и «качество страницы» — это, по сути, одно и то же.

Эти критерии особенно важны для страниц, которые касаются здоровья, финансов или других YMYL-тем.

Компания Google заявила, что модель E-E-A-T учитывается при каждом запросе. Но это только часть уравнения. Также очень важно, будут ли удовлетворены потребности пользователя.

В течение многих лет сайты получали преимущество в поиске за счет лучшей демонстрации E-E-A-T. Сейчас же, даже если эти критерии соблюдены, страницы могут испытывать трудности из-за того, что они не так хорошо удовлетворяют потребности пользователей. И важным компонентом здесь является опыт взаимодействия со страницей.

Опыт взаимодействия со страницей: ключевой фактор удовлетворения потребностей пользователей

В документации, посвященной опыту взаимодействия со страницей, Google утверждает, что если мы хотим добиться успеха в работе с их системами, то не должны фокусироваться только на одном или двух аспектах. То есть необходимо учитывать множество факторов.

Хотя все они влияют на принятие решения о том, насколько хороший опыт предоставляет страница, можно выделить наиболее важный критерий: «Насколько легко пользователи могут ориентироваться на вашем сайте?».

Один из самых важных советов, который можно дать касательно повышения пользы контента:

• определите, в чем заключается потребность пользователя;
• вместо того чтобы заполнять верхнюю часть статьи словами, которые люди вряд ли будут читать, удовлетворите эту потребность в качестве главного приоритета.

Очень многие страницы, на которые негативно повлияла система полезного контента, содержат массу слов, направленных не на пользователей, а на то, чтобы показать поисковым системам, что страница релевантна. Это неправильный подход.

Заключение: навигация в новой эре поискового ранжирования на основе ИИ

Хотя на горизонте маячит множество изменений в поисковой индустрии, связанных с ИИ, нам следует обратить пристальное внимание на то, как Google уже использует его, в частности машинное обучение, для повышения релевантности и пользы результатов выдачи.

Если ваш трафик снижается и вы не можете понять, почему, то велика вероятность того, что системы Гугл узнали, что ваш контент не особенно полезен для удовлетворения потребностей пользователей. Возможно, на сайте установлена классификация, которая препятствует его ранжированию.

Поработав над соответствием идеалам, описанным в руководстве для оценщиков и обобщенным в критериях полезного контента Google, мы можем повысить свои шансы на то, что алгоритмы сочтут наш ресурс полезным и релевантным результатом.

Для сайтов, попавших в категорию нежелательного контента, для восстановления необходимо удалить некачественные материалы и улучшить соответствие критериям полезного контента, а затем подождать несколько месяцев, чтобы классификацию сняли.