browser adware remover
Промокод: XXXXXX
0-800-759-750
Мы на связи с 7:00 до 24:00

Как вывести текущую структуру сайта

Шепель Евгений
24 сентября 2018
Комментарии: 0

Всем привет. Иногда мы сталкиваемся с ситуацией, когда необходимо вывести текущую структуру сайта, обычно весь процесс сбора структуры идет в ручном режиме. Сегодня я покажу как можно этот процесс автоматизировать.

Окей, убедитесь что у вас на рабочем столе есть иконки следующих программ:

  • Screaming Frog SEO Spider;
  • Excel.

С этим разобрались, идем дальше.

Чтобы долго не рассказывать, лучше все показать. Погнали.

Сразу кейс

Возьмем для примера сайт https://gutsant.ru/.

Первое что нам необходимо сделать, это перейти на типовый раздел сайта, в нашем случае пусть это будет раздел «Ванны».

После чего необходимо получить XPath запрос текущей хлебной крошки. Для этого кликаем на элементе правой кнопкой мыши, и выбираем «Просмотреть код»:

xpath запрос - выбираем просмотреть код

XPath – это язык запросов к структуре xml или html документа. С помощью него можно достать любой видимый и невидимый элемент на странице веб-сайта.

Дальше так же кликаем правой кнопкой на элементе последней хлебной крошки и копируем XPath запрос:

копируем xpath запрос

Сам полученный код необходимо закинуть в программу Screaming Frog SEO Spider, для этого запускаем ее, переходим в панель экстракции:

screaming frog seo переходим в панель экстракции

Размещаем его в первом поле, выбрав из лист-бокса XPath, также не забудьте немного модифицировать код заменив порядковый номер хлебной крошки на любой (*):

выбрав из лист-бокса xpath

Теперь когда все настроили запускаем парсинг сайта:

запускаем парсинг сайта

Если сайт большой, или вы не хотите добавлять некоторые разделы в структуру, можно ограничить работу жабы через настройку Exclude:

через настройку exclude

Например, я не хочу выводить все подразделы категории «Ванны», для этого используем следующий код:

выводить все подразделы категории ванны

Точка со звездочкой означает любой символ.

И вот когда фрог закончил парсить сайт нам необходимо экспортировать полученные данные в Excel. Для этого переходим во вкладку Custom >> Extraction:

переходим во вкладку Custom >> Extraction

КОМПЛЕКСНЫЙ АУДИТ САЙТА
Профессиональный комплексный аудит сайта - глобальный анализ вашего проекта ✔ Подробный отчет с перечнем ошибок и рекомендаций для улучшения ✔ Увеличение конверсий
Получить консультацию
Наш менеджер свяжется с Вами в ближайшее время

И экспортируем через кнопку:

screaming frog seo spider - экспортируем через кнопку

При экспорте выбирайте книгу excel:

при экспорте выбирайте книгу excel

Открываем полученный файл и сразу удаляем столбцы B и C, т.к. данная информация нам не нужна:

открываем полученный файл и сразу удаляем столбцы B и C

Столбец А перенесите в столбец F, для более удобного представления данных и сам пустой столбец А удалите. Расширьте ячейки для более удобной работы. После всех вышеописанных манипуляций вы увидите примерно следующее:

после всех вышеописанных манипуляций вы увидите примерно следующее - excel

Теперь нам необходимо все это отсортировать. Выделяем все столбцы с информацией и нажимаем кнопку «Сортировка», настраиваем ее так:

нажимаем кнопку сортировка

Полученный итог:

полученный итог 
 - excel

Теперь в каждом столбце удаляем все дубли оставляя только самую первую строку с инфой.

Т.е. удаляем все «Главная страница», кроме первой записи, и так далее по всем столбцам. После небольшого форматирования у нас на руках есть готовая структура любого сайта в интернете, если на нем, конечно же, есть хлебные крошки:))

готовая структура любого сайта

Вот так всего за пару минут настройки мы получили готовую структуру на которую иногда уходит больше одного часа.

Добавить комментарий
Напишите комментарий *
Ваше имя *
Электронная почта *
категории блога
Последние статьи
Сервисы для проверки контента
Варламов Алексей, 13 декабря 2019
Что такое SEO
Варламов Алексей, 20 июня 2019
Взрывной рост в 2019-ом
Варламов Алексей, 12 июня 2019
Продвигаете сайт и нет результата?
Мы проведем бесплатный экспресс аудит вашего сайта и укажем основные причины низкого ранжирования.
Номер телефона
Электронная почта
Адрес сайта