Как составить структуру сайта и какие инструменты использовать

Как создать интернет-магазин: правила SEO-оптимизации
10.12.2017
Быстрое исследование индексации сайта через новый Вебмастер
10.12.2017
Руслан Фатхутдинов
Руководитель SEO-отдела,

Реаспект

Как я писал в прошлой статье «Быстрое исследование индексации сайта через новый Вебмастер»: «Составление структуры сайта – то, что необходимо делать с самого начала работы над новыми проектами. Именно на этом этапе специалист знакомится с проектом, получает первые представление о проблемных зонах и точках роста.»

При этом структура сайта может помочь в понимании сайта всем специалистам, которые работают над проектом: контекстологи, аналитики, маркетологи и т.д.

В этой статье я расскажу, как мы подходим к составлению структуры сайта и какие инструменты используем.

Инструменты

Чтобы составить структуру сайта вполне хватит и простого notepad.exe, но для того чтобы эта структура была еще и наглядной и легко масштабировалась, я советую использовать приложение для составления mind-карт, например, Xmind.

Для некоторых из описанных способов могут понадобиться и другие инструменты, о которых я упомяну дополнительно.

Способы составления структуры сайта

Есть несколько способов для составления структуры, у каждого есть свои плюсы и минусы.

Я хочу остановиться на следующих способах:

  • «Ручное» составление
  • Составление на основе поисковой выдачи
  • Составление с использованием парсеров
  • Составление на основе выгрузки из вебмастера

Перед тем как перейти к описанию самих способов, хочу посоветовать «семплировать» однотипные страницы.

То есть, если в категории есть много товаров, не стоит все их заносить в карту, ограничьтесь примером одной страницы.

Каждый способ, кроме «Ручного», для наглядности я буду разбирать на реальных сайтах. А в конце данной статьи будут приложены ссылки на скачивание полученных документов.

«Ручное» составление

Данный подход заключается в том, что вы просматриваете своими глазами сайт страница за страницей и «закидываете» данные в карту.

Минусы: это самый «громоздкий» и трудозатратный способ, который требует огромного количества времени и абсолютно не гарантирует высокое качество.

Плюсом, наверное, является то, что это дело можно поручить любому человеку, мало-мальски умеющему обращаться с компьютером. Но смотрим на минусы.

Составление на основе поисковой выдачи

Подход заключается в изучении поисковой выдачи Яндекса по сайту с применением документных операторов:

  • “rhost:” – поиск по хосту и поддоменам;
  • “host:” – поиск по страницам хоста;
  • “inurl:” – поиск по страницам, содержащим в адресе заданный набор символов;
  • “~~” – минус или исключение.

Данный способ является моим любимым, благодаря своим достоинствам он дает очень хорошее представление о структуре любого сайта, о котором знает Яндекс, и не требует особых навыков от исполнителя.

Но и минусы у данного подхода ощутимые:

  • Средние трудозатраты
  • Не всегда можно получить точную карту сайта

Ограничения:

Сайт должен некоторое время индексироваться Яндексом;

Адреса страниц сайта должны быть ЧПУ, или у исполнителя должно быть точное представление о паттернах формирования адресов страниц.

Приступим к практической части и изучим структуру сайта, которым я часто пользуюсь readly.ru.

1. Первым делом узнаем, есть ли у сайта поддомены. Для этого в поисковой строке вбиваем запрос:

Запрос

Расшифровка

rhost:ru.readly* ~~ host:readly.ru

Поиск по хосту и поддоменам:ru.redly* минус хост основного зеркала:readly.ru

Как составить структуру сайта и какие инструменты использовать
Рис. 1 «Результаты поиска по поддоменам»

В результатах видим, что поддомены есть, а всего Яндекс знает о 3554 млн страниц, расположенных на поддоменах.

Поочередно добавляем найденные поддомены в нашу карту сайта, дополняя поисковый запрос, минусуя новые поддомены до тех пор, пока поисковая выдача не станет пустой.

Для изучаемого сайта итоговый запрос был таким:

rhost:ru.readly* ~~ host:readly.ru ~~ host:m.readly.ru

Карта поддоменов:

Рис. 2 «Карта поддоменов»

Позже каждый поддомен можно будет изучить более подробно описанным способом, а пока вернемся к основному сайту.

2. Изучаем выдачу по хосту.

Как составить структуру сайта и какие инструменты использовать
Рис. 3 «Результаты выдачи по хосту»

3. Аналогично тому, как мы исключали поддомены, начинаем исключать разделы первого уровня.

Но теперь в запросе мы исключаем паттерны, содержащиеся в URL-адресах. И сразу хочу предупредить об особенностях:

  • Исключать лучше точный паттерн URL, т.е. если URL раздела состоит из одного слова, лучше «захватить» еще и паттерн предыдущего раздела или его часть;
  • Так как в паттерне будет более одного слова, его необходимо взять в кавычки «»;
  • Иногда разделов на сайте может быть больше, чем максимальная длина поискового запроса в 400 знаков. В таком случае приходится искать способы изучения: использовать парсеры поисковой выдачи, сокращать длину запроса или, что чаще, продолжить изучать выдачу руками (обычно к этому моменту в выдаче остается в основном мусор).

Пример запроса:

Запрос

Расшифровка

host:readly.ru ~~ inurl:»ru/books»

Поиск по страницам хоста:readly.ru минус страницы содержащие:»ru/books»

Также начинаем дополнять нашу карту сайта и поисковый запрос разделами сайта до тех пор, пока поисковая выдача не опустеет.

Итоговый запрос для изучаемого сайта следующий:

host:readly.ru ~~ inurl:»/books/» ~~ inurl:»/book/» ~~ inurl:»/genre/» ~~ inurl:»/author/» ~~ inurl:»/collection/» ~~ inurl:»/serie/» ~~ inurl:»/pages/» ~~ inurl:»/discussion/» ~~ inurl:»/tag/» ~~ inurl:»/discussions/» ~~ inurl:»/poll/» ~~ inurl:»/sitemaps/» ~~ inurl:page ~~ inurl:»/authors/» ~~ inurl:»/series/» ~~ inurl:»/reviews/» ~~ inurl:»/public/» ~~ inurl:»/collections/»

И в выдаче осталась только 1 главная страница.

Как составить структуру сайта и какие инструменты использовать
Рис. 4 «Оставшиеся после исключения разделов страницы»

Получаем карту разделов.

Как составить структуру сайта и какие инструменты использовать
Рис. 5 «Карта разделов»

4. Получив карту разделов, сайта переходим к изучению каждого отдельного раздела.

Запрос остается почти таким же при изучении основных разделов, с той разницей, что добавляется условие, что искать надо не только по сайту, но и по самому разделу.

Пример запроса:

Запрос

Расшифровка

host:readly.ru inurl:»ru/books/»

Поиск по страницам хоста: readly.ru по страницам, содержащим:»ru/books/»

Таким образом, изучая каждый раздел мы получаем полную карту сайта. Как минимум карту сайта, каким его видит Яндекс.

Как составить структуру сайта и какие инструменты использовать

Рис. 6 «Карта сайта, как его видит Яндекс»

Составление структуры сайта при помощи парсеров

Данный способ заключается в том, что информация о страницах сайта собирается при помощи программ или сервисов-парсеров.

Мы в своей работе используем Screaming Frog, т.к. он довольно гибкий и удобный в работе. Вы можете использовать другие инструменты, которых сейчас можно найти много.

Плюсы:

  • Самый быстрый и легкий способ получения информации
  • Наименьшие трудозатраты
  • Самая полная информация о структуре сайта

Минусы:

  • Некоторые парсеры платные
  • Сайт может быть очень объемным, поэтому парситься он может очень долго

Ограничения:

  • Если URL-адреса сайта не ЧПУ, крайне рекомендуется наличие хлебных крошек на всех страницах.

Как я сказал выше, мы используем для работы Screaming Frog, поэтому пример буду делать на основе данной программы.

А в качестве подопытного сайта я возьму первый попавшийся сайт по запросу «Пластиковые окна».

Первым делом настраиваем программу:

  • Отключаем проверку всего лишнего (изображения, CSS, JS, внешние ссылки);
  • Включаем переходы по внутренним ссылкам, закрытым в nofollow;
  • Включаем игнорирование robots.txt.
Рис. 7 «Настройки Screaming Frog»

Также в настройках «Извлечения» настраиваем выгрузку содержания хлебных крошек страниц. Это сильно упрощает понимание структуры сайтов без ЧПУ.

Для этого идем в Configuration – Custom – Extraction. Включаем выгрузку Xpath – Extract Text и указываем xpath-код.

Как составить структуру сайта и какие инструменты использовать
Рис. 8 «Настройка извлечения»

Самый быстрый и простой способ узнать Xpath нужного элемента – в Google Chrome открыть консоль (Ctrl+Shift+I), выделить нужный элемент и в контекстном меню выбрать Copy-Xpath.

Как составить структуру сайта и какие инструменты использовать
Рис. 9 «Копирование Xpath»

Запускаем сбор информации по сайту и после окончания выгружаем список страниц URL с извлеченными xpath-данными. Для этого переходим на вкладку Custom-Extraction и нажимаем «Export».

Рис. 10 «Выгрузка данных»

Открываем полученный файл в таблицах и сортируем список:

  • По URL – Значения – От А до Я
  • Затем по столбцу с извлеченными данными – значения – от А до Я
Как составить структуру сайта и какие инструменты использовать
Рис. 11 «Сортировка полученных данных»

Таким образом мы получаем список страниц и разделы, к которым данные страницы относятся.

Остается только перенести полученные данные в карту.

Как составить структуру сайта и какие инструменты использовать

Рис. 12 «Карта спаршенного сайта»

Составление структуры сайта на основе выгрузки данных из Яндекс.Вебмастера

Этот способ очень близок к способу составления изучением индекса Яндекса, за исключением того что нам не надо работать с поисковой выдачей, а можно сразу выгрузить все данные о страницах, которые знает Яндекс.

Плюсы: дает хорошее представление о структуре сайта и не требует больших временных затрат.

Минусы: мы смотрим на сайт «глазами» Яндекса и, если поисковая система, в силу каких-то причин, не знает о всех разделах и страницах сайта, мы их тоже упустим.

Ограничения аналогичны предыдущему способу: сайт должен индексироваться Яндексом. Очень желательно ЧПУ у сайта. Нужно иметь доступ к данным о сайте в Яндекс.Вебмастере.

Первым делом мы добавляем и подтверждаем сайт и все его поддомены в Яндекс Вебмастере.

Рис. 13 «Сайты, добавленные в Яндекс Вебмастер»

Как видно, кроме домена reaspekt.ru у нас есть еще 3 поддомена: наш блог, поддомен по разработке сайтов и поддомен по продвижению, каждый из которых мы добавляем в карту сайта.

После этого выгружаем данные по каждому домену (подробно я описывал работу с выгрузкой в предыдущей статье) и начинаем заполнять карту сайта.

Рис. 14. «Карта сайта с поддоменами из Яндекс.Вебмастера»

Как и обещал, даю ссылку на скачивание всех получившихся структур сайтов.

Выводы

В своей работе мы параллельно используем сразу несколько способов составления карты сайта, каждый из которых дополняет ее новыми разделами и выявляет проблемные зоны, которые можно и нужно исправлять.

Как вы можете убедиться, процесс этот, хоть и трудоемкий, но не такой сложный.

В итоге вы получаете карту сайта, которая легко воспринимается любым специалистом.

В этой статье я планировал раскрыть вопрос того, как и зачем дополнять полученную карту, какие данные будут полезны и так далее, но пришел к выводу, что эта тема больше подойдет к отдельной статье, которую я планирую написать позже.