Внутренняя оптимизация: meta robots, canonical, пагинация

Внутренняя оптимизация часть 4

Содержание:


Тег meta robots

В этой статье, по сути, будет продолжение темы “управления индексацией”.  Начнем мы с инструмента meta robots. Но что же это такое? Это не что иное, как  мета тег. Записывается он следующим образом, —

<meta name="robots" content="noindex"/>

В атрибуте content мы даем рекомендацию роботу ПС, как ему поступать с содержимым страницы. Например,

content ="index, follow"

даст установку индексировать содержимое страницы командой index, и переходить по всем ссылкам на странице командой follow.

Если, к примеру, мы установим содержание атрибута content иначе, —

<meta name="robots" content="noindex, nofollow"/>

это будет означать, что данная страница не предназначена для индексирования, и переходить по ссылкам, содержащимся на данной странице, мы не рекомендуем. Как видим, этот инструмент дает нам некоторую более высокую гибкость в настройке. Т.е. можно установить для одной страницы два параметра в одном теге.

В случае необходимости, можно применять и дополнительные директивы. Они позволят еще более гибко настроить поведение робота на странице. Все существующие команды указаны в таблице ниже (рис. 1).

Директивы для робота

Рисунок №1 — Директивы для роботов поисковой системы google 

Существует еще один момент, который будет не лишним —  учесть те страницы, которые мы закрываем в мета теге, должны быть открыты в файле robots. Причиной этого является то, что файл robots срабатывает раньше, чем тег. Дополнительную информацию по данному мета тегу можно прочесть в справке гугл.

Важно!

Возникает резонный вопрос, а нельзя ли просто использовать robots.txt и не утруждать себя пониманием работы тега robots. Так вот, у файла  robots.txt есть существенный недостаток. Если страница уже проиндексирована, а потом ее закрыть в роботсе, то из индекса она не будет удалена, а вот тег, может позволить не только препятствовать попаданию в индекс, но и удалить из индекса ранее проиндексированные страницы. Вывод — каждый инструмент хорош по-своему и важно понимать нюансы работы.

Canonical

Следующий инструмент, с которым мы познакомимся — это канонические адреса или canonical. Это тоже тег и выглядит он следующим образом :

 <link rel="canonical" href="url">

Если посмотреть на определения того, что можно сделать при использовании  canonical, в справке google, то мы увидим следующее — “указать каноническую страницу из числа одинаковых или похожих”.

Не уверен, что такая формулировка станет понятной каждому читателю. Выражая наименее коротко суть данного тега, получим — решение проблемы дублирования страниц. В некотором роде это альтернатива 301 редиректу.  Она очень удобна в тех случаях, когда редирект нет возможности использовать, или в тех, когда необходимо предоставить страницу для просмотра пользователю. Давайте на практике рассмотрим область применения тега canonical и увидим, как именно он способен решить поставленную перед ним проблему.

Представим, что у нас есть некий интернет магазин и все товары в нем распределены по категориям и брендам (рис. 2).

Использование тега canonical

Рисунок №2 — Использование тега canonical

Как видно из рисунка 2, если пользователь проследует двумя этими разными путями, он в результате может получить два разных адреса, что в свою очередь для ПС будет являться двумя разными страницами, но с дублирующимся контентом. Так вот, тут нам и поможет тег canonical (рис. 3).

Использование тега canonical 2

Рисунок №3 — Использование тега canonical 2

На странице, которая является “второстепенной\производной”, в нашем случае это domen.com/chanel/duhi, в блоке заголовков мы указываем  поисковым роботам, что данная страница является как бы дополнением к канонической странице. В коде страницы это будет выглядеть следующим образом (выделено жирным).

<head>
<meta charset="UTF-8">
<title>Название страницы</title>
<meta name="description" content="Описание страницы" />
<link rel="stylesheet" type="text/css" href="style.css" />
     <link rel="canonical" href="domen.com/duhi/chanel">
</head>

В результате страница, являющаяся производной, не будет присутствовать в индексе ПС и, к тому же, передаст свой рейтинг канонической странице.

Пожалуй, что не лишним будет еще привести примеры работы данного тега. Иногда с пониманием логики работы canonical возникают сложности.

К примеру, canonical можно встретить при формировании страниц пагинации (рис. 4).

Пагинация страниц каталога

Рис. 4 Пагинация страниц каталога

Вернемся к примеру с интернет- магазином. Допустим, у нас есть категория “каталог отдельной группы товаров”, в ней 500 товаров. Мы создаем одну страницу с адресом, на подобие  domen.com/catalog/view-all.html. Эта страница будет отображать все товары категории. При этом, у нас будут страницы пагинации, на каждой из которых будет по 20 товаров из общей родительской категории. На всех этих страницах будет  стоять тег canonical, который будет указывать страницу domen.com/catalog/view-all.html, как каноническую (рис. 5).

canonical для страниц пагинации

Рис. №5 — Canonical для страниц пагинации

<link rel="canonical" href="http://domen.com/catalog/view-all.html" />

Также canonical может быть полезным в тех случаях, когда у нас на сайте есть сортировка товаров. Так вот, если настройки cms такие, что при изменении сортировки(например, от дорогих к дешевым) меняется и адрес страницы, тогда стоит установить со всех производных страниц canonical на страницу с сортировкой по умолчанию. Пожалуй, о canonical  это вся основная информация. Далее чуть более детально затронем вопросы касающиеся разметки на страницах пагинации.

Разметка страниц пагинации

Страницы пагинации в вебе являются ничем иным, как постраничным выводом информации. Т.е. у нас есть блог на тему кулинарии, в нем есть блок японская кухня и в нем 100 рецептов. Мы делим отображение этого блока на части по 10 рецептов, и в результате получаем 10 страниц пагинации на каждой по 10 рецептов.

Удобство такого разделения очевидно. Но нас больше интересует то, какие сложности это порождает для взаимодействия поисковых систем и нашего сайта,  и как их решить.

Первая проблема заключается в том, что эти 10 страниц будут дублировать уже не контент, а именно смысл. Как минимум, это то, что мы столкнемся с дублированием тегов title и description. Одинаковые теги заголовка и описания на страницах пагинации могут запутать ПС и затруднить ему определение того, какая из этих страниц действительно является релевантной.  В целом, поисковая система сможет самостоятельно определить, где первая страница категории, а где последующие. Мы же как оптимизаторы должны помогать ПС правильно понимать наш сайт и при этом с максимальной эффективностью.

В решении проблемы корректной индексации, нам помогут атрибуты rel = "next" и rel="prev". Размещая эти атрибуты в теге <head></head> нашего сайта мы покажем, что это не ряд самостоятельных страниц, а некая последовательность, которая по смыслу будет одним и тем же. Страницу, у которой не будет атрибута rel="prev", поисковая система будет идентифицировать, как ключевую во всей последовательности.

Как следствие, ПС добавит все эти страницы в индекс, но в выдаче будет выводить именно первую страницу последовательности.

Теперь давайте разберем все это наглядно на примерах, для лучшего закрепления понимания (рис. 6).

Логика атрибутов prev и next

Рис. №6 — Логика атрибутов prev и next

Стоит обратить внимание на то, что с первой страницы последовательности не должно быть атрибута rel="prev", а у последней страницы не должно быть next.

В коде это должно выглядеть следующим образом.

 

Первая страница

<html>
 <head>
  <meta http-equiv="Content-Type" content="text/html; charset=utf-8">
  <title>Пример веб-страницы</title>
  <link rel="next" href="https://domen.com/category/?page=2" />
 </head>
 <body>
<p>content</p>
 </body>
</html>

Вторая страница

<html>
 <head>
  <meta http-equiv="Content-Type" content="text/html; charset=utf-8">
  <title>Пример веб-страницы</title>
  <link rel="next" href="https://domen.com/category/?page=3" />
 <link rel="prev" href="https://domen.com/category/?page=1" />
 </head>
 <body>
<p>content</p>
 </body>
</html>

Третья страница

<html>
 <head>
  <meta http-equiv="Content-Type" content="text/html; charset=utf-8">
  <title>Пример веб-страницы</title>
  <link rel="next" href="https://domen.com/category/?page=4" />
 <link rel="prev" href="https://domen.com/category/?page=2" />
 </head>
 <body>
 <p>content</p> 
</body>
</html>

Четвертая страница

<html>
 <head>
  <meta http-equiv="Content-Type" content="text/html; charset=utf-8">
  <title>Пример веб-страницы</title>
 <link rel="prev" href="https://domen.com/category/?page=3" />
 </head>
 <body>
 <p>content</p>
 </body>
</html>

При работе с пагинацией важно понимать, что если есть возможность вообще обойтись без нее, то лучше так и сделать. В тех случаях, когда у вас будет рубрика в которой всего 20-30 статей или раздел, в котором не более 30 товаров, то лучше просто вывести их одной страницей. Такой подход не имеет недостатков, как таковых,  при этом избавит вас от рисков допустить ошибку при настройке. Как один из вариантов, можно использовать динамическую подгрузку страниц при помощи javascript и ajax. Вероятно, вы встречали на многих сайтах в каталогах товаров вместо переключений страниц пагинации кнопку, которая подгружает еще товары (рис. 7). Если в вашем распоряжении есть квалифицированные программисты или же вы сами таковым являетесь, можно использовать такой подход.

AJAX и Javascript прокрутка

Рисунок №7 — AJAX и Javascript прокрутка

Давайте подытожим:

  • Для более гибкой настройки индексации мы можем использовать тег <meta name="robots" content="noindex" />;
  • В тех случаях, когда на сайте появляются страницы, которые являются производными от других страниц, необходимо использовать атрибут rel="canonical";
  • Если же на вашем сайте будут категории с большим количеством товаров или рубрики со статьями в количестве 30+, нужно настроить пагинацию одним из вышеперечисленных способов.

Конечно же, развивать возможные варианты применения данных инструментов, можно еще очень долго. И для действительно глубокого понимания нюансов нужна практика и еще раз практика. Сейчас же будет достаточно уверенного понимание принципов управления пагинацией и индексацией. И как всегда, to be continued…

Список источников

  1. Пагинация для SEO — пошаговое руководство
  2. Атрибут rel= «canonical» — полное руководство по использованию канонических ссылок
  3. Как консолидировать повторяющиеся URL
  4. Внутренняя оптимизация: meta robots, canonical, пагинация
  5. Интервью Эрика Энджа с Мэттом Каттсом. Часть III

Автор Виталий Сухомлинов
практикующий Seo-специалист
и программист любитель

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *