Необходимость закрытия страниц от индексации

Необходимость закрытия страниц от индексации и как это сделать

Авторитетный специалист в области SEO Everett Sizemore рекомендует устанавливать постоянный или временный запрет на индексирование страниц с неэффективным контентом. После того, как содержание страниц будет переписано, их делают доступными для индексирования.

Некачественный контент может являться результатом устаревших SEO тактик, таких как генерация текстов, индексация результатов внутреннего поиска, фасетная навигация. Крупные интернет-магазины могут содержать тысячи страниц с неинформативным контентом или описаниями продукции, составленными ее производителем, а также страницы, вообще не содержащие контента. Автор статьи советует закрывать такие страницы от индексации, если пользователи не посещают их, не кликают на ссылки, не делятся ими и не покупают товары. 

Это проводится для улучшения процесса краулинга и объединения метрик страницы на более важных страницах сайта. Некачественный контент негативно влияет на ранжирование всего сайта, поэтому необходимо либо улучшить его, либо избавиться от него с помощью удаления, перенаправления, установки кодов  404/410, мета-тега “Robots Noindex” и других способов в зависимости от ситуации.

Если предположить, что проиндексировано намного больше URL адресов страниц, чем категорий и артикулов, имеющихся на сайте (что бывает очень часто, так как в индекс попадают страницы пагинации, служебные страницы и т.д.), то запрет на индексирование таких страниц, скорее всего, позволит увеличить доход при сравнительно небольшом вложении инвестиций.

ВАРИАНТЫ УСТАНОВЛЕНИЯ ЗАПРЕТА НА ИНДЕКСАЦИЮ

Временный запрет на индексацию с оставлением страницы в каталоге

Можно временно запретить индексировать страницы, оставив их на сайте, используя мета-тег <META NAME="ROBOTS" CONTENT="NOINDEX, FOLLOW">
Это хорошее решение для крупных сайтов, написание контента для которых занимает несколько месяцев. Например, для интернет-магазинов, где в качестве описания товаров используются тексты, составленные их производителями.

Временное удаление страницы как из индекса, так и из каталога

Оно производится так же, как описано выше, а также осуществляется удаление страницы с товаром из навигации сайта и внутренних результатов поиска. Таким образом, прямые ссылки будут продолжать вести на страницу, Google будет продолжать обращаться к URL (вероятно тем реже, чем дольше он остается неиндексируемым), и доступ пользователей к этой странице сохраняется.
В качестве примера может служить страница товара, длительное время отсутствующего на складе, продажи которого начнутся в следующем сезоне.

Постоянное исключение из индекса с оставлением в каталоге

В зависимости от ситуации постоянное исключение из индекса можно реализовать различными способами. Например, можно сделать, чтобы URL адреса не индексировались Google, и при этом можно запретить сканирование или оставить страницы доступными для сканирования. Эти страницы, как правило, выполняют свои функции, и если их полностью удалить с сайта, то пострадает конверсия.

Пример 1: Глубокая фасетная навигация URL адреса по нескольким параметрам.

В определенный момент даже краулинг нужно запретить. В этом случае, атрибут rel=canonical не помогает, поскольку поисковики не индексируют, но продолжают сканирование страниц-дублей. Нужно использовать мета-тег “Robots, Noindex” для запрета индексации текста на таких страницах и подождать, чтобы страницы повторно просканировали. После того как они больше не индексируются, нужно добавить "Disallow:" в файл Robots.txt.

Пример 2. Объединение двух и более страниц

Иногда в интернет-магазине присутствуют несколько страниц для разных цветовых вариантов одного и того же товара, так как это обеспечивает высокую конверсию со страниц категорий, на которых посетитель может увидеть все варианты цвета сразу. В этом случае можно либо написать уникальные тексты для каждого варианта товара, либо установить  каноническую ссылку с помощью атрибута  "Rel = Canonical", указав поисковым системам адрес страницы, предпочтительной для индексации.

Постоянное исключение как из индекса, так и из каталога

Если вы не хотите, чтобы URL адреса индексировались и были доступны для поисковых систем и покупателей, просто удалите их и установите коды ответа сервера 404 или 410. Альтернативным решением является установка паролей на такие страницы. Менее радикальным, но часто более полезным решением является объединение страниц.

Пример 1. Страница снятого с продаж товара, не имеющая внешних ссылок.
Пример 2. Страницы подкатегорий, на которых нет товаров.

Объединение двух и более страниц

Оно предназначено для передачи трафика и авторитетности одной страницы на другую страницу.

Пример 1. Объединение страниц путем перенаправления одного URL на другой.

Продажа товара Acme Widget 1.0 прекращена. Посвященная ему страница имеет несколько высококачественных внешних ссылок, потому что этот продукт был первый в своем роде. Этот URL-адрес перенаправляется на товар следующего поколения этой линии продукции, Acme Widget 2.0,  и на его странице размещается большая надпись "новый и улучшенный".

Пример 2.  Объединение с использованием атрибута “rel=canonical” , чтобы указать поисковику основную, т.е. каноническую страницу и запретить ему индексировать все  ее дубли. При посещении дубликатов, ссылающихся на основную страницу, их вес/значимость переносятся на главную. 
Используйте “rel=canonical”, чтобы указать, что /Mens/Accessories/Ties/и / /Accessories/Mens/Ties/, по существу, одна и та же страница (в данном случае, обе страницы остаются в каталоге, хотя есть, конечно, и другие варианты).

Пример 3. Модели, выполненные в разных цветовых вариантах, можно скомбинировать в выпадающих списках вариантов этого товара, если цвет не является важным условием при поиске этого товара. Перенаправления могут выполняться или не выполняться.

Пример 4. Комбинирование контента, чтобы несколько страниц среднего качества стали одной высококачественной страницей.
Например, на сайте есть множество страниц категории «Выхлопные трубы», созданных для всех возможных вариаций ключевых фраз. Они индексируются и есть в карте сайта, но у посетителей нет возможности попасть на эти страницы с помощью навигации. Поскольку вам не нужны 10 страниц категории о выхлопных трубах, эти страницы можно сгруппировать по темам, выбрать из каждого набора самую эффективную страницу и перенаправить на нее другие.

ЧТО ЗАКРЫВАТЬ ОТ ИНДЕКСАЦИИ ВО ВРЕМЯ АУДИТА КОНТЕНТА

Неинформативный «тонкий» контент

Пример 1. Страница товара, единственным описанием которого  является "Сделано в США".
Исключаем из индексирования с помощью мета тега <META NAME="ROBOTS" CONTENT="NOINDEX, FOLLOW"> пока не будет добавлен полезный контент.

Пример 2.  Страница категории верхнего уровня без статичного контента.
НЕ закрывать, а как можно скорее добавить полезный контент.
Дублированный контент

Пример 1: Страница товара, содержащая текст, написанный его производителем и дублированный на других сайтах.
Закрыть с помощью  мета-тега <META NAME="ROBOTS" CONTENT="NOINDEX, FOLLOW"> пока не будет написан уникальный контент.

Пример 2: Страницы вариантов товара (черный, желтый, зеленый, 6 штук в упаковке, 12 штук в упаковке).
Можно написать уникальный контент для каждого артикула, имеющего собственную страницу или объединить все варианты товара на одной странице с селектором выпадающего списка, а затем перенаправить на нее все остальные страницы или же установить на объединяющую страницу каноническую ссылку с помощью " rel=canonical".

Пример 3: На индексируемых страницах пагинации располагается один и тот же статичный контент.
Необходимо показывать статичный контент только на первой странице и исключить из индексирования остальные URL-адреса с помощью <META NAME="ROBOTS" CONTENT="NOINDEX, FOLLOW">.

Неэффективный контент, в том числе:

• страницы, не имеющие ссылок;
• страницы, которыми не делятся;
• страницы, не дающие трафика;
• не продающие страницы.

Решение об их удалении или улучшении принимается в зависимости от ситуации.

Страницы товаров, снятых с продажи или долго отсутствующих на складе
В этом случае рассмотрите возможность запрета на индексирование таких страниц. Конечно, было бы заманчиво их оставить из-за трафика, идущего на эти страницы, но лучше перенаправить эти URL на товары следующего поколения (или на страницу ближайшей к ним категории). Эта страница начнет ранжироваться по лучшим ключевым словам, а пользователи не будут попадать на страницу отсутствующего товара. Если на страницу отсутствующего продукта нет ссылок, нет прямого или реферального трафика, то перенаправление будет более эффективным, чем полное удаление страницы с показом кода состояния 404 или 410.

Индексируемые результаты поиска

Автор рекомендует удалить их из индекса, а затем заблокировать их в файле robots.txt. Тем не менее, у автора был клиент, получающий высокий трафик по этим результатам, что не позволило закрыть их от индексации. Каждая ситуация индивидуальна, и один совет подходит не всем, поэтому приведенные выше рекомендации предоставляются только в качестве общего примера.

Статья написана на основании информации с сайта moz.com