Малоценные и маловостребованные страницы: как их найти и что с ними делать

Нужно сначала определить из-за чего страницы на вашем сайте считаются малоценными. Глобально можно выделить 2 причины:

1. страницы не содержат видимый роботу контент
2. дублирование содержимого. 

В первую очередь проверьте корректно ли поисковик индексирует страницы. Для этого нужно посмотреть сохраненные копии таких страниц и отдаваемый сайтом HTML-код https://webmaster.yandex.ru/tools/server-response/. Если все необходимые блоки отображаются, то робот их учитывает. Значит проблема не в видимости контента. Если же робот не индексирует какие-то важные блоки (например, калькулятор, который выводится через JS или текст/видео в iframe), то стоит их переверстать. 

Другой причиной из-за чего Яндекс может посчитать страницу малоценной — это дублирование ее контента относительно других страниц сайта. Поисковик учитывает все части индексируемых страниц: шапку, меню, подвал, блок с фильтром и так далее. Так как эти блоки для каждой страницы зачастую повторяются, то снижается процент уникальности страниц относительно друг друга. Если контента (текста) на страницах мало (картинки, видео не учитываются), то они с большой долей вероятности будут считаться дублями. В эту же категорию попадают полные и частичные дубли. 

Также стоит проверить генерацию мета-тегов и заголовков, чтобы они не были одинаковыми для разных страниц.

Решением проблемы с малоценными страницами будет их уникализация между собой или закрытие их от индексации. 

Есть 2 варианта, как уникализировать страницы: 

1. Добавлять текстовый контент: обычный текст, блок с похожими товарами/услугами, характеристики, отзывы и так далее. Читайте также, что должно быть на товарной странице. https://liderpoiska.ru/blog/optimizatsiya-kartochki-tovara-dlya-internet-magazina/ 
2. Скрывать через конструкцию <noindex></noindex> сквозные блоки: шапку, подвал, формы для заявки, часть меню и т.д..

Лучше эти 2 метода комбинировать, потому что через <noindex> вы можете закрыть важные блоки и ключи, которые нужны для хорошего ранжирования страниц. К тому же сильно повысить уникальность таким способом не получится. 

Закрыть страницы от индексации можно следующими вариантами:

• Через robots.txt.
• Удалить и настроить 301 редирект.
• Использовать атрибут rel=“canonical”.
• Использовать Clean-param.
• Использовать директиву noindex.

• Товарные страницы без описаний и с множеством одинаковых сквозных блоков: меню, подвал, шапка, статичные отзывы, преимущества магазина и так далее. 
• Страницы категорий без товаров (часто получаются при автоматической генережке по нескольким фильтрам).
• Технические страницы, которые не были закрыты от индексации: страницы сортировок, поиска и так далее.
• Страницы только с графическим контентом: примеры работ, альбомы. 
• Страницы с одинаковыми мета-тегами.

Причины появления таких страниц две:

1. Контент оптимизирован под неправильные запросы, которые никто не использует. Соответственно Яндекс страницы не показывает в поиске, так как они никому не нужны.
2. Контент страницы не соответствует поисковому запросу. Алгоритм оценивает каждую страницу, будет ли она показана по запросам на тех позициях, где пользователь сможет ее найти.

В первом случае нужно: 

1. Изменить формулировку под которую оптимизирована страница (в заголовке, текстах, Н1).
2. Переделать страницу под более частотный запрос (изменить содержимое страницы). Введите фразу под которую сейчас оптимизирована страница в поиск и посмотрите, что выдаст Яндекс. Скорее всего это будут более популярные синонимы в результатах выдачи. Проведите оптимизацию под них.
3. Закрыть страницу от индексации, если ни один из вышеописанных вариантов не применим. 

Во втором случае нужно пересмотреть содержимое страницы, чтобы контент соответствовал тому, что указано в заголовке. Простой пример: если в тайтле и Н1 указано «желтые майки», то и на странице должны быть майки желтого цвета, а не разных. 

Страницы без спроса. Часто получаются путем применения множества фильтров (трех и более). Например: вечерние (1) красные (2) длинные (3) платья на лето (4). Частота такого запроса нулевая и в выдаче по нему показываются более общие страницы. В таком случае лучше склеить страницу (301 редиректом или канониклом) в сторону более частотной или закрыть через robots.txt или мета-тег noindex.

Оптимизация под неправильную формулировку. Например, страница оптимизирована под неправильную формулировку: «купить горные велосипеды с крупными колесами». 

Правильно будет: «купить горные велосипеды с большими колесами». 

Не соответствие поисковому запросу. Например, ваша страница оптимизирована под запрос «желтые тюльпаны», а на странице показываются как желтые, так и розовые, фиолетовые, микс и другие с целью увеличения количества выводимых товаров. В данном случае стоит убрать товары других цветов и заменить их на желтые тюльпаны, которые не в наличии или попробовать добавить небольшой релевантный текст. 

Самый достоверный способ — это посмотреть специальный отчет в Яндекс.Вебмастере. Вкладка «Индексирование» → «Страницы в поиске», затем во вкладке «Исключённые страницы» выбрать статус «Малоценная или маловостребованная».

Можно воспользоваться программой Screaming Frog. Страницы с малым количеством контента с большой вероятностью будут исключаться (из-за низкой уникальности). После сканирования вы можете отсортировать страницы по Word Count (количеству слов).

Еще малоценные страницы можно найти путем сравнения уникальности страниц относительно друг друга через Batch Unique Checker. Страницы с уникальностью <20% скорее всего попадут под эту категорию.

Такие страницы можно определить через Яндекс.Метрику. В отчете «Страницы входа» надо отсортировать данные по возрастанию визитов. Диапазон дат поставить год, а источник трафика выбрать «Последняя значимая поисковая система» — Яндекс. Группировку сделать по «Страница входа». Страницы, где из поиска было 10 переходов можно считать маловостребованными. 

Официально Яндекс заявляет, что за наличие на сайте малоценных и маловостребованных страниц ограничений на сайт не накладывается. 

Действия алгоритма не являются ограничениями для сайта в поиске. Например, если какая-либо из страниц, исключенных ранее, была обновлена и получила возможность появиться в выдаче по запросам, алгоритм проверит ее повторно.

Но на самом деле есть несколько кейсов, как доработка НКС улучшает позиции сайта и трафик.

Приводим пару кейсов с просторов интернета.

В интернет-магазине объем малоценных и маловостребованных страниц составлял около 18%. 

Причинами такого количества стало:

• Бездумная генерация страниц с помощью фильтра товаров.
• Большой объем дублирующего сквозного контента.

Ситуация была исправлена так:

• Завернули часть сквозного контента в тег <!noindex>.
• Страницы фильтра без спроса закрыли в robots.txt.
• Внедрили скрипт автозаполнения категорий до необходимого числа товаров/услуг.
• Указали правильное название товаров в карточках.

У интернет-магазина сантехники было около 19 500 малоценных товарных страниц. Был изменен шаблон генерации мета-тегов. Сами же страницы товаров практически не подверглись изменению. Не были добавлены новые блоки или текстовые описания, характеристики, таблицы и так далее. Спустя 3 месяца число малоценных страниц снизилось до 60.

Прирост и откат малоценных и маловостребованных страниц происходит лавинообразно. Есть 2 причины:

1. Алгоритмы Яндекса меняются. Как следствие страницы то проходят требования по качеству и попадают в индекс, то не проходят и вылетают.
2. Лаг в обработке внесенных изменений на сайте. Допустим, Яндекс в какой-то момент посчитал страницы малоценными и маловостребованными и удалил из индекса. После обнаружения НКС вы решили их закрыть от индексации или удалить, чтобы история не повторялась. Через какое-то время эти же малоценные и маловостребованные страницы снова попадают в индекс. Через какой-то промежуток времени они удаляются вследствие 404 ошибки или закрытия от индексации. Получается лавинообразное появление и удаление страниц. Это происходит потому, что Яндекс вследствие работы алгоритмов качества удаляет страницы, через какое-то время решает их вернуть (при этом не проверяя контент страниц: доступен он, изменился или остался таким же), а только потом происходит переобход страниц и уже учитываются все изменения. Вот ответы по этой ситуации от Яндекса:

   

Далее наглядный пример качелей, когда поисковый робот постепенно достает страницы из архива, исключает со статусом «Малоценные и маловостребованные страницы», а затем они переходят в статус «запрещено элементом noindex». Итак несколько итераций.

Критическим значением НКС, после которого можно заметить снижение позиций сайта, можно считать >20%. Однако нужно понимать, что если вылетают важные страницы (товары, услуги), то этим стоит озадачиться не дожидаясь определенной планки, чтобы не терять потенциальный трафик и конверсию. 

Малоценные и маловостребованные страницы — это показатель, что на сайте стоит поработать над оптимизацией. При большом количестве таких страниц могут ухудшиться позиции и трафик. Поэтому стоит следить за техническим состоянием сайта и своевременно вносить правки, дабы это предотвратить.