Редиректы: инструкция по применению

Серверный редирект (перенаправление) — это инструкция для сервера, что запрашиваемая страница переехала и теперь вместо нее клиенту (браузеру) нужно отдавать другую страницу по новому адресу.  Правила переадресации задаются в конфигурации сервера, поэтому редирект называется серверным. 

Именно из-за настроенного редиректа пользователь видит не ту страницу, которая изначально им запрашивалась — неважно, ввел он адрес вручную или перешел по ссылке.

1. Вы сменили доменное имя сайта — например, в маркетинговых целях — и теперь вам нужно не потерять тех клиентов, которые у вас уже были, а так же показать поисковым системам и другим сервисам, что ваш сайт на месте.

2. У вас было два сайта А и Б, и вы решили оставить только А — надо сделать так, чтобы при обращении к сайту Б он всем указывал на сайт А. Так, пользователи и поисковики, знавшие Б, поймут, что его новое имя А.

3. Вы удалили определенную страницу или раздел с сайта с неактуальной услугой или товаром. Тогда следует отправить пользователя на другую страницу с похожей информацией, чтобы удовлетворить его запрос.

4. Технические редиректы используются для устранения дублей страниц внутри сайта, это обязательно при поисковой оптимизации. Например, для поисковиков страницы http://www.site.ru,  https://www.site.ru и  http://site.ru/index.html — отдельные ресурсы, поэтому их “склеивают”, выбирая в качестве основного варианта один. Подробнее об этом читайте далее.

Есть группа 3xx кодов ответа сервера на HTTP-запрос, которая обозначает редирект. Каждый код несет свои инструкции. В рамках SEO-продвижения понадобятся знания о следующих редиректах:

• 301 Moved Permanently («перемещено навсегда»)
• 302 Moved Temporarily («перемещено временно»)
• 302 Found («найдено»)
• 303 See Other («смотреть другое»)
• 307 Temporary Redirect («временное перенаправление»)
• 308 Permanent Redirect («постоянное перенаправление»)

Постоянный редирект: коды 301 и 308. Данный ответ сервера означает, что страница была перемещена навсегда. Для поисковика это сигнал, что прежний адрес страницы в поиске надо заменить на новый и считать его каноническим.

Временный редирект: коды 302, 303 и 307. Это означает, что о новой странице станет известно поисковому роботу, но и старую выбрасывать из индекса он не будет, потому что редирект временный. На практике в поиске могут присутствовать обе версии страницы. 

Временная переадресация используется как кратковременное явление для перенаправления на страницу акции, распродажи. Также она может редиректить с основного домена на региональный, который будет соответствовать местонахождению пользователя. Во всех остальных случаях следует настраивать постоянный редирект.

Дополнительные способы переадресации без серверного редиректа:

• Meta refresh и его аналог HTTP refresh  (постоянная 0 секунд и временная более 0 секунд) настраивается в разделе head HTML-кода страницы или в ее HTTP-заголовке.
• Свойство location в JavaScript. 
• Crypto redirect — по сути это ссылка на старой странице на новую с кратким сообщением о смене адреса.

Но все эти способы рекомендованы к использованию только в крайнем случае, если нет возможности настроить серверный редирект. В том смысле, что лучше так, чем никак👍

Основным инструментом в SEO является именно 301 редирект. Его настраивают во всех случаях смены адресов сайтов и страниц, кроме временных явлений: технических работ или сезонных акций, распродаж и т.п.

Самый надежный способ настроить редирект — внести инструкции для сервера непосредственно в его конфигурацию и выполнить редирект на стороне сервера. Такая переадресация быстрая и именно ее предпочитают поисковики. Другие способы реализации, рассмотренные нами выше, выполняются на стороне клиента (браузера): они медленнее и могут не сработать при проблемах с загрузкой страницы.

Наиболее распространены в мире серверы Apache. Для них инструкции по редиректу хранятся в файле .htaccess. Это очень удобно для настройки, но с помощью данного файла злоумышленники, получившие доступ к хостингу, могут настроить вредоносные редиректы. Поэтому на Apache файл .htaccess иногда отключают в целях безопасности.

В другом популярном виде серверов Nginx специального файла нет, редиректы настраиваются в конфигурации сервера. Аналогично на Apache с заблокированным .htaccess.

Узнать, на каком сервере работает ваш сайт, можно проверив код ответа любой страницы с помощью специальных сервисов, например, Яндекс Вебмастер. В возвращенном заголовке сервера будет указано его название.

Если названия в ответе нет, значит сервер скрыт, например, из-за использования технологии прокси. 

В любом случае для настройки редиректа рекомендуем привлечь веб-мастера или администратора сервера, ведь неправильно настроенный редирект может повлечь определенные проблемы, в том числе с доступом к сайту. Об этом чуть ниже.

301 редирект при поисковом продвижении незаменим. Самые главные его качества — это передача ссылочного веса (302 редирект не передает) и однозначное указание роботам на склейку доменов/страниц.

Предположим, у вас есть успешная страница с высокими позициями в ТОПе /catalog/dresses/, которая содержит вложенные адреса карточек товаров /catalog/dresses/item-123/. И вам надо перенести ее в другой раздел сайта из-за технических особенностей движка, соответственно, URL изменится /catalog/women/dresses/. Если оставить все как есть, то вы потеряете ТОП и потенциальных клиентов на неопределенное время, а возможно больше туда и не вернетесь с новым адресом. 

Но если при смене адреса настроить 301 редирект c /catalog/dresses/ на /catalog/women/dresses/, то смена адреса произойдет безболезненно для продвижения. При этом так же надо настроить постраничные 301 редиректы для всех вложенных страниц карточек товаров, чтобы они вели с URL карточки в старом разделе на URL карточки в новом разделе, т.е. был адрес /catalog/dresses/item-123/ стал /catalog/women/dresses/item-123/.

Как видите ничего сложного. 

Теперь перечислим самые распространенные случаи в SEO, когда нам пригодится переадресация.

Для поисковых систем разные варианты написания одного и того же доменного имени, являются разными сайтами. Их называют зеркалами.

Например, 4 основных зеркала для любого сайта:

• http://site.ru
• http://www.site.ru
• https://site.ru
• https://www.site.ru

Чтобы выбрать одно из них главным самостоятельно, а не по усмотрению поисковика, настраиваем 301 редирект с http на https + выбранный вариант написания доменного имени, с www или без www.

Лучше сделать его напрямую, без промежуточных редиректов.

Делаем так:
http://www.site.ru →³⁰¹ https://site.ru 

А не так:
http://www.site.ru →³⁰¹ https://www.site.ru →³⁰¹ https://site.ru

При смене доменного имени или объединении нескольких сайтов в один, необходимо также настроить 301 редирект с домена на домен.

Не только для удобства пользователей, что привыкли к прежним имени/именам, но и для передачи ссылочного веса со старых сайтов. Особенно важно это в случае, если новое доменное имя совершенно свежее и раньше не использовалось — таким образом оно сразу получит определенный вес и авторитет.

Редиректы здесь, как и в предыдущем случае, настраиваем напрямую. К тому же очень желательно, чтобы страницы редиректили на страницы, похожие по смыслу и содержимому. Тогда склейка пройдет без проблем и может улучшить позиции в выдаче сайта-цели редиректа.

Когда страница перестает существовать в архитектуре вашего сайта, то нельзя просто отключать ее в админке. На эту страницу могут вести ссылки с других сайтов, тем самым увеличивая ссылочный авторитет вашего. Или же она могла успешно ранжироваться и приводить трафик из поиска, который теперь просто исчезнет.

Приняв решение удалить страницу, подумайте куда перенаправить пользователя, приходившего на нее. Самое логичное — это отправить его на страницу, схожую по смыслу, т.е. настроить редирект с одной страницы на другую    .

Например, страницу каталога Платья бренда BAOMI /catalog/dresses/baomi/ надо удалить — в вашем ассортименте больше нет их продукции. В этом случае разумно настроить 301 редирект страницы и всех вложенных товаров на категорию верхнего уровня /catalog/dresses/: нет платьев этого бренда, но есть другие. 

В крайнем случае, если похожих страниц нет, можно перенаправлять на главную.

В результате работы движка CMS на сайте нередко возникают технические дубли — страницы, которые имеют одинаковый контент и отличные URL-адреса. Скорее даже чаще возникают, чем не возникают😏

А разные URLы, как мы помним, это разные страницы. Поэтому в поисковый индекс может попасть множество страниц с одинаковым содержимым. Это, во-первых, бесцельно расходует ограниченный краулинговый бюджет, а во-вторых, может существенно ухудшить ранжирование, т.к. поисковая система будет путаться в многочисленных вариантах и показывать пользователю то одну, то другую страницу.

Частые случаи технических дублей:

• со / на конце и без /. Пример, /catalog/ и /catalog — это разные адреса;
• нижний и верхний регистр. Пример,  /catalog/Dresses/ и /catalog/dresses/;
• несколько одинаковых символов подряд, чаще всего это слеш //, но могут быть другие (&&, ___, ?? и т.д.). Пример, catalog/Dresses////;
• GET-параметры, которые не меняют содержимое страницы. Пример, /catalog/dresses/?date=2021-12-25/

Результаты работы панели управления сайтом могут создавать необычные дубли, поэтому изучите особенности работы своего движка.

Также надо максимально убрать возможность появления адресов дублирующих страниц в коде, настроив модули и плагины CMS.

В случае с GET-параметрами иногда это сложно реализовать, тогда на помощь может прийти мета-тег robots NOINDEX или canonical, о нем расскажем дальше.

Довольно часто альтернативой 301 редиректу в целях поисковой оптимизации называют мета-тег с атрибутом rel=canonical, хотя разница между этими решениями довольно существенная.

301 редирект физически перенаправляет пользователя на другой URL, не давая возможности ознакомиться с исходной страницей. В этом случае поисковик однозначно не может ранжировать страницу, с которой установлена переадресация на другую.

Мета-тег canonical лишь указывает, что запрашиваемая страница не является канонической, а каноническая находится по другому адресу.

Таким образом, настройка канонических адресов — это сигнал, прежде всего, для поисковых роботов, чтобы они не индексировали дублирующие страницы, пользователь же разницы вообще не заметит. Проблема с canonical в том, что он может быть проигнорирован поисковой системой. Об этом прямо говорит Яндекс и практика показывает, что и Google может самостоятельно назначать страницам канонические адреса, игнорируя тег. Узнать, есть ли у страницы каноническая версия, отличная от вашей, можно в Search Console.

Статусы в Яндекс.Вебмастер также полезны. Но обратите внимание, что сообщение о том, что страница не является канонической будет появляться даже если у нее и не должно быть каноничной версии, а просто мета-теги canonical на сайте не задействованы.

К тому же, мы видим, как Яндекс постоянно индексирует и выбрасывает одни и те же страницы, что плохо для краулингового бюджета.

Что выбрать?
— в том случае, если мы не хотим показывать пользователю запрашиваемую страницу (ее больше не существует или она переехала) используем 301 редирект.
— в том случае, если пользователь должен увидеть запрашиваемую страницу (к примеру, это страница с результатами работы фильтра или пагинация) настраиваем тег canonical.

Оба варианта передают сигналы ранжирования, так что внимательно отнеситесь к настройке и не путайте смысл canonical и редирект.

Самое важное при использовании редиректов —  прописать инструкции однозначно и без ошибок. Неверное перенаправление может вызвать больше проблем, чем просто дублирующая или пропавшая страница.

Самые частые ошибки при редиректе:

1. Цепочки редиректов.

Несколько редиректов, следующих друг за другом, образуют цепочки. Выше мы уже рассказывали, почему следует их избегать.

2. Циклический (бесконечный) редирект, петля.

Неправильные инструкции по переадресации иногда становятся причиной того, что страница перенаправляет на саму себя — это называется бесконечным редиректом, потому что прервать такой цикл у сервера нет оснований. Такая страница не сможет быть отображена в браузере. Второй вариант зацикливания — петля, когда страницы по очереди редиректят друг на друга.

3. Любая переадресация, которая не приводит к успешной загрузке страницы.

В норме любая индексируемая страница должна отдавать код 200 ОК. Если целью редиректа становится не 200, а 404 (не найдена) или 500 (внутренняя ошибка сервера), то это бесполезный редирект. Обрабатывайте ошибки напрямую, а редиректы используйте для переадресации на индексируемые страницы.

4. Использование перенаправлений без изменения адресов внутренних ссылок.

Если вы изменили расположение страницы или раздела и не исправили указывающие на них ссылки на других страницах сайта, это приведет к возникновению цепочек редиректов. А если вы исправите внутренние ссылки на актуальные, новые адреса будут просканированы роботами значительно быстрее. 

5. Неправильный выбор типа редиректа и временная переадресация вместо постоянной.

Как мы уже говорили, у каждого типа редиректа есть свой код и свое назначение. Используйте только тот редирект, который соответствует вашим целям. Настраивайте для сайта редиректы 301 и 302 типа, остальные в стандартных ситуациях не требуются.

6. Использование canonical вместо 301 редиректа, и наоборот.

Делаем 301 редирект, когда мы не хотим показывать пользователю страницу или ее больше не существует,  canonical — когда мы не можем не показывать пользователю страницу, но она является копией другой страницы.

7. Перенаправление файла robots.txt.

Некоторые специалисты не советуют перенаправлять файл robots.txt при смене домена. Так, если вы хотите подклеить site1.ru к site2.ru, то site1.ru/robots.txt оставьте доступным с кодом 200 и не ставьте 301 редирект на site2.ru/robots.txt. Это должно ускорить склейку.

К сожалению, такое правило не всегда реализуемо технически, и приходится редиректить и файл robots тоже. Это не самая критичная ошибка и домены в итоге все равно будут склеены.

8. Редирект на неподходящий контент.

Старайтесь настраивать редирект на релевантные страницы, содержимое которых сопоставимо с содержимым перенаправляемых страниц. Если вам нужно объединить два сайта, то следуйте рекомендациям Google по поиску подходящих URLов.

И в заключение самый интересный вопрос: как долго хранить редиректы? 

Если вы используете для настройки файл .htaccess сервера Apache, то каждая новая инструкция добавляет в него новую строку. Поэтому, даже используя регулярные выражения, через несколько лет вы можете получить довольно длинный файл — зависит от частоты изменений на вашем сайте. Кроме того, легко запутаться в редиректах, если их много, и получить в итоге петлю или бесконечный редирект.

Если вы подклеиваете другой сайт к своему, то у вас должны оставаться доступы к сайту-источнику редиректа: доменное имя, оплаченный хостинг. Иначе сайт перестанет работать, соответственно перестанет работать и перенаправление. На это нужны некоторые финансы. Так как долго поддерживать редиректы?

Google отвечает, что как минимум год. Но иногда и целого года мало😅

Редиректы, возникшие после изменения URL-адреса, теоретически можно будет удалить, когда они выполнят свою задачу по склейке старой и новой страницы. Для этого надо проверить, хранится ли еще в индексе старая страница.

Проверить переиндексирование старых URL можно, вбив адрес в строку поиска.

В Яндексе используется оператор url:{проверяемый URL}:

В Гугле похожий метод, но оператор site:{проверяемый URL}: 

Если адрес есть поисковой базе он отобразится, если нет, то нет.
 
Также получить точную информацию об индексации конкретной страницы можно в Search Console: просто вбиваем адрес в строку поиска, но обязательно проверьте, что выбрано нужное зеркало. 

 
Или в Вебмастере Яндекса Индексирование — Страницы в Поиске, опять же для нужного сайта. Здесь можно либо скачать всю таблицу с адресами (внизу страницы) и искать там, либо использовать фильтр.

 
Если редиректы достаточно старые, то переадресуемых страниц в индексе быть уже не должно. Если на эти страницы также не стоят ссылки внутри сайта (т.е. уже исправлена внутренняя структура) и вообще в интернете на них никто не ссылается, то можно редиректы спокойно убирать, они больше не нужны.
 
Как узнать есть ли на страницу внешние ссылки?

Яндекс не показывают сейчас информацию о них открыто. Данные Google видны в той же  Search Console в отчете Ссылки — Страницы, на которые есть много внешних ссылок. Но здесь могут быть не все данные, а только известные поисковику.

Поэтому дополнительно можно использовать сторонний краулер, например, базу Ahrefs (сервис платный). Вбивайте адрес своей страницы и смотрите есть ли она в Ahrefs, какие на нее стоят бэклинки.

Давайте подытожим порядок проверки при простановке редиректов:

✔️ Вы используете подходящий тип редиректа: для SEO и передачи факторов ранжирования всегда используйте 301 редирект.

✔️ Вы перенаправляете страницу на подходящую по смыслу и контенту.

✔️ Страница-цель редиректа доступна с кодом 200 и может быть успешно загружена.

✔️ Редирект настроен максимально прямо, убраны все дополнительные редиректы в цепочке.

✔️ Исправлены все внутренние ссылки, ведущие на страницу с 301 редиректом.

✔️ Новые инструкции по редиректу не противоречат предыдущим и не вызывают зацикленных редиректов.

Массово проверить настройку можно с помощью программы-краулера, просканировав сайт заново и убедившись, что нет ошибок.