Чек-лист SEO оптимизации сайта

Для бизнеса очень важно иметь физическое представительство, даже несмотря на все более широкое развитие онлайн-ритейла. Наличие фактического адреса лучше всех остальных способов «привязывает» сайт к региону обслуживания и служит одним из факторов оценки надежности продавца/подрядчика. 

Показать поисковикам, что вы имеете свой офис, можно размещая ссылки в локальных сабмитах — каталогах, совмещенных с географическими данными, которые дают возможность простановки активной ссылки на сайт. При этом компанию можно найти при поиске на картах, а это повышает вероятность того, что клиенты из вашего города, находящиеся поблизости, отдадут предпочтение именно вашей фирме.

2 крупных картографических сервиса принадлежат самим поисковым гигантам: Google Мой Бизнес и Яндекс.Бизнес (ранее Яндекс.Справочник). Они совмещают функционал карт и навигатора с размещением информации о предприятиях и другими возможностями. Здесь вы будете взаимодействовать с уже состоявшимися и новыми клиентами: благодарить за отзывы, отвечать на вопросы и претензии, предоставлять дополнительную информацию о деятельности компании, оповещать об изменениях в работе, публиковать цены.

Также есть и другие сервисы, информацию которых поисковики сканируют и используют для поддержание актуальности собственных данных, в частности отзывов: 2ГИС, zoon.ru, Фламп. 

Зайдите на сервис карт и попробуйте найти свою компанию по названию, физическому адресу или адресу сайта. Если вы ее нашли, то проверьте актуальность данных, а так же подтвердите свои права владельца. Обычно подтверждение осуществляется по номеру телефона, указанному в карточке. 

Если вы ее не нашли, то скорее всего еще никто не добавил информацию на карты — сделайте это самостоятельно по адресу https://yandex.ru/sprav/companies, разместив новую организацию и пройдя верификацию, как и в случае с уже существующей на картах организацией. О способах подтверждения подробнее читайте в справке Яндекса. 

В Google размещение происходит аналогичным образом, однако способы подтверждения могут отличитаться. Начните с регистрации в сервисе Мой бизнес.

1. У вас должны быть доступы владельца к личному кабинету сервиса, которые вы получили по выше описанной схеме.

В Яндексе существует и такое понятие как сеть. Если у вас больше 10 филиалов, то справочник может сам объединить их в единую сеть. В этом случае подтверждайте права сразу на нее.

2. Максимально заполните профиль — это означает, что пустых полей должно быть как можно меньше.

3. Не забудьте добавить фотографии и логотип компании — это добавит визуала профилю и повысит узнаваемость.

4. Используйте дополнительные возможности от сервисов: размещение меню для ресторанов, выгрузку цен на товары и услуги, возможность онлайн-записи клиентов и многое другое. В Яндексе так же есть возможность оплатить приоритетное размещение.

5. Не пропускайте отчеты от сервисов и следите за активностью профиля на картах. В Google для аккаунта-владельца информация и работа с профилем доступны прямо на странице выдачи.

6. Отвечайте на вопросы и отзывы клиентов, разрешайте спорные ситуации и поддерживайте лояльность аудитории.

Помните, что любой способ написания одного и того же адреса сайта является для робота отдельным зеркалом?

Поэтому первый вариант ошибки самый простой — не склеены все версии домена по разным протоколам и с www/без www. Второй посложнее — если ваш сайт полностью скопирован на другой домен, вами или кем-то еще.

С помощью инструментов из пункта выше, проверьте код ответа главной страницы для всех вариантов написания домена. Всего их 4: 
http://site.ru
http://www.site.ru
https://site.ru
https://www.site.ru

Если есть поддомены, не забудь про них и проверьте по аналогичной схеме.

Обнаружить же зеркала на других доменах, иногда можно с помощью отчетов Яндекс.Метрики, если сайты скопированы с кодом счетчика. Выстройте группировку по доменам входа и добавьте данные об источнике перехода, чтобы увидеть, кто посещает домены.

Кэшированные версии сайта из поисковиков — это нормально, а вот если увидите незнакомое имя домена — проверяйте его.

Так же неизвестные зеркала можно поискать с помощью инструментария специальных сервисов, например, Пиксель Тулс.

Выбрать единственное зеркало, которое будет главным и настроить на него 301 редиректы со всех остальных.

Сейчас поисковики уже умеют выбирать основное зеркало самостоятельно и подклеивать к нему остальные, особенно Яндекс, но их выбор может отличаться от вашей задумки, поэтому лучше прописать четкие инструкции. К тому же, это полезно с точки зрения передачи ссылочного веса с внешних сайтов (с 301 редиректом он передается, а без него — нет).

Копии сайта на тестовых доменах закрывайте от индекса полностью, желательно с помощью авторизации. Если нет возможности, то хотя бы с помощью инструкции в файле robots.txt Disallow: / — она закроет роботу возможность сканировать содержиимое тестового домена .

Один из ключевых факторов SEO оптимизации сайта — его корректное сканирование роботами. А для этого нужно контролировать, какой ответ сервер отдает на запросы роботов. Неправильная обработка запроса приведет к проблемам с индексированием страниц: «хорошие» полезные страницы могут быть не просканированы роботом, а «мусорные» попасть в поисковую базу в большом количестве.

Возможные проблемы:

• ложная 404: пользователь видит сообщение, что страница не найдена, но сервер отдает код 200 — такие страницы могут быть проиндексированы ботом.
• ответ 403/404/502 вместо 200: обратная пункту выше ситуация, когда ни вы, ни пользователь не видите проблемы, а сервер тем временем отдает код ошибки, поэтому такие страницы не будут проиндексированы.
• цепочки редиректов: неправильно настроенный редирект может привести к возникновению циклической ошибки и невозможности загрузить итоговую страницу.
• расхождения между ответом браузеру и ответом боту: в специальных случаях, когда требуется отдавать разные ответы пользователю и роботу, возможны ошибки в настройке сервера, которые приведут к получению ботом не того ответа, что был задуман. Если такие работы проводились, убедитесь, что все страницу скачиваются без проблем.

Отдельным пунктом стоит выделить скорость ответа сервера — пользователи могут уйти, не дождавшись завершения загрузки, а боты просканируют страницу  с ошибками. Помните, что конкуренция высока и никто не хочет ждать больше нескольких секунд и работать с медленно загружающимся сайтом. Особенно важный пункт, если на вашем сайте большая доля трафика приходит с мобильных устройств.

С помощью специальных сервисов для проверки кода ответа сервера и содержимого страницы: Яндекс.Вебмастер и Google Search Console. Они покажут ответ, полученный их роботами. 

В панели Гугла вы также найдете информацию о скорости (данные собираются из браузера Google Chrome и могут быть доступны не для всех сайтов).

Есть и независимые сервисы Checkmy, Bertal: здесь в настройках укажите нужного бота (User-agent) — это вариант подходит для проверки отдельных страниц.

Массовую проверку всего сайта можно провести с помощью специальных программ и облачных краулеров.

Для проверки скорости чаще всего используется сервис от Google PageSpeed Insights. Другие варианты: GTmetrix, WebPageTest, встроенный анализатор Chrome и т.д.

Проверьте, чтобы и боты поисковых систем, и пользователи в браузере получали корректный ответ и нужную страницу. Первый раз лучше просканировать сайт целиком, а отдельные страницы — в случае возникновения подозрений.

Скорость загрузки измерьте на разных сервисах и в разное время для всех типовых шаблонов сайта.  Цель — добиться результатов, приближенных к оптимальным, для любого типа устройств.

Учитывайте, что тест производится в режиме реального времени. Если у сайта достаточная посещаемость, то PageSpeed, например, покажет также оценку на основе опыта пользователей Google Chrome.

При внедрении нового функционала и масштабных доработок сайта не забудьте проверить еще раз — такие работы часто напрямую влияют на скорость обработки данных сервером.

Лишние страницы впустую расходуют краулинговый бюджет сайта. Также, в силу закрытых алгоритмов поиска, иногда они занимают место в выдаче и понижают позиции сайта, в связи с тем, что по остальным параметрам оптимизированы хуже посадочных.

Вариантов их появления довольно много, обратите внимание на:

• страницы сортировки;
• страницы с любыми гет-параметрами (если они не предназначены для индексирования изначально), даже те, которые не используются внутри сайта;
• результаты поиска по сайту;
• любые страницы, которые не несут поисковой пользы, т.е. не отвечают на какой-либо запрос пользователя, и не предоставляют информацию об услуге/компании.

Необходимо полностью проверить поисковый индекс сайта. В Яндексе для этого есть Яндекс.Вебмастер и инструмент Индексирование → Страницы в поиске. Архив страниц можно сказать в формате .xls или .csv и детально проанализировать.

Так же Яндекс может выносить наличие GET-параметров в раздел критические ошибки.

Для проверки поисковой копии сайта в Google есть отчет Страницы, но хотя консоль и приводит общее число страниц, для детального рассмотрения доступны не все, а только тысяча из них.

Зато в этом отчете можно посмотреть на другие статусы страниц и найти слабые места в настройках индексирования.

Так же поможет программа-краулер, где можно обойти сайт под юзер-агентом поискового бота. Таким образом увидим те страницы, которые может просканировать робот, даже если в реальности он до них еще не дошел.

Настроить инструкции по индексированию так, чтобы робот не сканировал ненужные страницы. Сделать это можно, настроив ответ сервера, отличный от 200 ОК (например, 404 или 301), запретив индексацию в файле robots.txt или мета-теге robots.

Недостаточно просто убрать с сайта ссылки на «мусорную» страницу, если она была когда-либо проиндексирована — робот уже ее запомнил.

Некоторые страницы сайта — те, что не представляют поисковой ценности — принято скрывать от роботов всегда: корзина, личный кабинет, страницы авторизации, результаты поиска внутри сайта.

Проверьте насколько четкие инструкции по индексации сайта получают роботы. Спойлер: лучше никакие, чем неправильные.

Где можно ошибиться:

• Файл robots.txt. Самая частая ошибка — это случайный запрет на индексацию важных страниц или сайта целиком. А также не забудьте включить в robots.txt ссылку на файл sitemap.xml.
• Мета-тег robots — аналогично может заблокировать атрибутом noindex те страницы, что вы не планировали.
• Мета-тег canonical — неверно указанные канонические адреса могут нарушить индексацию сайта.
• Файл/файлы sitemap.xml. Их наличие улучшает индексацию сайта и новых страниц. Следите за актуальностью: новые страницы должны добавляться в sitemap, а удаленные исчезать.
• Last-Modified. Если заголовок настроен, проверьте, чтобы он отдавал корректную информацию о времени изменения страницы.

Файлы robots.txt и sitemap.xml можно открыть в браузере. У первого адрес стандартный всегда https://site.ru/robots.txt, у второго может быть любым, но чаще всего https://site.ru/sitemap.xml или https://site.ru/sitemap/.

Для отладки robots.txt в Яндекс есть специальный инструмент (выполняется секция для * или Yandex) Инструменты → Анализ robots.txt.

Проверку серверного заголовка делайте в Яндекс.Вебмастер или любом сервисе проверки, например, https://last-modified.com/ru/if-modified-since.html. 

Убедитесь, что инструкции передаются корректно: обращайте внимание на порядок следования — в файле robots.txt они выполняются в порядке следования. Проверьте все секции.

Для поиска проблем с картой сайта будет полезен отчет уже упомянутый отчет Страницы в Google Search Console.

Проблема, которая встречается на 95% сайтов — это дублирование заголовков и описаний. Причина обычно заключается в особенностях работы CMS, которая создает новые страницы, дублируя title, h1 и/или description, если заранее не было настроено иное. Иногда они остаются просто пустыми.

О назначении и правилах составления мета-тегов и заголовков читайте в нашей статье Мета-теги title, description, keywords для продвижения вашего сайта. Небольшое количество дублей не сможет сильно повлиять на хорошо развитый проект. А вот продвинуть сайт с большим количеством повторов (особенно title) — практически невозможно, это по-прежнему очень важный сигнал ранжирования.

Случаи дублирования мета-тегов и заголовков настолько часто встречаются, что Яндекс даже добавил в Вебмастер специальный инструмент.

Но имейте ввиду, что здесь Яндекс использует данные просканированных страниц из своей поисковой базы, т.е. они не совсем соотвествуют «живому» сайту. Если вы уже исправили ошибку, то отправьте страницы на переобход, а потом дождитесь обновления данных в разделе Заголовки и описания.

Другой способ найти повторы — использовать любой краулер, собирающий информацию о title, h1 и description.

Настроить уникальные title, h1 и description😉 На большом сайте 1000+ страниц прописать значения этих тегов вручную будет сложно, поэтому используйте маски — это отлично воспринимается поисковиками. В качестве уникализирующих переменных используйте также вхождения топонимов, цены, свойства.

Например, для разделов каталога в интернет-магазине маска title может выглядеть таким образом:

%Свойство% %раздел товаров% от %min цена% рублей купить в %городе% — доставка в интернет-магазине BeatyShop

%Ночные% %маски для лица% от %259% рублей купить в %Москве% — доставка в интернет-магазине BeatyShop

Помимо проверки технических решений, не будем забывать о том, что у каждого сайта есть определенная цель: помочь пользователю найти информацию или товар. Чем проще и удобнее это сделать, тем лучше.                               

Поэтому проверяем:

1. Логичная вложенность страниц
Уровень вложенности — это расположение страницы в иерархии сайта, начиная с главной. В этом примере papka2 будет иметь третий уровень вложенности, т.к. расчет ведется от первой страницы.

https://site.ru/papka1/papka2/papka3/

Если структура сайта выстроена четко и понятно, поисковым роботам проще его сканировать и устанавливать связи страниц. Соответственно, тем эффективнее будет ранжирование.

Проще и пользователям, которые могут, внеся небольшие изменения в URL, попасть сразу на нужную страницу.

Дочерние категории должны лежать в родительских, но не углубляйте их слишком сильно. Например, вместо https://site.ru/about/company/ делайте страницу https://site.ru/company/. 

Чем выше уровень страницы, тем чаще на нее заходит робот и тем, как правило, выше ее внутренний вес. На таких страницах лучше располагать наиболее частотные запросы.

Для крупных интернет-магазинов, где глубокой вложенности не избежать, оптимальной иерархией будет https://site.ru/категория/(подкатегория/)товар. И конечно не забывайте про sitemap.xml, который поможет индексации страниц, находящихся далеко от первой.

Однако в попытке сделать приоритетным весь контент, главное не перестараться. Не стоит делать ВСЕ страницы на втором уровне вложенности. Это усложняет построение структуры сайта и затрудняет навигацию. Однако поднять выше больше страниц без нарушения логики вполне возможно.

2. Навигация 
Возвращаясь к навигации — надо тщательно продумать путь пользователя к целевым действиям, чтобы упростить их достижение.

Правило #1: Все важные документы должны находиться не дальше, чем в двух кликах от главной.

Правило #2: Чем больше уровень страницы с нужной информацией, тем сложнее пользователю преодолеть путь к ней от главной страницы.

Лого в шапке сайта всегда делайте кликабельным со ссылкой на главную страницу.

Обязательно обратите внимание на основное меню: оно должно максимально обеспечивать доступность важных страниц.

В нижнем меню продублируйте ссылки на наиболее важные разделы, в том числе на условия сотрудничества, оплаты, доставки и другие важные моменты.

И не забывайте про хлебные крошки — они должны повторять путь пользователя по сайту, чтобы в любой момент он мог вернуться назад на нужное количество шагов.

3. Понятный контент

Любой пользователь должен с первых секунд нахождения на сайте понимать, о чем эта страница и как найти нужную информацию. Чтобы задержать пользователя располагайте важную информацию выше к началу страницы. 

Это абсолютно точный факт: число просмотров постепенно убывает от первого экрана страницы к последнему. Даже если у вас очень выгодное предложение, но рассказывается о нем в самом конце страницы, конверсия будет значительно меньше возможной.

4. Наличие и расположение CTA

На любом сайте для пользователя заранее предусмотрены целевые действия: заказ услуги, покупка товара или чтение статьи. Это главные конверсии. К ним ведут конверсии поменьше, например, посмотреть товар или подписаться на рассылку.

Все эти важные действия должно быть удобно сделать в любой момент. Поэтому почти на каждой странице сайта размещают элементы CTA — Call to Action, или Призыв к действию. Этот призыв должен ярко выделяться на фоне остального содержимого страницы, обычно он оформляется в формате яркой кнопки, ссылки или баннера.

CTA должен быть понятным и коротким, поэтому призывать надо только к одному действию за раз: купить, заказать и т.д. Также не забывайте, что располагать его следует в поле зрения посетителя, а не в самом низу страницы, или там, где он необходим по смыслу.

5. Единообразие интерфейса

Все элементы интерфейса должны быть оформлены предсказуемо. Заголовки не должны выглядеть как кнопки, а кнопки — как ссылки.

Кроме того, одни и те же должны быть оформлены одинаково. Например, если кнопка Купить зеленого цвета, то на всех страницах она должна быть зеленого цвета и одинакового размера. Если кнопка Купить после добавления товара в корзину меняет цвет, то должна меняться и надпись, например, на В корзине или Добавлено.

6. Процесс покупки

Отдельным пунктом можно выделить процесс покупки или заказа услуги, потому что именно оно и является смыслом жизни коммерческого сайта.

Оформление заказа должно быть простым, легким, понятным и как можно более быстрым, чтобы поймать «горячего» клиента. Если перед тем, как что то купить, пользователю придется сначала заполнить огромную регистрационную форму, включающую почтовый адрес и адрес доставки, то шансы, что он дойдет до конца процесса значительно снижаются. Все необходимые данные клиента можно собирать уже позже, после его вовлечения в покупку.

И, наконец, те моменты, которые возникают не так часто, но практически все сайты хотя бы раз сталкивались с одной или даже несколькими.

При взломе сайта или наличии уязвимостей внешние ссылки могут быть проставлены без ведома владельцев сайта. Обычно это ссылки на ресурсы с контентом 18+ или даже полностью запрещенным.

При сканировании поставьте опцию проверки исходящих ссылок.

Сообщения о подозрительной активности мониторьте в Яндекс.Вебмастер и Гугл Серч Консоль.

При релизе или внедрении нового функционала обязательно проверьте, чтобы работали все формы на сайте: заказ звонка, отправка вопроса, совершение покупки или заказа и др. Убедитесь, что данные всех форм поступают в базу данных или на почту ответственного сотрудника.

Так же обратите внимание на оповещение клиента о том, что форма успешно отправлена.

Только с помощью тестирования. Вручную отправьте заявки с каждой формы сайта и удостоверьтесь, что они доходят до адресата с максимальной оперативностью.

Также поставьте цели на эти события в Метрике и Аналитике, чтобы всегда иметь под рукой актуальную статистику обращений. 

Переезжать с одного домена на другой без крайней необходимости (потеря доменного имени, ошибочная блокировка РКН, полный ребрендинг и т.п.) не рекомендуется. Но если вы с ней все же столкнулись, нужно по максимуму постараться облегчить задачу переиндексирования и склейки сайтов.

• настройте 301 редирект со старого домена на новый постранично;
• добавьте новый домен в Яндекс.Вебмастер и воспользуйтесь инструментом Индексирование — Переезд сайта;

• добавьте новый домен в Search Console и воспользуйтесь инструментом Настройки — Изменение адреса;

При подключении только защищенного протокола HTTPS без смены доменного имени поступайте аналогично, кроме изменения адреса в Search Console — Google самостоятельно проводит склейку.

Полную инструкцию по смене протокола читайте в статье Переход на HTTPS: инструкция.

Аналогично не рекомендуем делать массовую смену URL-адресов — поисковики обходят сайты постепенно и по частям. В зависимости от частоты захода ботов на сайт, на переиндексацию всего сайта и пересчет данных по внутренним ссылкам может уйти достаточно много времени, за которое важные страницы иногда полностью выпадают из индекса или теряют позиции.

Но если вы все продумали и уверены, что смена адресов во благо, не забудьте 301 редирект. Он должен склеивать URL старого формата с соответствующим ему URLом нового.

Мы перечислили далеко не все факторы, которые влияют на позиции в поиске, но самые распространенные среди тех, где часто допускаются ошибки — особенно в тех случаях, когда поисковая оптимизация сайта делается самостоятельно. 

Проверьте свой веб-сайт по перечисленным в статье пунктам и постарайтесь исправить то, что найдете. Даже если положение в выдаче уже кажется неплохим, оно может стать еще лучше!

А для удобства используйте обещанный чек-лист.

✔️ Подтверждение прав на организацию в Яндекс.Бизнес и полное заполнение профиля — ваша цель синяя галочка верифицированной компании.

✔️ Подтверждение прав на организацию в Google Мой Бизнес и полное заполнение профиля — не забывайте про фото офиса и продукции.

✔️ Проверка склейки всех зеркал сайта и наличия зеркал на других доменах.

✔️ Проверка ответа страниц сайта — все нужные страницы отдают код 200.

✔️ Проверка обработки 404 ошибки — несуществующая страница возвращает код 404.

✔️ Проверка редиректов — не должно быть бесконечных редиректов и редиректов на 404 страницы.

✔️ Проверка ответа роботу по User-agent — поисковый робот получает тот ответ сервера, который и запланирован.

✔️ Проверка скорости сайта с помощью Google PageSpeed.

✔️ Сканирование сайта программой-краулером — соберите и изучите информацию с помощью Xenu и других сервисов. Данные в отчетах уже структурированы по типам ошибок.

✔️ Проверка файла robots.txt.

✔️ Проверка директив в мета-теге robots и их простановка при необходимости.

✔️ Проверка файлов sitemap.xml.

✔️ Проверка всех страниц в индексе и удаление/закрытие от индексации лишних: дублей, пустых, с get-параметрами не меняющими контент и страниц, не несущих информационной пользы (на которые не может/не ведет трафик).

✔️ Проверка уникальности тегов title и description для всех страниц сайта.

✔️ Работа с отчетом Покрытие в Google Search Console и разбор показанных в нем ошибок.

✔️ Анализ с точки зрения удобства пользователя: обратитесь к профессиональному агентству или попросите знакомых, относящихся к вашей целевой аудитории, поработать с сайтом. Самому относиться к собственному сайту непредвзято сложно.