Эксперименты в Яндекс.Директе: настройка и запуск А/Б теста

Мы давно рекламировали банкетные залы Горько.ру в поисковой кампании Директа, и кампания отрабатывала эффективно. Но, по определенным обстоятельствам, рекламную кампанию пришлось перенести на другой аккаунт. После переноса эффективность РК сильно снизилась при том, что все прежние настройки с прошлого аккаунта были сохранены. Мы решили оптимизировать РК и начать с текстов объявлений. Придумали два варианта текстов:

Сформулировали вопрос, на который хотим получить ответ по завершении эксперимента: «Какой вариант текста объявлений принесет больше конверсий по меньшей цене?». Далее раскроем механизм реализации тестирования через Эксперименты в Яндекс Директ.

Прежде чем запускать РК, необходимо выполнить следующие шаги:

1. Заходим на сервис Яндекс.Аудитории под тем же логином, где будут РК в Директе и создаем эксперимент:
   
2. Заполняем все необходимые поля, добавляем счетчик Метрики:
   
   Доли в сегментах можно разделить как угодно, в любом процентном соотношении. А также можно добавлять больше двух сегментов, если в тесте участвуют, например, больше двух вариантов текстов объявлений.
   
   Поскольку у нас 2 варианта текстов, мы создали два сегмента с долями 50%. Это означает, что половине пользователей будет показываться первый вариант текстов объявлений, а другой половине — второй. Такое распределение поможет провести эксперимент максимально объективно.
3. Готовим РК к тестированию. У нас была старая исходная кампания, мы сделали две ее копии в Директ Коммандер. В первой копии оставили прежний текст объявлений, а во второй изменили на новый. Затем выгрузили кампании в Директ.

4.   Заходим в Яндекс Директ в кампании-копии, в параметрах РК в разделе «Эксперименты» подключаем кампании к созданному в Яндекс Аудиториях эксперименту:

Для корректной работы эксперимента обязательно нужно сдвинуть ползунок «Таргетинг по сегментам» как показано на скриншоте выше, и в каждой кампании-копии выбрать свой сегмент таргетинга. В нашем случае для одной кампании мы выбрали первый сегмент (скриншот выше), а для другой кампании второй сегмент:

5.   Останавливаем исходную кампанию и одновременно запускаем кампании-копии.

6.   Готово! Эксперимент запустился. Нам осталось лишь ждать результатов.

На тестирование мы заложили 3 недели. Спустя три недели в личном кабинете Директа сравнили эффективность кампаний-копий между собой:

Из статистики видно, что новые тексты объявлений работают лучше: в 2 раза больше конверсий и в 2 раза меньше стоимость конверсии. Для завершения эксперимента необходимо:

1. Одновременно остановить тестируемые кампании.
2. В общих параметрах РК отключить эксперимент от успешной кампании:
   
   
3. Запустить показы успешной кампании.

Провести тестирование в Директ можно не только с помощью Экспериментов. Есть еще несколько способов. Опишем, как еще мы могли бы протестировать тексты объявлений:

1. В структуре исходной кампании в одну группу объявлений добавить объявления с разными текстами. Сначала все объявления в группе будут равномерно показываться в ротации. Как только по ним накопится достаточная статистика, система начнет чаще показывать вариант с самым высоким CTR. Таким образом, по окончании теста, можно сравнить статистику по двум объявлениям из группы и отключить неэффективное.
2. Еще один вариант — это определенный период показывать в РК объявления с одним вариантом текстов, а затем изменить текст, и ровно такой же период период «откручивать» кампанию уже с новым текстом объявлений. Затем сравнить статистику за два периода и выбрать текст объявления, который отработал наиболее эффективно.

Поэтому Эксперименты не являются единственно возможным инструментом для проведения тестирования, можно использовать и другие. Но, по нашему мнению, Эксперименты — самый удобный и объективный инструмент, потому что:

• Тестирование проходит в один и тот же период, то есть исключено влияние фактора времени, сезонности;
• Трафик честно делится на те доли, которые были заданы в эксперименте. В нашем случае ровно половине пользователей показывался один текст объявления, и ровно половине — другой;
• Подготовка к эксперименту максимально простая и понятная.

Спасибо Яндексу за создание такого удобного и простого в использовании инструмента :)

Для повышения эффективности рекламных кампаний все средства хороши. Яндекс Эксперименты — отличный инструмент для проведения тестирования РК. С помощью него можно легко и просто выбрать оптимальную стратегию назначения ставок, лучшие тексты объявлений, посадочные страницы и так далее. И этот выбор будет основан на реальных данных, а не просто на фантазии рекламного специалиста!)