Как сделать сплит-тест и оценить результаты?

Письма, которые могут максимально заинтересовать вашего подписчика — основа email маркетинга. Но как понять, что усилия потрачены не напрасно и письмо действительно сработает так, как задумывалось? Как утверждает Фил Барден, на обработку рекламы в письмах человек тратит 2 секунды. Важно понимать, а что способно заставить клиента читать письмо полностью, а не только просмотреть и быстро закрыть.

А/B тестирование для email-рассылок

Клиенты, которые приходят в агентство eSputnik хорошо понимают свою аудиторию (бывают исключения, но редко), а мы знаем фишки, которые наверняка сработают. Наша общая задача в том, чтобы найти золотую середину и совместные знания применить во благо email рассылки. Ведь одни и те же идеи не всегда одинаково работают у компаний с разной отраслью, так как и база разная, и в сфере бизнеса есть отличия. Для каждого будет уникальным и эффективно работающим только их результат тестирования.

Теперь не нужно полагаться только на лучшие практики, советы из форумов или интуицию. У вас будет возможность проверить все свои идеи на практике и лучшие из них воплотить в жизнь. А/B тестирование кнопок, изображений, заголовков, фото товаров и других визуальных элементов поможет вашей email-кампании в долгосрочной перспективе.

Как провести А/Б тест в eSputnik?

Сначала чётко определите показатели, которые пригодятся вам не один раз, а помогут улучшить все письма:

• Пропишите цели - что и зачем вы будете тестировать.
• Поставьте гипотезу - догадку или утверждение почему этот тест должен сработать.
• Укажите желаемый результат, который будет значимым (достоверным) для принятия решения и т.д.

В зависимости от цели и подход к тестированию может быть разным.

Например, достаточно интересный элемент в категоризации сайта «Скидки». Часто клиентам нужны только скидки и если в письме ничего не заинтересует, то эта категория будет интересна всегда. Мы провели тест в нескольких организациях, выделив этот заветный раздел другим цветом. И если в одной организации % переходов по этой ссылке вырос до 7%, то такой вариант:

Мы заменили на новый и переходы по ссылке «Скидки и акции» выросли всего на несколько процентов.

Ради интереса можно тестировать ещё эти показатели, но можно с уверенностью сказать, что если неохота тратить время — всегда выделяйте этот раздел, вреда он точно не принесёт. Это нельзя будет считать тестом, а просто микроулучшением вашего письма.

1) Встроенное А/Б-тестирование темы письма

Если у вас есть желание, время и возможность проверить все детали вашего письма — это здорово. Начинайте с простых тестов, например, с темы письма. В eSputnik этот тест пользуется популярностью, потому что на его создание не уходит больше пары минут.

Для А/Б тестирования темы вы можете прямо в письме указать 2 и больше тем и потом просто посмотреть статистику, что же сработало лучше.

Например, проверим, что в теме сработает лучше: эксклюзивность или ограниченность по времени?

В отчёте после рассылки вы увидите вкладку "Эксперименты" и в ней можно будет оценить результат вашего тестирования.

Если результаты окажутся приблизительно равны, то лучше провести тест ещё раз. Если в результате окажется вариант-победитель - он будет подсвечен зелёным цветом и звёздочкой.

2) Эксперименты с тестовыми группами

Для более глобальных тестов (проверка баннеров, кнопок, шаблонов, анимации и т.д.) — придётся создавать несколько писем и делить базу на подгруппы. Для этого нужно зайти в группу, на которой вы будете ставить опыты и кликнуть на кнопку «Разбить группу»

Создавайте столько частей, сколько вам понадобится для объективной оценки результатов. Например, если у вас большая база, то можно позволить себе выделить для эксперимента 2 группы по 10% и письмо-победитель отправить по оставшейся базе.

По-настоящему можно оценить результаты теста минимум через сутки и условия (время, день) для отправки остатка писем уже будут отличаться. Лучше такой подход тестирования оставить для лендингов, а для рассылок использовать одновременную отправку 50% на 50%.

3) Тестирование автоматических писем

Если вы уже набили руку на простых тестах в регулярных рассылках, вероятно, захочется чего-то нового, например, тесты автоматических писем. Запутались в массе советов с чего начинать общение с клиентом в приветственном письме? Не нужно выбирать - пусть читатели покажут, что им интереснее.

Пример того, как в eSputnik настроить А/Б тест для писем о брошенной корзине.

Механизм довольно простой: система оценивает оставил ли клиент на сайте заказ и отправляет в равных долях подопытные письма. В одном письме пользователю предлагается только список оставленных товаров, в другом - баннер, который уводит в корзину. На такие тесты уходит около полугода, чтобы отправилось достаточное количество писем для анализа. Можно оценить не только поведение клиента, но и какой подход более результативный.

Итог можно подвести, посмотрев в результаты по рассылке и заглянув в Google Analytics для оценки продаж.

А/B тестирование доступно для всех компаний с любым размером базы и любым бюджетом. Было бы желание:) Конечно, чтобы получить достоверный результат, лучше проводить тесты на большой базе активных пользователей. Если же и хочется и колется, то тестируйте элементы, которые действительно вам помогут. Как в примере с категоризацией. Нет времени тестировать меню в письме — выделите раздел «Акции» и больше не возвращайтесь к этому вопросу. Если же вы хотите полностью сменить структуру и шаблон письма — это другой масштаб и без теста лучше не торопиться всё кардинально менять.

Высокой вам конверсии и интересных А/Б тестов! ;)