7 сервисов для проверки А/В-тестирования в email

Иногда нам сложно определиться со шрифтом или кнопкой, найти правильный стиль для общения с аудиторией или выбрать одну, но идеальную, тему для письма. Можно беспорядочно пробовать новое, но для того чтобы принять взвешенное решение, нужны фактические доказательства. 

В сфере email-маркетинга одним из самых распространенных способов проверить гипотезу является А/В-тестирование или сплит-тестирование. В этой статье мы расскажем о сервисах, которые помогут его провести.

Что такое А/В-тестирование

А/В-тестирование — это вид эксперимента для выбора из 2-х или больше (но чаще 2-х) вариантов. В маркетинге его применяют для лендингов, рассылок, дизайнов и пр.

Подготовиться к тесту просто, достаточно лишь иметь в своем арсенале:

• Гипотезу — предположение, поиск подтверждения или опровержения которого является целью проведения эксперимента.

• Выборку — необходимо достаточное количество участников теста. Мы рекомендуем использовать специальный калькулятор для подсчета нужного размера выборки. Он подскажет, сколько необходимо людей, чтобы эксперимент получился чистым и объективным.

• Инструмент тестирования — приложение, расширение или программа, которая поможет провести процедуру и проанализировать результаты. Это может быть сервис для email-рассылок как с функционалом А/В-тестирования, так и без него.

Основные причины, почему А/В-тестирование может быть вам полезным:

• нет возможности выбрать единственный вариант из-за разногласий внутри команды;

• есть риски, связанные со слишком резкими изменениями (например, из-за радикальной смены дизайна письма сократится количество конверсий, поэтому сначала проводится тест);

• нужно определить наиболее эффективный подход/стратегию при равных выборках, сохранив чистоту эксперимента.

Недавно мы писали статью о сервисах для проведения А/В-тестов лендингов, а сегодня мы хотим обратить ваше внимание на аналогичные сервисы в email-маркетинге. Специально для вас мы собрали целую подборку, которая точно пригодится в работе!

ТОП сервисов для проверки А/В-тестирования в email

1. Outofcloud.ru

Это агентство разработало сразу 3 инструмента для маркетологов: калькулятор достоверности А/В-тестов, калькулятор связи роста базы с выручкой и калькулятор эффективности триггеров. Интерфейс инструментов реализован достаточно просто, но в работе они вполне удобны и эффективны. Из безусловных плюсов — все сервисы доступны на русском языке.

2. Krotovroman.ru

На странице этого сервиса есть простой, но весьма результативный калькулятор достоверности выборки. Им легко пользоваться как для анализа email-рассылок, так и для посадочных страниц. Анализ идет в разрезе таких показателей: количество посетителей и количество осуществленных ими конверсий.

В емейлах на сервисе можно сравнить количество переходов и конверсий. После того как вы подставите свои данные, можно увидеть, насколько статистически значимым является результат. Как вы могли догадаться по названию сайта, инструмент представлен на русском языке.

3. Surveymonkey.ru

В этом сервисе также представлен калькулятор расчета статистической значимости результатов А/В-тестирования. В полях можно задать количество посетителей и произведенных ими конверсий, далее выбрать вариант гипотезы, которую нужно проверить, и нажать кнопку “Рассчитать”. 

Также на странице есть подробные пояснения о статистической значимости и ее роли в проведении теста. Интерфейс системы представлен на русском языке, так что с ней просто взаимодействовать тем, кому сложно работать с терминами на английском.

4. Surveysystem.com 

Полезный сервис, который поможет определить размер выборки на этапе подготовки к проведению эксперимента, а не в момент среза результатов. В первую очередь он был заточен под статистические интервью. Если вы не разбираетесь в статистике и не знаете, что такое доверительный интервал и уровень доверия — на странице калькулятора есть информация, которая поможет вам разобраться. Главное — знать английский язык.

5. Evanmiller.org

Это один из самых первых и пока все еще самых точных калькуляторов расчета выборок от Евана Миллера. Его советуют использовать многие крупные игроки в нише email-маркетинга, и мы также рекомендуем обратить на него внимание. Не смотря на язык интерфейса — английский — разобраться в нем просто, а главное — он дает объективный результат. Преимущество — воспользоваться калькулятором можно через мобильное приложение для iPhone и iPad.

6. Optimizely.com

Калькулятор размера выборки A/B-теста на базе движка статистики Intelligence Cloud. Еще один популярный калькулятор на английском языке, работающий по принципу инструмента Евана Миллера. Интерфейс очень простой и доступный, поэтому также  рекомендуем опробовать его на практике.

7. Abtestguide.com

Для любителей наглядных графиков был создан именно этот инструмент проверки корректности А/В-тестирования. Калькулятор устроен таким же образом, как и остальные, но есть важное преимущество — графики и расчет дополнительных метрик. В этом инструменте вы узнаете Z-оценку, размер стандартной ошибки и ошибки дифференциации, относительный коэффициент роста конверсии и много другое. Возможно, затруднения вызовет английская версия интерфейса, зато есть шанс пополнить словарный запас международной статистической терминологией.

Как провести А/В-тестирование в eSputnik

Чаще всего email-маркетологи экспериментируют с темой письма. Кроме этого, объектом теста могут быть кнопки, контент, баннеры, шрифты и многое другое. Такая рассылка поможет узнать и “прощупать” вкусы вашей аудитории и поставить точку в бесконечных спорах о том, какой вариант письма лучше.

Если вы являетесь пользователем системы eSputnik, то у вас есть возможность провести А/В-тестирование темы рассылки через простой встроенный функционал.

Для этого нужно зайти в редактор письма, нажать на “тему” письма, прописать 1 вариант в строке, нажать на “+” и добавить еще одну тему. Вариантов можно указать и больше, только в таком случае этот эксперимент корректно будет называть A/B/n-тестированием.

После рассылки вы сможете увидеть в отчете детализацию и узнать, какая тема сработала лучше.

Если же вы решили протестировать кнопки, дизайн или текст внутри письма — это нужно сделать через отдельные рассылки, результаты которых также можно сравнить в отчетах. Для этого предварительно поделите базу контактов в аккаунте системы eSputnik на 2 равные части, а далее отправляйте каждой из них разные письма.

После отправки писем специальный функционал сравнения окрасит зеленым результаты более эффективного варианта рассылки.

Если же вы пользуетесь другим сервисом рассылок и он не дает подробной статистики, воспользуйтесь калькуляторами проверки А/В-тестирования. С их помощью всегда можно проверить достоверность эксперимента, выделить вариант-победитель и быть уверенным в корректности его подсчета. 

Выводы

Проведение А/В-теста — процесс несложный и доступный для маркетолога с любым уровнем знаний и подготовки. В этом деле главное — соблюсти нехитрую последовательность этапов эксперимента и корректно интерпретировать результаты. В нашей статье мы поделились большим количеством сервисов для проверки достоверности тестов, из которых вы сможете выбрать своего фаворита для эффективной работы. Ну а помочь с проведением А/В-тестирования в eSputnik всегда поможет маркетинговое агентство платформы.