Logo

Екатерина Кораблева

Ведущий специалист по Email-маркетингу в eSputnik

7 сервисов для проверки А/В-тестирования в email

Иногда нам сложно определиться со шрифтом или кнопкой, найти правильный стиль для общения с аудиторией или выбрать одну, но идеальную, тему для письма. Можно беспорядочно пробовать новое, но для того чтобы принять взвешенное решение, нужны фактические доказательства. 

В сфере email-маркетинга одним из самых распространенных способов проверить гипотезу является А/В-тестирование или сплит-тестирование. В этой статье мы расскажем о сервисах, которые помогут его провести.

Что такое А/В-тестирование

А/В-тестирование — это вид эксперимента для выбора из 2-х или больше (но чаще 2-х) вариантов. В маркетинге его применяют для лендингов, рассылок, дизайнов и пр.

Подготовиться к тесту просто, достаточно лишь иметь в своем арсенале:

  • Гипотезу — предположение, поиск подтверждения или опровержения которого является целью проведения эксперимента.

  • Выборку — необходимо достаточное количество участников теста. Мы рекомендуем использовать специальный калькулятор для подсчета нужного размера выборки. Он подскажет, сколько необходимо людей, чтобы эксперимент получился чистым и объективным.

  • Инструмент тестирования — приложение, расширение или программа, которая поможет провести процедуру и проанализировать результаты. Это может быть сервис для email-рассылок как с функционалом А/В-тестирования, так и без него.

Основные причины, почему А/В-тестирование может быть вам полезным:

  • нет возможности выбрать единственный вариант из-за разногласий внутри команды;

  • есть риски, связанные со слишком резкими изменениями (например, из-за радикальной смены дизайна письма сократится количество конверсий, поэтому сначала проводится тест);

  • нужно определить наиболее эффективный подход/стратегию при равных выборках, сохранив чистоту эксперимента.

Недавно мы писали статью о сервисах для проведения А/В-тестов лендингов, а сегодня мы хотим обратить ваше внимание на аналогичные сервисы в email-маркетинге. Специально для вас мы собрали целую подборку, которая точно пригодится в работе!

ТОП сервисов для проверки А/В-тестирования в email

1. Outofcloud.ru

Это агентство разработало сразу 3 инструмента для маркетологов: калькулятор достоверности А/В-тестов, калькулятор связи роста базы с выручкой и калькулятор эффективности триггеров. Интерфейс инструментов реализован достаточно просто, но в работе они вполне удобны и эффективны. Из безусловных плюсов — все сервисы доступны на русском языке.

Калькулятор достоверности А/В теста в Outofcloud.ru

2. Krotovroman.ru

На странице этого сервиса есть простой, но весьма результативный калькулятор достоверности выборки. Им легко пользоваться как для анализа email-рассылок, так и для посадочных страниц. Анализ идет в разрезе таких показателей: количество посетителей и количество осуществленных ими конверсий.

В емейлах на сервисе можно сравнить количество переходов и конверсий. После того как вы подставите свои данные, можно увидеть, насколько статистически значимым является результат. Как вы могли догадаться по названию сайта, инструмент представлен на русском языке.

Калькулятор достоверности теста у krotovroman.ru

3. Surveymonkey.ru

В этом сервисе также представлен калькулятор расчета статистической значимости результатов А/В-тестирования. В полях можно задать количество посетителей и произведенных ими конверсий, далее выбрать вариант гипотезы, которую нужно проверить, и нажать кнопку “Рассчитать”. 

Также на странице есть подробные пояснения о статистической значимости и ее роли в проведении теста. Интерфейс системы представлен на русском языке, так что с ней просто взаимодействовать тем, кому сложно работать с терминами на английском.

Калькулятор для проверки статистической значимости теста в surveymonkey.ru

Типы гипотез

Односторонняя — проверяет, повлиял ли вариант на результат положительно. Двусторонняя — также учитывает, мог ли повлиять вариант на результат негативно.

Статистическая значимость

Показатель, который определяет, является ли результат тестирования достоверным или вызван случайностью, ошибкой или совпадением.

4. Surveysystem.com 

Полезный сервис, который поможет определить размер выборки на этапе подготовки к проведению эксперимента, а не в момент среза результатов. В первую очередь он был заточен под статистические интервью. Если вы не разбираетесь в статистике и не знаете, что такое доверительный интервал и уровень доверия — на странице калькулятора есть информация, которая поможет вам разобраться. Главное — знать английский язык.

Сервис для определения релевантной выборки surveysystem.com

5. Evanmiller.org

Это один из самых первых и пока все еще самых точных калькуляторов расчета выборок от Евана Миллера. Его советуют использовать многие крупные игроки в нише email-маркетинга, и мы также рекомендуем обратить на него внимание. Не смотря на язык интерфейса — английский — разобраться в нем просто, а главное — он дает объективный результат. Преимущество — воспользоваться калькулятором можно через мобильное приложение для iPhone и iPad.

Калькулятор от evanmiller.org

6. Optimizely.com

Калькулятор размера выборки A/B-теста на базе движка статистики Intelligence Cloud. Еще один популярный калькулятор на английском языке, работающий по принципу инструмента Евана Миллера. Интерфейс очень простой и доступный, поэтому также  рекомендуем опробовать его на практике.

optimizely.com

7. Abtestguide.com

Для любителей наглядных графиков был создан именно этот инструмент проверки корректности А/В-тестирования. Калькулятор устроен таким же образом, как и остальные, но есть важное преимущество — графики и расчет дополнительных метрик. В этом инструменте вы узнаете Z-оценку, размер стандартной ошибки и ошибки дифференциации, относительный коэффициент роста конверсии и много другое. Возможно, затруднения вызовет английская версия интерфейса, зато есть шанс пополнить словарный запас международной статистической терминологией.

Калькулятор с графиками на abtestguide.com

Как провести А/В-тестирование в eSputnik

Чаще всего email-маркетологи экспериментируют с темой письма. Кроме этого, объектом теста могут быть кнопки, контент, баннеры, шрифты и многое другое. Такая рассылка поможет узнать и “прощупать” вкусы вашей аудитории и поставить точку в бесконечных спорах о том, какой вариант письма лучше.

Если вы являетесь пользователем системы eSputnik, то у вас есть возможность провести А/В-тестирование темы рассылки через простой встроенный функционал.

Для этого нужно зайти в редактор письма, нажать на “тему” письма, прописать 1 вариант в строке, нажать на “+” и добавить еще одну тему. Вариантов можно указать и больше, только в таком случае этот эксперимент корректно будет называть A/B/n-тестированием.

Как добавить дополнительные темы письма в eSputnik

После рассылки вы сможете увидеть в отчете детализацию и узнать, какая тема сработала лучше.

Результаты сплит-тестирования в email

Если же вы решили протестировать кнопки, дизайн или текст внутри письма — это нужно сделать через отдельные рассылки, результаты которых также можно сравнить в отчетах. Для этого предварительно поделите базу контактов в аккаунте системы eSputnik на 2 равные части, а далее отправляйте каждой из них разные письма.

Разделение контактов в группе на 2 равные части

После отправки писем специальный функционал сравнения окрасит зеленым результаты более эффективного варианта рассылки.

Результаты А/В теста в системе eSputnik

Если же вы пользуетесь другим сервисом рассылок и он не дает подробной статистики, воспользуйтесь калькуляторами проверки А/В-тестирования. С их помощью всегда можно проверить достоверность эксперимента, выделить вариант-победитель и быть уверенным в корректности его подсчета. 

Выводы

Проведение А/В-теста — процесс несложный и доступный для маркетолога с любым уровнем знаний и подготовки. В этом деле главное — соблюсти нехитрую последовательность этапов эксперимента и корректно интерпретировать результаты. В нашей статье мы поделились большим количеством сервисов для проверки достоверности тестов, из которых вы сможете выбрать своего фаворита для эффективной работы. Ну а помочь с проведением А/В-тестирования в eSputnik всегда поможет маркетинговое агентство платформы. 

Хотите проводить А/В-тесты в письмах?

5.0 из 5 на основе 1 оценок

Екатерина Кораблева

Ведущий специалист по Email-маркетингу в eSputnik

Комментарии 0