7 сервісів для перевірки А/В-тестування в email

Іноді нам буває складно визначитися щодо шрифту або кнопки, знайти правильний стиль для спілкування з аудиторією або вибрати одну, але ідеальну тему для листа. Можна безсистемно пробувати нове, але для того, щоб прийняти виважене рішення, потрібні фактичні докази.

У сфері email-маркетингу одним із найпоширеніших методів перевірки гіпотези є А/В-тестування, або спліт-тестування. У цій статті ми розповімо про послуги, які допоможуть його провести.

Що таке А/В-тестування

А/В-тестування — це тип експерименту для вибору з двох або більше (але зазвичай двох) варіантів. У маркетингу його застосовують для лендінгів, розсилок, дизайнів та ін.

Підготуватися до тесту нескладно, достатньо лише мати у своєму арсеналі:

• гіпотезу — припущення, пошук підтвердження або спростування якого є метою проведення експерименту.

• вибірку — необхідна достатня кількість учасників тесту. Ми рекомендуємо використовувати спеціальний калькулятор для обчислення необхідного розміру вибірки. Він підкаже, скільки потрібно людей, щоб експеримент вийшов чистим і об'єктивним.

• інструмент тестування — додаток, розширення або програма, яка допоможе провести процедуру та проаналізувати результати. Це може бути сервіс для email-розсилок як із функціоналом А/В-тестування, так і без нього.

Основні причини, з яких А/В-тестування може бути для вас корисним:

• немає можливості вибрати єдиний варіант через розбіжності всередині команди;

• існують ризики, пов'язані з надто різкими змінами (наприклад, через радикальну зміну дизайну листа зменшиться кількість конверсій, тому спочатку проводиться тест);

• треба визначити найефективніший підхід/стратегію за умови рівних вибірок, зберігаючи чистоту експерименту.

Нещодавно ми писали статтю про сервіси для проведення А/В-тестування лендингів, а сьогодні ми збираємося звернути вашу увагу на аналогічні сервіси в email-маркетингу. Спеціально для вас ми зробили цілу добірку, яка знадобиться вам у роботі!

ТОП сервісів для перевірки А/В-тестування в email

1. Surveysystem.com 

Корисний сервіс, який допоможе визначити розмір вибірки на етапі підготовки до проведення експерименту, а не в момент зрізу результатів. У першу чергу він був заточений під статистичні інтерв'ю. Якщо ви не знаєтеся на статистиці та не знаєте, що таке довірчий інтервал та рівень довіри, то інформація на сторінці калькулятора допоможе вам у цьому розібратися. Головне – знати англійську мову.

2. Surveymonkey

У цьому сервісі також представлений калькулятор обчислення статистичної значущості результатів А/В-тестування. У полях можна задати кількість відвідувачів і здійснених ними конверсій, після чого вибрати варіант гіпотези, яку треба перевірити, і натиснути кнопку "Обчислити".

Окрім цього, на сторінці є детальні пояснення стосовно статистичої значущості та її ролі під час проведення тесту. Інтерфейс системи представлений російською мовою, тож із нею легко взаємодіяти тим, кому важко працювати з англійською термінологією.

Типи гіпотез

Одностороння – перевіряє, чи мав варіант позитивний вплив на результат. Двостороння — також враховує, чи міг варіант негативно вплинути на результат.

Статистична значущість

Показник, який визначає, чи є результат тестування достовірним або він зумовлений випадковістю, помилкою чи збігом.

3. Evanmiller.org

Це один із найперших і навіть донині найточніших калькуляторів обчислення вибірок від Евана Міллера. Його рекомендують використовувати багато великих гравців у ніші email-маркетингу, і ми теж радимо звернути на нього увагу. Незважаючи на англійську мову інтерфейсу, розібратися в ній легко, і найголовніше — вона дає об'єктивний результат. Перевага — скористатися калькулятором можна через мобільний додаток для iPhone та iPad.

4. Optimizely.com

Калькулятор розміру вибірки A/B-тесту на базі движка статистики Intelligence Cloud. Ще один популярний англомовний калькулятор, який працює за принципом інструменту Евана Міллера. Інтерфейс дуже простий і доступний, тому ми теж рекомендуємо спробувати його на практиці.

5. Abtestguide.com

Для поціновувачів наочних графіків було створено саме цей інструмент перевірки коректності А/В-тестування. Калькулятор має такий самий принцип роботи, як і інші, але є важлива перевага — графіки та обчислення додаткових метрик. За допомогою цього інструменту ви дізнаєтесь Z-оцінку, розмір стандартної похибки та помилки диференціації, відносний коефіцієнт зростання конверсії та багато іншого. Можливо, ускладнення спричинить англійська версія інтерфейсу, але натомість є шанс поповнити словниковий запас міжнародною статистичною термінологією.

Як провести А/В-тестування в eSputnik

Частіше за все email-маркетологи експериментують із темою листа. Крім того, об'єктом тесту можуть бути кнопки, контент, банери, шрифти і багато іншого. Така розсилка допоможе дізнатися і "спробувати" смаки вашої аудиторії та поставити крапку в нескінченних суперечках щодо того, який із варіантів листа кращий.

Якщо ви є користувачем системи eSputnik, ви маєте можливість провести А/В-тестування теми розсилки за допомогою простого вбудованого функціоналу.

Для цього треба увійти в редактор листа, натиснути тему листа, прописати один варіант у рядку, натиснути “+” і додати ще одну тему. Варіантів можна вказати і більше, але у такому разі цей експеримент буде коректно називати A/B/n-тестуванням.

Після розсилки ви зможете побачити у звіті деталізацію та дізнатися, яка тема спрацювала краще.

Результати спліт-тестування в email

Якщо ж ви вирішили протестувати кнопки, дизайн або текст усередині листа, це слід робити шляхом окремих розсилок, результати яких теж можна порівняти у звітах. Для цього заздалегідь розділіть базу контактів в акаунті eSputnik на дві рівні частини, а потім відправляйте кожній із них різні листи.

Після відправлення листів спеціальний функціонал порівняння виділить зеленим кольором результати більш ефективного варіанту розсилки.

Якщо ж ви користуєтесь іншим сервісом розсилок і він не надає детальну статистику, скористайтеся калькуляторами перевірки А/В-тестування. З їхньою допомогою завжди можна перевірити достовірність експерименту, виділити варіант-переможець і бути впевненим у коректності обчислення.

Висновки

Проведення А/В-тесту — нескладний процес, доступний для маркетолога з будь-яким рівнем знань і підготовки. У цій справі головні умови — це дотримання нехитрої послідовності етапів експерименту і коректна інтерпретація результатів. У нашій статті ми поділилися великою кількістю сервісів для перевірки достовірності тестів, серед яких ви можете обрати свого фаворита для ефективної роботи. А допомогти із проведенням А/В-тестування в eSputnik завжди допоможе маркетингова агенція платформи.