Як провести спліт-тест і оцінити результати?

Листи, здатні максимально зацікавити вашого підписника — це основа email-маркетингу. Але як зрозуміти, що зусилля витрачені недаремно і лист дійсно спрацює так, як планувалося? Як стверджує Філ Барден, на обробку реклами у листах людина витрачає дві секунди. Важливо розуміти, що може переконати клієнта читати лист повністю, а не тільки переглянути і швидко закрити.

А/B-тестування для email-розсилок

Клієнти, які приходять до агенції eSputnik, добре розуміють свою аудиторію (бувають і винятки, але нечасто), а ми знаємо фішки, які напевно спрацюють. Наше спільне завдання полягає в тому, щоб знайти золоту середину і застосувати знання обох сторін на користь email-розсилки. Адже одні й ті самі ідеї не завжди однаково працюють у компаній із різних галузей, тому що і бази різні, і у сферах бізнесу є відмінності. Для кожного унікальним та ефективно працюючим буде лише його результат тестування.

Сьогодні немає потреби покладатися тільки на найкращі практики, рекомендації з форумів або інтуїцію. У вас буде можливість перевірити всі свої ідеї на практиці і втілити найкращі з них у життя. А/B-тестування кнопок, зображень, заголовків, фото товарів та інших візуальних елементів допоможе вашій email-кампанії у довгостроковій перспективі.

Як провести А/B-тест у eSputnik?

Перш за все чітко визначте показники, які знадобляться вам не одноразово, а допоможуть покращити всі листи:

• Пропишіть цілі — що і з якою метою ви тестуватимете;

• Сформулюйте гіпотезу — здогадку або твердження, чому цей тест має спрацювати;

• Вкажіть бажаний результат, який буде значущим (достовірним) для прийняття рішення та ін.

Підходи до тестування теж можуть бути різними залежно від мети.

Наприклад, досить цікавим є елемент у категоризації сайту “Знижки”. Клієнтам часто потрібні лише знижки, тому якщо в листі нічого більше не зацікавить, то ця категорія завжди буде актуальною. Ми провели тест у кількох організаціях, виділивши цей заповітний розділ іншим кольором. І якщо в одній із організацій відсоток переходів за цим посиланням збільшився до 7%, то такий варіант —

Ми замінили новим, і показники переходів за посиланням “Знижки та акції” зросли всього на кілька відсотків.

Заради цікавості можна тестувати ці показники, але можна впевнено сказати, що якщо не хочеться витрачати час — завжди виділяйте цей розділ, він точно не зашкодить. Це не можна буде вважати тестом, а лише мікропокращенням вашого листа.

1) Вбудоване А/B-тестування теми листа

Якщо у вас є бажання, час і можливість перевірити всі деталі вашого листа – це чудово. Починайте з простих тестів, наприклад із теми листа. В eSputnik цей тест користується популярністю, тому що його створення потребує не більше кількох хвилин.

З метою А/B-тестування теми ви можете безпосередньо в листі вказати дві або більше тем і потім просто подивитися статистику, що ж спрацювало краще.

Наприклад, давайте перевіримо, що у темі спрацює краще: ексклюзивність чи обмеженість у часі?

У звіті після розсилки ви побачите вкладку "Експерименти", і в ній можна буде оцінити результат тестування.

Якщо результати виявляться приблизно однаковими, то краще провести тест іще раз. Якщо в результаті виявиться варіант-переможець, його буде підсвічено зеленим кольором і позначено зірочкою.

2) Експерименти з тестовими групами

Для більш глобальних тестів (перевірка банерів, кнопок, шаблонів, анімації та ін.) доведеться створювати кілька листів і розділювати базу на підгрупи. Для цього треба увійти до групи, з якою ви будете проводити експерименти, і клікнути кнопку “Розбити групу”.

Створюйте стільки частин, скільки вам знадобиться для об'єктивного оцінювання результатів. Наприклад, якщо у вас велика база, то можна дозволити собі виділити для експерименту дві групи по 10% і потім відправити лист-переможець решті бази.

Повною мірою оцінити результати тесту можна щонайменше через добу, причому умови (час, день) для відправлення залишку листів уже відрізнятимуться. Краще залишити такий підхід до тестування для лендінгів, а для розсилок використовувати одночасне відправлення 50% на 50%.

3) Тестування автоматичних листів

Якщо ви вже напрацювали досвід простих тестів у регулярних розсилках, то вам, можливо, захочеться чогось нового, наприклад тестування автоматичних листів. Заплутались у безлічі рекомендацій, із чого починати спілкування з клієнтом у привітальному листі? Не треба вибирати – нехай читачі покажуть, що їм цікавіше.

Приклад того, як налаштувати в eSputnik А/B-тест для листів про покинутий кошик.

Механізм доволі простий: система оцінює, чи залишив клієнт на сайті замовлення, і відправляє рівними частинами експериментальні листи. В одному з листів користувачеві пропонується тільки список залишених товарів, а в іншому – банер, який веде до кошика. На такі тести витрачається близько півроку, щоб було відправлено достатню кількість листів для аналізу. Можна не лише оцінити поведінку клієнта, але й дізнатися, який підхід є більш результативним. 

Підсумки можна підбити, переглянувши результати розсилки і зазирнувши до Google Analytics, щоб оцінити продажі.

А/B-тестування є доступним для всіх компаній із будь-яким розміром бази і бюджетом. Було б тільки бажання :) Звісно, для отримання достовірного результату краще проводити тести з великою базою активних користувачів. Якщо ж і кортить, і страшить — тестуйте елементи, які вам дійсно допоможуть, як у прикладі з категоризацією. Немає часу тестувати меню в листі? — виділіть розділ “Акції” і більше не повертайтеся до цього питання. Якщо ж ви хочете повністю змінити структуру та шаблон листа – це вже інший масштаб, тому без тестування краще не поспішати кардинально все змінювати.

Бажаю вам високої конверсії та цікавих А/B-тестів! ;)