А/В-тестування рекомендаційних блоків

А/В-тести важливі для визначення найкращої назви, зовнішнього вигляду, місця розміщення, загалом рекомендацій, які приноситимуть більше продажів.

У вкладці "А/В-тест" у створеній рекомендації додаються варіанти для тестування. Щоб додати варіанти тестування, натисніть кнопку “Почати А/В-тест”.

Вкладка “Параметри”

Опис. На першому екрані вкажіть, скільки варіантів братиме участь у тестуванні, вагу кожного, і опишіть їх.

Вага – частка аудиторії, якій будуть показані рекомендації. Вона може бути розподілена рівномірно – натисніть відповідну кнопку або вкажіть вручну потрібні пропорції.

За замовчуванням перевіряються два варіанти – це мінімум. Для додавання нового клацніть кнопку “Додати варіант” під таблицею.

Максимальна кількість варіантів – 8.

Нижче виберіть параметри, які тестуватимете. Найкраще перевіряти по одному параметру за один раз.

Місце розміщення. Вкажіть потрібні місця розміщення рекомендації на сторінці. Для зміни клацніть стрілку в кінці назви та іконку оновлення. Виберіть потрібне з доступних місць розташування.

Зовнішній вигляд. Вкажіть варіанти, які братимуть участь у тесті, у той же спосіб, що й місця розміщення. Заміна варіантів також доступна.

Заголовок. Пропишіть різні варіанти, щоб зрозуміти, який із них привабливіший.

Джерело даних. Вкажіть, за яким із доступних алгоритмів виводитимуться рекомендації. Для його зміни клацніть на варіант і у списку виберіть потрібний.

Після внесення потрібних правок натисніть “Зберегти” у верхній частині сторінки.

Якщо ви не запускаєте А/В-тест, то у вкладці “Параметри” відображатиметься опис доданої рекомендації.

Статус тестування та його оцінка

Кожна рекомендація, для якої проводилося A/B-тестування, має відповідну позначку у вигляді кнопки. Це видно у загальному списку створених рекомендацій.

Залежно від поточного статусу (завершено / не завершено) та ключових результатів (за CTR та досягнутими конверсіями) кнопка забарвлюється у різні кольори. У разі наведення на неї відкривається перегляд із коротким звітом. Натиснувши кнопку “Перегляд тесту”, можна переглянути результати детально.

Кольорові позначення:

• Зелена кнопка – тестування завершено, є переможець за CTR та конверсією:
  
  Якщо навести курсор, відкриється короткий звіт про отримані результати:
  
• Сіро-жовта кнопка свідчить про те, що для визначення переможця за CTR недостатньо даних, а по конверсії отримані однакові результати:
  
• Кнопка жовтого кольору – за CTR та конверсією однакова статистика, тестування продовжується:
  
• Зелено-жовта кнопка означає, що є переможець за CTR, а за конверсією однакова статистика. Тестування продовжується:
  
• Жовто-зелена кнопка – є переможець за конверсією, за CTR отримані однакові результати:
  
• Сіра кнопка – немає достатньо даних для визначення переможця за жодним із показників:
  

Звіт про результати тестування

Перейти до звітів про тестування можна одним зі способів:

• клацнути кнопку у загальному списку рекомендацій;
• клацнути кнопку "Перегляд тесту" в прев’ю результатів;
  
• вибрати рекомендацію у загальному списку та перейти на вкладку “А/В-тест”.

На сторінці буде подано звіт про результати тестування. На першому екрані виводиться переможець із зазначенням отриманих результатів. Для визначення один із варіантів повинен лідирувати з ймовірністю не менше 90%, і різниця в ймовірності між варіантами повинна становити більше 5%. Поки не буде досягнуто цього мінімального порога, тестування триває.

Якщо даних вам достатньо, то можете зупинити тест, натиснувши кнопку "Вибрати варіант А і завершити тест" (жирним текстом буде прописаний варіант, який найкраще показав себе).

Якщо переможці за CTR і за конверсією – різні варіанти, то найкращим може бути лише переможець за конверсією, оскільки продажі важливіші, ніж показник клікабельності.

Після опису кращого варіанту подано звіт із результатами тестування для кожного з варіантів.

У зелену рамку взято показники CTR і конверсії варіанта, що переміг. Якщо навести курсор на показник, підсвічується довірчий інтервал – показник, який свідчить про точність вимірів. Чим більше людей бачило рекомендації та здійснило цільову дію, тим більший інтервал і тим менша стандартна помилка. Якщо % стандартної помилки великий, є сенс почекати, доки збереться достатньо даних.

В останньому блоці звіту (“Динаміка активності”) гістограми візуалізують отримані результати порівняно з іншими варіантами тесту.

Якщо навести курсор на графік, відкривається його опис:

У самому низу вкладки "А/В-тест" ви зможете знайти історію вже завершених тестів:

Для досягнення кращих продажів обов'язково тестуйте різні елементи для блоку рекомендацій, місця розміщення. Визначайте найефективніші варіанти та створюйте нові блоки, спираючись на результати тестів.