А/В-тестирование рекомендательных блоков

A/B тестирование позволяет автоматически определять лучший результат показа рекомендательного блока по CTR и конверсиям.
Вы можете протестировать:

• источники данных — для рекомендаций в приложениях и получаемых по JavaScript API,
• названия, источники данных, внешний вид и места размещения блока – для рекомендаций, которые полностью создаются на стороне eSputnik.

Определяйте самые эффективные варианты и создавайте новые блоки, опираясь на результаты тестов.

Настройки А/В-тестирования

1. Чтобы настроить тест созданной рекомендации, перейдите в раздел “Сайт” → “Рекомендации” и нажмите на нужную рекомендацию.

2. Перейдите на вкладку "А/В-тест" и нажмите кнопку "Начать А/В-тест".

Параметры тестирования

1. Выберите количество участвующих в тестировании вариантов — по умолчанию это два варианта, чтобы добавить больше — нажмите соответствующую кнопку (максимальное количество вариантов — 8).

2. Укажите процентный вес каждого варианта или распределите его равномерно, нажав соответствующую кнопку.

3. Добавьте описание вариантов, чтобы в будущем легко узнать ключевые отличия тестируемых вариантов (опционально).

Ниже выберите параметры, которые будете тестировать. Лучше проверять по одному параметру за один раз, чтобы понимать, какие факторы влияют на результаты.

Источник данных. Укажите, по какому из алгоритмов будут выводиться рекомендации. Для его изменения нажмите вариант и в списке выберите нужный.

Место расположения. Укажите места размещения рекомендаций на странице.

Внешний вид. Укажите варианты, которые будут участвовать в тесте, так же, как и места размещения.

Заголовок. Пропишите разные варианты, чтобы понять, какой из них более привлекательный.

После внесения настроек нажмите кнопку “Сохранить” в верхней части страницы.

Статус тестирования и его оценка

Каждая рекомендация, для которой проводилось тестирование A/B, имеет соответствующую отметку в виде кнопки в общем списке созданных рекомендаций.

В зависимости от текущего статуса (завершено/не завершено) и ключевых результатов (по CTR и достигнутым конверсиям) кнопка окрашивается в разные цвета. При наведении на нее открывается краткий отчет. Нажмите кнопку “Просмотр теста”, чтобы просмотреть результаты подробно.

Цветовые обозначения:

• Зеленая кнопка – тестирование завершено, есть победитель по CTR и конверсии.
• Серо-желтая кнопка свидетельствует о том, что для определения победителя по CTR недостаточно данных, конверсия одинакова.
• Кнопка желтого цвета – по CTR и конверсии одинаковая статистика, тестирование продолжается.
• Зелено-желтая кнопка означает, что есть победитель по CTR, а по конверсии одинаковая статистика. Тестирование продолжается.
• Желто-зеленая кнопка – есть победитель по конверсии, по CTR получены одинаковые результаты.
• Серая кнопка – данных для определения победителя ни по одному из показателей недостаточно.

Отчет о результатах тестирования

На первом экране просмотра теста выводится победитель с указанием полученных результатов.

Для определения один из вариантов должен лидировать с вероятностью не менее 90%, и разница в вероятности между вариантами должна составлять более 5%. Пока не будет достигнут этот минимальный порог, тестирование будет продолжаться.

Если данных достаточно, вы можете остановить тест, нажав кнопку “Выбрать вариант и завершить тест” (жирным текстом будет прописан вариант, который лучше показал себя).

Если победители по CTR и по конверсии – разные варианты, то лучшим может быть только победитель по конверсии, поскольку продажи важнее, чем показатель кликабельности.

После описания предпочтительного варианта представлен отчет с результатами тестирования для каждого из вариантов. В зеленую рамку взяты показатели CTR и конверсии победившего варианта.

В последнем блоке отчета (“Динамика активности”) графики визуализируют полученные результаты по сравнению с другими вариантами теста.

Чтобы увидеть количество показателей за определенный период времени, наведите курсор на график:

Внизу страницы отображается история завершенных тестов: