А/В-тестирование рекомендательных блоков

А/В-тесты важны для определения лучшего названия, внешнего вида, места размещения, в целом рекомендаций, которые будут приносить больше продаж.

Во вкладке “А/В-тест” в созданной рекомендации добавляются варианты для тестирования. Для добавления вариантов тестирования нажмите кнопку “Начать А/В-тест”.

Вкладка “Параметры”

Описание. На первом экране укажите, сколько вариантов будут участвовать в тестировании, вес каждого и опишите их.

Вес – доля аудитории, которой будут показаны рекомендации. Он может быть распределен равномерно по нажатию соответствующей кнопки или можно указать вручную нужные пропорции.

По умолчанию проверяются 2 варианта – это минимум. Для добавления нового кликните по кнопке “+ Добавить вариант” под таблицей. 

Максимальное количество вариантов – 8.

Ниже выберите сами параметры, которые будете тестировать. Лучше всего проверять по одному параметру за раз:

Место размещения. Укажите нужные места размещения рекомендации на странице. Для изменения кликните по стрелке в конце названия и на иконку обновления. Выберите нужное из доступных мест размещений.

Внешний вид. Укажите варианты, которые будут участвовать в тесте, тем же способом, что и места размещения. Замена вариантов также доступна.

Заголовок. Пропишите разные варианты, чтобы понять, какой из них более привлекательный.

Источник данных. Укажите, по какому из доступных алгоритмов будут выводиться рекомендации. Для его изменения кликните на вариант и в открывшемся списке выберите нужный.

После внесения нужных правок нажмите “Сохранить” в верху страницы.

Если вы не запускаете А/В-тест, то во вкладке “Параметры” будет отображаться описание добавленной рекомендации.

Статус тестирования и его оценка

Каждая рекомендация, для которой проводилось A/B-тестирование, имеет соответствующую пометку в виде кнопки. Это видно в общем списке созданных рекомендаций.

В зависимости от текущего статуса (завершено/не завершено) и ключевых результатов (по CTR и достигнутым конверсиям) кнопка окрашивается в разные цвета. При наведении на нее открывается предпросмотр с кратким отчетом. По кнопке “Просмотр теста” можно просмотреть его результаты детально.

Цветовые обозначения:

• Зеленая кнопка – тестирование завершено, есть победитель по CTR и по конверсии.

При наведении откроется краткий отчет о полученных результатах.

• Серо-желтая кнопка говорит о том, что для определения победителя по CTR недостаточно данных, а по конверсии получены одинаковые результаты.

• Кнопка желтого цвета – по CTR и конверсии одинаковая статистика, тестирование продолжается.

• Зелено-желтая кнопка означает, что есть победитель по CTR, а по конверсии одинаковая статистика. Тестирование продолжается.

• Желто-зеленая кнопка – есть победитель по конверсии, по CTR получены одинаковые результаты.

• Серая кнопка – нет достаточно данных для определения победителя ни по одному из показателей. 

Отчет о результатах тестирования

Перейти к отчетам о тестировании можно одним из способов:

• кликнуть по кнопке в общем списке рекомендаций;

• кликнуть по кнопке “Просмотр теста” в превью результатов;

• кликнуть по рекомендации в общем списке и перейти во вкладку “А/В-тест”.

На странице будет представлен отчет о результатах тестирования. На первом экране выводится победитель с указанием полученных результатов. Для его определения один из вариантов должен лидировать с вероятностью не менее 90% и разница в вероятности между вариантами должна составлять более 5%. Пока не будет достигнут этот минимальный порог, тестирование продолжается.

Если данных вам достаточно, то можете остановить тест, нажав кнопку “Выбрать вариант А и завершить тест” (жирным текстом будет прописан вариант, который лучше всего себя показал).

Если победители по CTR и по конверсии – разные варианты, то лучшим может быть только победитель по конверсии, так как продажи важнее, чем показатель кликабельности.

После описания лучшего представлен отчет с результатами тестирования по каждому из вариантов.

В зеленую рамку взяты показатели CTR и конверсии победившего варианта. При наведении на них подсвечивается доверительный интервал – показатель, который указывает на точность измерений. Чем больше людей видело рекомендации и совершило целевое действие, тем больше интервал и тем меньше стандартная ошибка. Если % стандартной ошибки большой, то есть смысл подождать, пока соберется достаточно данных.

В последнем блоке отчета (“Динамика активности”) гистограммы визуализируют полученные результаты в сравнении с другими вариантами, участвующими в тесте.

При наведении на график открывается его описание.

В самом низу вкладки “А/В-тест” вы сможете найти историю уже завершенных тестов:

Для достижения лучших продаж обязательно тестируйте разные элементы для блока рекомендаций, места размещений. Определяйте самые эффективные варианты и создавайте новые блоки, опираясь на результаты тестов.