А/В-тестирование

Прежде чем внедрять на сайте или в рассылках какие-либо изменения, необходимо провести соответствующее A/B-тестирование. С его помощью вы сможете проверить достоверность выдвинутых маркетологами гипотез, оценить на эффективность предложенные изменения, выбрать лучшую версию продающих страниц/писем и запустить обновления, опираясь на объективные данные, а не на предположения и интуицию. Зачем нужен A/B-тест и как провести достоверное тестирование – давайте разбираться…

Что такое а/б-тестирование сайта

А/Б-тест – это, простыми словами, маркетинговый способ оценить с помощью эксперимента эффективность разных версий чего-либо: страниц сайта, дизайнов, рассылок.

Для сайтов и лендингов этот метод еще называют сплит-тестированием. Условно говоря, у вас есть страница А, которую вы хотите оптимизировать, чтобы улучшить какой-то из показателей. Вы создаете копию этой страницы (страницу В) и меняете в ней определенный элемент, который, на ваш взгляд, должен положительно повлиять на нужный вам параметр.

Теперь необходимо сравнить между собой страницу А и страницу В путем тестирования среди посетителей вашего ресурса. Страница, которая покажет наилучший результат в отношении исследуемого показателя, и будет считаться наиболее эффективной для вашего сайта (при условии соблюдения всех правил проведения такого тестирования и достижения высокой статистической значимости).

Чтобы было понятно, о чем речь, объясним на наглядном примере. Предположим, у вас есть компания, которая занимается продажей онлайн-курсов по английскому языку. За последние несколько месяцев заметно снизилось количество подаваемых на сайте заявок, и ваш маркетолог предположил, что прежний призыв к действию уже не работает и надо его менять.

В ходе совещаний и общения с клиентами было сформировано несколько новых призывов к действию. Но как понять, какой из них больше всего понравится посетителям ресурса? А что если после добавления на продающую страницу нового призыва конверсии еще больше упадут? Вот тут и придет на помощь доверительное A/B-тестирование, с помощью которого получится не только выбрать лучшую версию призыва, но и отследить, как изменения отразились на количестве подаваемых заявок с сайта.

A/B-тестирование в рассылках

Проводить эксперименты и выбирать лучшую версию нужно не только для сайтов и лендингов, но и для рассылок. Это позволит вам заметно повысить эффективность коммуникации с клиентами и увеличить конверсии ваших email, сообщений в Вайбере, SMS и пуш-уведомлений. Больше не придется спорить, какой вариант письма лучше и красивее, что сильнее привлечет внимание клиентов и заставит их совершить покупку – объективный тест сам все покажет.

В рассылках можно протестировать:

• заголовок и основной текст рассылки;
• дизайн (шрифты, картинки, расположение элементов и т. д.) письма/сообщения;
• кнопки и призывы к действию;
• ссылки;
• баннеры.

Кстати, в eSputnik вы можете проводить необходимые A/B-тесты рассылок прямо внутри системы. Тестирование темы письма является самым простым – на проведение такого эксперимента у вас уйдет пара минут. В самой рассылке укажите несколько различных тем, а затем посмотрите в отчетах, какая из них сработала лучше и показала более высокую открываемость.

Для тестирования кнопок, баннеров, ссылок, дизайна и контента придется создавать отдельные рассылки, разделять базу контактов на несколько групп и отправлять им разные варианты письма. В автоматических отчетах вы увидите, какой вариант оказался наиболее эффективным в плане прочтения письма и переходов по ссылкам.

Если вы используете для анализа тестирования своих рассылок другой сервис, где нет доступа к детальной аналитике, то обязательно проверяйте достоверность полученных результатов тестирования с помощью онлайн-калькулятора статистической значимости а/б-теста. Так вы поймете, можно ли доверять проведенному эксперименту.

Обратите внимание, что в eSputnik помимо A/B-тестирования рассылок можно проводить тесты товарных рекомендаций на сайте. И все это в одном аккаунте без необходимости переключаться между разными сервисами. Если вы хотите ознакомиться со всеми возможностями омниканальной CDP eSputnik, то оставляйте заяку, и наши менеджеры обязательно свяжутся с вами и расскажут обо всем подробнее.
 

Зачем проводить A/B-тестирование сайта и рассылок

Проведение а/б-тестирования поможет:

• выполнить оптимизацию страниц сайта или рассылки, основанную на объективных данных и интересах пользователей, а не на теории или интуиции;
• добиться минимизации рисков и финансовых потерь от внедряемых на сайте и в рассылках изменений;
• найти конструктивное решение проблем и трудностей, с которыми сталкивались посетители во время использования сайта (улучшение структуры и навигации, внедрение комфортного дизайна, повышение ценности контента и т. п.) или прочтения писем/сообщений (перестановка блоков в письме, оптимизация баннеров, добавление призывов к действию и кнопок, включение элементов персонализации);
• обеспечить рост окупаемости инвестиций в маркетинг (ROMI), в частности, в продвижение сайта и direct-маркетинг;
• снизить показатель отказов на сайте благодаря грамотной доработке ресурса и повышению его юзабилити, повысить показатель открываемости писем/уведомлений и взаимодействия клиентов с контентом рассылки.

Что можно проверить с помощью а/б-теста

Тестировать можно любую из возникших у вас гипотез, однако чаще всего A/B-тестирование проводят, когда хотят:

• изменить контент на странице сайта или в рассылке, добавить в текст новые ключевые запросы или “волшебные слова”, поменять заголовки, смысловую нагрузку или стиль общения с потенциальными клиентами;
• оптимизировать дизайн страницы, письма или сообщения, использовав современную верстку и приемы захвата внимания посетителей;
• поменять цветовую палитру сайта/рассылки;
• добавить новые картинки или усовершенствовать старые, в том числе уменьшить их вес (при а/б-тесте станет понятно, повлияло ли увеличение скорости загрузки страниц сайта (письма) на показатель отказов (открытий) и конверсию);
• изменить призыв к действию, размер, цвет, форму и текст кнопки под ним;
• добавить новые или изменить старые формы, всплывающие окна, онлайн-чат, кнопку обратной связи, товарные рекомендации на сайте (в рассылках можно тестировать товарные рекомендации и динамический контент в рамках AMP);
• поменять расположение элементов и контентных блоков на странице ресурса или в рассылке.

Как проводить а/б-тестирование сайта: пошаговое руководство

A/B-тестирование рассылок в eSputnik проводится достаточно просто, с ним справится даже новичок в маркетинге, особенно при поддержке наших специалистов. Поэтому нет смысла подробно расписывать, как его выполнить. А вот эксперименты со страницами сайта требуют определенных навыков и знаний. Чтобы ваше A/B-тестирование сайта оказалось результативным и безошибочным, придерживайтесь следующей пошаговой инструкции:

1. Поставьте главную цель изменений на сайте

Вам нужно четко понимать, для чего именно нужны изменения. Например, упало количество заказов с сайта, и этот параметр необходимо улучшать, или повысился показатель отказов, то есть клиенты стали быстро покидать ресурс. Как вариант мог вырасти процент брошенных просмотров и брошенных корзин (покупатели не доводят начатое до конца, и заказы срываются) и т. д. Поставьте цель, что бы вы хотели изменить с помощью оптимизации сайта.

2. Выберите показатель, по которому будете оценивать результаты тестирования

Теперь вам надо определиться, что станет для вас главным показателем успешных изменений. Это может быть рост количества заявок, полученных с сайта, повышение кликабельности кнопок и заполнения форм, активизация общения в чате с менеджером, изменение частоты регистраций и т. п. Самой популярной метрикой, которую ставят во главу оценки результатов тестирования, является рост доходов с продаж на сайте (для этого проводится а/б-тест revenue).

3. Сформулируйте гипотезы, которые должны привести к цели

Пришло время выдвинуть свои предположения насчет необходимых изменений на сайте, которые приведут к достижению заранее поставленной цели. Например, у вас есть гипотеза, что сайт плохо конвертирует из-за недостаточно эффективного призыва к действию или неудобной структуры и навигации, из-за которых пользователям сложно искать продукты и оформлять заказы.

Выпишите все возникшие у вас идеи, реализация которых, на ваш взгляд, может привести к желаемой цели. Каждую из этих гипотез и надо будет проверить с помощью A/B-тестирования. Только не пытайтесь внедрить сразу все изменения в рамках одной обновленной тестируемой версии, иначе в ходе анализа результатов теста вы не поймете, что именно сработало, а что нет. Чем меньше изменений тестируется за один раз, тем проще понять их результативность.

4. Определите выборку посетителей, которая нужна, чтоб успешно прошел а/б-тест

Размер выборки для а/б-теста имеет важное значение: как иначе вы поймете, что результаты эксперимента имеют достаточную статистическую значимость и не являются случайными. Минимальный размер выборки для A/B-теста можно посчитать с помощью специального онлайн-калькулятора. Полученное при таких расчетах число – это то количество человек, которое должно просмотреть каждую тестируемую версию страницы, чтобы результаты теста можно было считать достоверными. Если вы завершите тестирование до того, как наберете минимальное количество тестировщиков, то его результаты могут не иметь нужной статистической значимости.

Кроме того, вам необходимо определиться, кто будет входить в это число пользователей: все посетители сайта или только новые. И не забудьте исключить из тестирования сотрудников вашей компании (заранее внесите в систему аналитики IP-адреса их устройств, чтобы эти посещения не учитывались при оценке результатов тестирования).

5. Обозначьте продолжительность тестирования

Обычно а/б-тестирование сайта проводится не менее 10-14 дней. За этот период можно достигнуть нужного количества тестировщиков, согласно выборке, и увидеть реакцию пользователей, заходящих на сайт в разные дни недели в разное время суток. Если тест затягивается дольше, чем на месяц, то есть риск, что пользователи почистят кэш на своих устройствах и при повторных посещениях будут восприниматься как новые пользователи. Это исказит результаты эксперимента, поэтому затягивать тоже не стоит.

6. Учтите внешние факторы

Проводите тестирование среди однородной аудитории, распределяйте трафик равномерно между исследуемыми версиями страниц, анализируйте результаты в отдельности для каждого канала трафика. Старайтесь проводить а/б-тест в стандартный период продаж для вашего бизнеса. Если вы запустите эксперимент в горячий сезон, то рост количества заказов на сайте может быть обусловлен сезонным спросом, а не внедренными вами изменениями. То же самое касается и периода простоя – падение продаж в этот момент является логичным следствием, а не показателем нерезультативности ваших идей по оптимизации.

7. Запускайте тестирование

Проводите тест в течение заранее определенного времени и на установленную выборку посетителей. Для проведения теста используйте специальные сервисы тестирования (о них читайте ниже).

8. Проанализируйте результаты тестирования и оцените их статистическую значимость

Если статистическая значимость результатов достаточная, то тестирование прошло успешно и можно использовать версию страницы, которая победила. Теперь ваша задача – внедрить соответствующие изменения и через некоторое время (обычно несколько месяцев) проанализировать, удалось ли достигнуть поставленной цели или эксперимент все же не оправдал себя. В большинстве случаев при правильно проведенном A/B-тестировании и верной интерпретации результатов вы получите ожидаемый эффект от оптимизации отдельных страниц сайта или лендингов.

Сервисы а/б-тестирования сайтов

Для проведения A/B-тестов используйте специальные сервисы, например:

• Google Analytics – бесплатное тестирование прямо в своем аккаунте, функционал минимальный для проведения простых экспериментов, нет визуального редактора, так что требуется знание HTML-кода.
• Google Optimize – бесплатный сервис от Google, который легко и быстро синхронизируется с вашим аккаунтом в Google Analytics для просмотра отчетов по результатам тестирования. С его помощью можно тестировать различные изменения на странице: заголовки, картинки, дизайн, шрифты, цветовую палитру, кнопки и т. д.
• Vwo.com – сервис для тестирования мобильных и декстопных версий сайта, есть визуальный редактор, библиотека идей для проведения экспериментов, продвинутый таргетинг, интеграция со многими сервисами и платформами, в том числе Google Analytics.
• Optimizely – платный инструмент для проведения а/б-тестов, сплит-тестов, мультиканальных и мультивариантных тестов в визуальном интерфейсе (знание HTML-кода при этом не нужно), сегментация полученных результатов, продвинутый таргетинг и разнообразная интеграция.
• Changeagain.me – есть визуальный редактор, таргетинг по странам и устройствам, можно тестировать как десктопную, так и мобильную версию сайта, полная и автоматическая интеграция с аккаунтом в Google Analytics.
• Convert.com – позволяет проводить тестирование одновременно по нескольким метрикам и доходам, разноплановый таргетинг, визуальный редактор, расширенные возможности интеграции с другими сервисами.

Принцип проведения сплит-тестов во всех сервисах чем-то похож, есть различия только в функционале и возможностях. Подробнее о сервисах тестирования лендингов читайте в этой статье.

А сейчас давайте рассмотрим, как провести бесплатное базовое а/б-тестирование страниц сайта в Google Analytics.

Проведение A/B-тестирования в Google Analytics

Чтобы выполнить а/б-тестирование в Гугл Аналитике, следуйте этой инструкции:

1. Создайте на сайте альтернативную версию страницы с необходимыми вам изменениями, которые хотите протестировать.

2. Зайдите в свой аккаунт сервиса и перейдите во вкладку “Поведение” → ”Эксперименты”.

3. Добавьте новый эксперимент, заполнив предложенную форму: название эксперимента, статус, сеансы, дату начала и окончания тестирования (продолжительность лучше устанавливать не менее 2-х недель).

4. В дополнительных настройках включите равномерное распределение пользователей между тестируемыми вариантами страниц, установите необходимый порог достоверности эксперимента в процентах (ставьте от 95% и выше).

5. Укажите цель эксперимента (можно выбрать из предложенных или создать свою).

6. Укажите URL-адреса страниц, участвующих в тестировании (исходная и измененная версия).

7. Полученный html-код нужно добавить на сайт сразу после открывающего тега <head> (можно вставить код вручную или отправить его веб-мастеру для вставки).

8. Теперь можно запускать тестирование. Через указанный срок вы получите отчет с аналитикой эксперимента и увидите, какая из версий страниц показала лучший результат по установленной цели.

Если вы не знаете, как провести а/б-тест двух сайтов сразу, то сделайте под каждый из них отдельный проект, дайте ему соответствующее название и проводите эксперименты в рамках имеющегося функционала. В Google Analytics у вас есть возможность привязать к одному аккаунту сразу несколько сайтов, поэтому вы можете просто переключаться между вкладками ресурсов и проводить эксперименты по описанной выше схеме для каждого из них.

Теперь вы знаете, для чего нужно A/B-тестирование и каким оно бывает, как проводить сплит-тесты на сайте и с помощью каких сервисов, что можно тестировать в рассылках. Удачных вам экспериментов!