Поиск лучшего времени для отправки писем - одно из основных направлений исследований в email-маркетинге. Несмотря на это, окончательный ответ до сих пор не найден. Ведь предпочтительное время для прочтения почты - это настолько индивидуальная характеристика, что здесь сложно дать обобщённые рекомендации.
К примеру, исследование компании Pure360 показало, что пик читаемости доставленных писем приходится на промежуток с 5 до 9 вечера. А компания MailChimp предоставила результаты обширного исследования, в которых оптимальным временем для отправки писем назван интервал с 9 до 14 часов. Как же получается, что результаты настолько разные, и на что тогда опираться в работе?
Предварительные размышления
Оказывается, все подобные публикации показывают искусственные данные. Ведь если просмотреть результаты известных исследований, кажется, что примерно 24% процента всех открытий происходят в первый час после доставки письма. Таким образом, компания, которая из раза в раз отправляет свои рассылки примерно в одно и то же время, накапливает большое количество открытий именно в это время. Здесь нет ничего страшного, пока дело не доходит до анализа показателей открываемости и переходов в зависимости от времени.
Если при анализе открываемости по времени взять все открытия за 100% и для каждого часа найти его долю открытий, то где окажется самый большой процент?
Не в самое активное время, а именно в тот час, в который обычно делаются рассылки (примерно 24% как среднее арифметическое). Отражает ли это предпочтения пользователей по времени? Нет. Такой подход может показать лишь время, в которое вы обычно отправляете рассылки. А чтобы узнать действительно удобное для получателей время, необходимо обогащать данные, отправляя рассылки в разное время суток и в разные дни недели. Для иллюстрации этих размышлений приведены следующие графики.
Компания отправляет рассылки еженедельно, преимущественно в среду и пятницу в 15 часов и в субботу в 10 часов. Следующий график изображает распределение открытий по рассылке этой компании. Темный цвет говорит о большой доле открытий.
На графике видно, что максимальная доля открытий совпадает со временем отправки. Будто компания отправляет письма именно тогда, когда они лучше всего читаются. Это кажется очень хорошим показателем оптимального времени рассылки. И в то же время возникает логичный вопрос: неужели пользователи компании предпочитают именно это время для чтения писем? Как компания угадала этот момент? Проверим, как эти же пользователи читают письма других компаний.
Мы добавили информацию по открытиям писем от других компаний нашей системы на те же адреса. Картина радикально изменилась. Оказывается, что те пользователи, которые, как мы предположили, предпочитают читать письма в 15 часов, так же читают письма и в другое время. Даже предпочитают 12 часов дня.
Интересно, если бы мы получили информацию о времени прочтения писем, доставленных в другое время, картина бы снова радикально изменилась? Можно ли опираться на эти данные, если, к примеру, мы владеем информацией только о части писем, которую прочел каждый пользователь? В eSputnik Intelligence любят вопросы :)
Ответ на них существует только теоретический. Как известно, большинство природных процессов описываются законом нормального распределения. А статистика говорит, что, при определённых условиях, выборка из нормального распределения очень точно описывает генеральную совокупность. Поэтому мы надеемся, что наш случай не исключение из законов природы, и мы можем опираться на часть истории пользователей для нахождения общих тенденций.
Собрав получившуюся информацию, мы поняли, что работать с общими тенденциями нет смысла - необходимо детализировать задачу. Причем детализировать даже не до групп пользователей по интересам, а до самой нижней инстанции - до каждого индивидуального пользователя.
1. Поиск персонального времени методом максимальной частоты
Метод, с которого мы начали исследование, очень прост: собираем историю прочтений пользователя и ищем день недели и время суток, в которое он читает письма чаще всего.
Важно отметить, что историю каждого пользователя мы собираем по всей нашей системе, где каждый получает рассылку в среднем от 10 компаний.
Изобразим поведение случайно выбранного пользователя.
Каждая точка на графике представляет частоту прочтения писем в определённое время суток. У выбранного пользователя замечательная история - отчётливо виден пик в пятницу, который приходится на 19 часов вечера. Если мы будем отправлять ему письма за час до этого времени, то попадём в точку 18-ти часов, которая является вторым максимумом, т.е. мы наверняка попадаем в самый предпочтительный промежуток времени для пользователя.
В действительности же поведение пользователей не всегда настолько понятно. Есть пользователи, у которых несколько максимумов, или, банально, - мало истории прочтения писем. В этом случае этот подход не эффективен. На следующем графике именно такой случай.
1.1. Тестирование метода и результаты
Для проверки метода максимальной частоты мы провели эксперимент по аналогии с A/B тестированием. Тестовая выборка была разделена на две группы: экспериментальную и контрольную (эти фильтры мы настраиваем при помощи условных и составных динамических групп). Контрольной группе было отправлено письмо в обычное время (в 15:00 для данной компании), а в экспериментальной группе письмо отправлялось каждому пользователю индивидуально, исходя из расчётов алгоритма. Естественно, тестирование групп происходило параллельно, и группы получали одинаковое письмо. Дополнительно мы стратифицировали группы по показателям давности последней активности и типу истории пользователей.
1.2. Анализ открытий
Результаты одной недели наблюдения за тестовой группой получились неожиданные.
Тестирование показало, что пользователи в экспериментальной группе прочитали больше писем, чем в контрольной группе. Причем, фиксируя результаты на разных промежутках времени, критерий χ2 утверждает, что результат является статистически значимым. И, так как пользователи тестовой группы находились в равных условиях, можно утверждать, что результат достигнут именно благодаря выбору времени отправки письма.
| Cumulative Open Rate, % | |||||||
|---|---|---|---|---|---|---|---|
| Время после отправки письма, часов | 1 | 3 | 12 | 24 | 48 | 72 | 168 |
| Контрольная группа (дискретное время) | 3,67 | 4,51 | 5,69 | 6,49 | 6,87 | 7,13 | 7,44 |
| Экспериментальная группа (персональное время) | 5,53 | 5,98 | 6,74 | 7,28 | 7,77 | 7,89 | 8,17 |
| Абсолютная разница | 1,86 | 1,47 | 1,05 | 0,79 | 0,9 | 0,76 | 0,73 |
| Относительная разница | 50,68 | 32,59 | 18,45 | 12,17 | 13,10 | 10,66 | 9,81 |
Дополнительный анализ активности пользователей в первые 24 часа после получения письма позволил сделать вывод, что время для отправки письма в экспериментальной группе выбрано действительно удачное. На следующем графике показано распределение прочтений в первые 24 часа после доставки письма.
На графике видно, что:
- в экспериментальной группе плотность распределения открытий не размыта и сосредоточена близко к нулю;
- в контрольной группе в первый час открыто 22% из всех открытий писем за первые 24 часа. Что согласуется с вышеприведёнными исследованиями;
- в экспериментальной группе в первый час открыто 73%(!) из всех открытий писем за первые 24 часа (на 232% больше, чем в контрольной).
Другими словами, пользователи экспериментальной группы читали письмо сразу после доставки. То есть они получили письмо в удобное для них время.
Эффективный email-маркетинг с eSputnik
Регистрация1.3. Анализ переходов (кликов)
В экспериментальной группе увеличен показатель Click Rate на 35%. Этот прирост получен за счёт кликов в первый час после доставки письма.
| Cumulative Click Rate, % | ||||
|---|---|---|---|---|
| Время после отправки письма, часов | 1 | 3 | 8 | 24 |
| Контрольная группа (дискретное время) | 1,87 | 1,93 | 1,95 | 2 |
| Экспериментальная группа (персональное время) | 2,6 | 2,63 | 2,65 | 2,7 |
| Разница | 0,73 | 0,7 | 0,7 | 0,7 |
| Относительный показатель увеличения CR | 39 | 36,3 | 35,9 | 35 |
1.4. Анализ эффекта
Посмотрим на достигнутый эффект в зависимости от времени до последней активности пользователей. За единичный отрезок времени возьмём промежуток, равный одной неделе, и поделим всех пользователей тестовой группы на подгруппы по количеству недель с момента их последней активности. К примеру, в подгруппу "less then 1 week" попадут пользователи которые открывали письма или переходили по ссылкам в течение последней недели на момент отправки тестовой рассылки, в подгруппу "1 week" - те, кто проявлял активность на прошлой неделе, "2 weeks" - на позапрошлой неделе, и т.д.
Для данного теста график показывает, что мы добились эффекта для тех пользователей, кто проявлял активность в последние 5 недель. Но, проводя множество тестов, мы сделали вывод, что в среднем эффект достигается для тех пользователей, кто проявлял активность в течение последних 2-х месяцев.
1.5. Выбор дальнейшего направления
При помощи частотного алгоритма нам удалось увеличить относительный показатель открываемости на 10% и кликов на 35%. Причем пользователи читают письма в удобное для них время.
Полученный результат нас стимулировал к дальнейшим исследованиям. Ведь мы можем оптимизировать весь процесс решения задачи, опираясь на полученный опыт. И правда, сразу же появилось множество идей и предложений по улучшению метода.
Первый недочёт метода максимальной частоты в том, что он считает все открытия писем равнозначными. Хотя на самом деле паттерн активности пользователя может меняться от года к году, или вообще от месяца к месяцу. Условия жизни людей меняются очень быстро. Поэтому, когда речь идет о поиске актуальных предпочтений пользователя, ранние открытия писем не так актуальны и ценны для статистики, как более поздние открытия.
2. Поиск персонального времени методом максимального веса
Начнём с иллюстрации того, как меняются предпочтения пользователей по времени. Построим график частоты для случайно выбранного пользователя.
С данным пользователем всё понятно. Максимум по будням: во вторник с 16 до 17 и в четверг с 13 до 14 часов; по выходным: в субботу с 10 до 11 часов.
Растянем этот график на год прочтения писем.
Предпочтения пользователя изменились. Более того, максимум поменялся на всех трёх графиках. То есть, опираясь на длительность истории пользователя, мы бы отправляли ему письма в совершенно разное время, что говорит о неустойчивости метода.
Решением в данной ситуации стало добавление веса для всех писем, которые прочёл пользователь. Каждое письмо получило вес в зависимости от давности его прочтения. Самые ранние письма получили минимальный вес, самые поздние - максимальный. Далее для каждого дня недели и времени суток суммируем все веса открытых писем.
Получили следующий график весов для нашего пользователя.
Полученный результат хорошо описывает актуальную тенденцию последнего года активности пользователя, отмеченную на предыдущем графике. Кроме того, косвенно решается вопрос мультимодальности распределения частот пользователя, потому что результат весового метода почти всегда даёт лишь один максимум для каждого пользователя.
2.1. Тестирование метода и результаты
Рекомендации для составления тестовой выборки и её разделения на экспериментальную и контрольную группы аналогичны тому, как это описано в реализации метода максимальной частоты. Тестирование тоже проводилось аналогичным образом. Тестовая выборка была разделена на две группы: экспериментальную и контрольную. Контрольной группе было отправлено письмо в обычное время (в 15:00 для данной компании), а в экспериментальной группе письмо отправлялось каждому пользователю индивидуально, исходя из результатов алгоритма.
2.2. Анализ открытий
Вопреки ожиданиям, метод максимального веса не принёс увеличения Open Rate.
В экспериментальной группе показатель Open Rate оказался ниже, чем в контрольной группе.
| Cumulative Open Rate, % | |||||||
|---|---|---|---|---|---|---|---|
| Время после отправки письма, часов | 1 | 3 | 12 | 24 | 48 | 72 | 168 |
| Контрольная группа (дискретное время) | 2,87 | 4,81 | 6,08 | 6,9 | 7,34 | 7,42 | 7,53 |
| Экспериментальная группа (персональное время) | 2,86 | 4,86 | 5,9 | 6,64 | 6,97 | 7,13 | 7,26 |
| Разница | -0,01 | 0,05 | -0,18 | -0,26 | -0,37 | -0,29 | -0,27 |
| Относительный показатель уменьшения OR | -0,34 | 1,04 | -2,96 | -3,76 | -5,04 | -3,91 | -3,59 |
Относительная разница в 3,6% не является значимой в данных условиях. Но факт нейтрального исхода ставит под сомнение адекватность алгоритма.
Несмотря на это, плотность открытий в первый час после доставки письма в экспериментальной группе больше, чем в контрольной группе.
То есть для некоторых пользователей мы все-таки попали в удобное время.
2.3. Анализ переходов (кликов)
В предыдущем методе мы приростили 35%(!) кликов при приросте 10% открытий. Удивительно - хотя в данном тесте в экспериментальной группе мы получили на 3,6% открытий меньше, показатель кликов в этой группе на 8,4% больше, чем в контрольной.
| Cumulative Click Rate, % | ||||
|---|---|---|---|---|
| Время после отправки письма, часов | 1 | 3 | 8 | 24 |
| Контрольная группа (дискретное время) | 0,23 | 0,19 | 0,2 | 0,21 |
| Экспериментальная группа (персональное время) | 9,66 | 7,82 | 8,2 | 8,43 |
| Разница | 0,23 | 0,19 | 0,2 | 0,21 |
| Относительный показатель увеличения CR | 9,66 | 7,82 | 8,2 | 8,43 |
О чем говорит такой, на первый взгляд, неоднозначный результат? Интерпретация следующая: удобное время для пользователей намного больше влияет на возможность клика по ссылке в письме, чем на возможность открытия письма. То есть мы присылаем пользователю письмо в то время, когда у него есть свободная минута. Возможно, это его обеденный перерыв. И хотя этот пользователь имеет возможность открывать почту и в другое время, именно в эту минуту у него больше времени. И он может перейти по тем ссылкам, по которым он хотел бы перейти, но не мог в другое время. А вернуться в это письмо и кликнуть по ссылке он, скорее всего, забудет.
Итак, мы сделали вывод, что весовой алгоритм, хотя и выглядит вполне логичным и приносит относительный прирост в 10% кликов, всё же чего-то не учитывает и требует доработки. Двигаемся дальше.
3. Поиск персонального времени методом наибольшей активности
На этом этапе ясно, что нацеленность исключительно на Open Rate является только промежуточным этапом. Ведь конечная цель - конверсия пользователя после перехода на сайт клиента по ссылке в письме.
Таким образом, мы пришли к выводу, что кроме открытий писем необходимо учитывать ещё множество дополнительных факторов. И, следовательно, предпочтительное время для отправки письма описывается более сложной функцией от множества переменных.
Более того, теперь меняется само определение предпочтительного времени для отправки письма пользователю.
Ранее мы определяли предпочтительное время как время наибольшей читаемости. Но теперь мы можем сказать, что предпочтительное время для отправки письма пользователю - это время наибольшей активности пользователя.
В следующей таблице приводим список параметров, которые мы использовали для метода наибольшей активности. Все параметры имеют унифицированную шкалу измерения.
| Обозначение | Параметр |
|---|---|
| RW (Recency Weight) | Вес давности активности |
| OW (Open Weight) | Вес открытия |
| CW (Click Weight) | Вес клика |
| OT (from delivery to Open Time) | Время реакции на доставленное письмо |
| CT (from open to Click Time) | Время реакции на открытое письмо |
| SP (Spam Penalty) | Штраф жалобы на спам |
Математическая составляющая метода получилось обширной. Поэтому здесь мы не будем приводить её вывод. Для общего представления о работе метода опишем несколько его составляющих.
Каждое действие пользователя имеет определённый показатель давности. Вид распределения весов давности регулируется при помощи параметра tr. Данным параметром можно определять длительность последнего отрезка времени, который мы считаем основным в истории пользователя.
Кроме веса давности, каждое действие - открытие письма, переход по ссылке в письме или жалоба на спам - имеет свой индивидуальный вес активности. Данные веса описываются более сложными комплексными функциями нескольких переменных, таких как время от получения письма до открытия, время от открытия письма до перехода по ссылке, повторные открытия письма, время между повторными переходами по ссылкам одного письма, последовательности открытий и кликов и т.д.
Пример одного из этапов расчёта веса каждого индивидуального клика без формул - на следующем дереве решений.
3.1. Анализ алгоритма
Хотя мы возлагали определённые надежды на данный метод, существенных результатов он не показал.
Загвоздка всех сложных методов в том, что их тяжело настроить под решение задачи. Как и в случае с музыкальным инструментом - чем он сложнее, тем тяжелей настроить его. В данном случае предстоит детальный пересмотр системы начисления весов. Мы полагаем, что именно сложный алгоритм должен оптимальным образом описывать поведение пользователей, учитывая все возможные аспекты.
4. Направление работы
На данном этапе исследований мы столкнулись с парадоксом: самый простой алгоритм является самым действенным. Сейчас ведётся работа по нескольким направлениям:
- перерабатываем и тестируем алгоритмы наибольшей активности и максимального веса;
- решаем проблему холодного старта - поиск оптимального времени для пользователей с короткой историей (для нового пользователя определяем похожих пользователей и опираемся на их предпочтения времени);
- объединяем в единый механизм алгоритм подбора персонального времени и систему рекомендации частоты отправки.
5. Вывод
Вопреки распространённому мнению, оптимизация времени рассылки - это реальность, а не миф. Вся суть в том, что эта задача не решается общими рекомендациями, а требует разработки персонализированных алгоритмов.
При тестировании нам удавалось увеличить Open Rate на 5%-30% и Click Rate на 8%-60%. Очень важен тот факт, что мы существенно увеличиваем Click Rate, ведь переходы на сайт намного важнее открытий писем.
Необходимо понимать, что залогом успеха любой рассылки является ваше предложение в письме. Оптимизация времени - это не целостное решение, а одна из составляющих большого механизма оптимизации email-маректинга. Это шестерёнка, которая должна работать в связке с другими аналитическими методами. Впечатляющих результатов можно добиться только при комплексном подходе к оптимизации вашей стратегии email-маркетинга.