Персональний час розсилання листів

Пошук кращого часу для відправлення листів – один із основних напрямків досліджень в email-маркетингу. Однак остаточної відповіді досі ніхто не знайшов, адже бажаний час для прочитання пошти індивідуальний для кожного підписника.
Наприклад, дослідження компанії Pure360 показало, що пік читання доставлених листів припадає на проміжок з 17:00 до 21:00. А компанія MailChimp надала результати розширеного дослідження, у якому оптимальним часом для відправки листів назвали інтервал з 9 до 14 години. Якщо результати настільки різні, на що тоді спиратися в роботі?

Статистика щодо часу розсилок 

Виявляється, що всі подібні публікації показують штучні дані. Якщо переглянути результати відомих досліджень, здається, що приблизно 24% всіх відкриттів відбуваються в першу годину після доставки листа. Так компанія, яка відправляє свої розсилки приблизно в один і той же час, накопичує велику кількість відкриттів саме в цей період.

Тут немає нічого страшного, поки справа не стосується аналізу показників відкриття та переходів залежно від часу.

Якщо взяти всі показники за 100% і для кожної години знайти її частку відкриттів, то де буде найбільший відсоток? Не в найактивніший час, а саме о тій годині, коли зазвичай запускають розсилки.

Не в найактивніший час, а саме о тій годині, коли зазвичай запускають розсилки. Чи відображає це вподобання користувачів за часом? Ні. Такий підхід може показати лише час, коли ви зазвичай відправляєте розсилки. А щоб дізнатися дійсно зручний для одержувачів період, необхідно збагачувати дані, відправляючи розсилки у різний час доби та у різні дні тижня. Для ілюстрації цих роздумів наведемо графіки. 

Компанія відправляє розсилки щотижня, переважно в середу та пʼятницю о 15 годині та в суботу о 10 годині. Наведений нижче графік зображує розподіл відкриттів розсилки цієї компанії. Темний колір свідчить про велику частку відкриттів.

На графіку видно, що максимальна частка відкриттів збігається з часом відправлення. Можна подумати, що компанія надсилає листи саме тоді, коли їх найкраще читають. Це здається показником оптимального часу для розсилки. Водночас виникає логічне запитання: невже користувачі компанії віддають перевагу саме цьому часу для читання листів? Як компанія вгадала цей момент? Перевіримо, як ці ж користувачі читають листи інших компаній.

Ми додали інформацію про відкриття листів від інших компаній нашої системи на ті ж адреси. Картина радикально змінилася. Виявляється, що ті користувачі, які, як ми припустили, вважають за краще читати листи о 15 годині, так само читають листи і в інший час. Навіть віддають перевагу 12 годині.

Цікаво, якби ми отримали інформацію про час прочитання листів, доставлених в інший час, картина знову б радикально змінилася? Чи можна спиратися на ці дані, якщо, наприклад, ми володіємо інформацією лише про частину листів, яку прочитав кожен користувач? У eSputnik Intelligence люблять запитання :)

Відповідь на них існує лише теоретична. Як відомо, більшість природних процесів описуються законом нормального розподілу. А статистика каже, що за певних умов вибірка з нормального розподілу дуже точно описує генеральну сукупність. Ми сподіваємося, що наш випадок не є винятком із законів природи і ми можемо спиратися на частину історії користувачів для знаходження спільних тенденцій.

Зібравши інформацію, ми зрозуміли, що необхідно деталізувати завдання. До того ж деталізувати навіть не до груп користувачів за інтересами, а до найнижчої інстанції – кожного індивідуального користувача.

1. Пошук персонального часу методом максимальної частоти

Метод, з якого ми розпочали дослідження, дуже простий: збираємо історію прочитань користувача та шукаємо день тижня та час доби, коли людина читає листи найчастіше.

Важливо зауважити, що історію кожного користувача ми збираємо по всій нашій системі, де кожен отримує розсилку в середньому від 10 компаній.
Зобразимо поведінку випадково обраного користувача.

Важно отметить, что историю каждого пользователя мы собираем по всей нашей системе, где каждый получает рассылку в среднем от 10 компаний.

Кожна точка на графіку показує частоту прочитання листів у певний час доби. В обраного користувача чудова історія – виразно видно пік у п'ятницю, що припадає на 19 годину. Якщо ми надсилатимемо йому листи за годину до цього часу, то потрапимо в точку 18-ї години, яка є другим максимумом. Так ми точно потрапляємо в найбажаніший проміжок часу для користувача.

Насправді поведінка підписників не завжди настільки зрозуміла. Є користувачі, які мають кілька максимумів, або просто мало історії прочитання листів. І в такому випадку цей підхід не є ефективним. На графіку нижче наведений саме такий випадок.

​

1.1. Тестування методу і результати

Для перевірки методу максимальної частоти ми провели експеримент за аналогією з A/B-тестуванням. Тестова вибірка була поділена на дві групи: експериментальну та контрольну (ці фільтри ми налаштовуємо за допомогою умовних динамічних груп). Контрольній групі надіслали лист у звичайний час (о 15:00 для цієї компанії), а в експериментальній групі лист надсилали кожному користувачеві індивідуально з урахуванням розрахунків алгоритму. Звичайно, тестування груп відбувалося паралельно, і групи отримували однаковий лист. Додатково ми стратифікували групи за показниками давності останньої активності та типу історії користувачів.

1.2. Аналіз відкриттів

Результати одного тижня спостереження за тестовою групою виявилися несподіваними.

Тестування показало, що користувачі експериментальної групи прочитали більше листів, ніж у контрольній групі. До того ж, фіксуючи результати на різних проміжках часу, критерій х2 свідчить, що результат є статистично значущим. І оскільки користувачі тестової групи перебували в рівних умовах, можна стверджувати, що результат досягнуто саме завдяки вибору часу відправки листа.

Додатковий аналіз активності користувачів у перші 24 години після отримання листа дозволив зробити висновок, що час для надсилання листа в експериментальній групі обрано насправді вдало. На наведеному графіку показано розподіл прочитань у перші 24 години після доставки листа.

На графіку видно, що:

• В експериментальній групі щільність розподілу відкриттів не розмита і зосереджена близько до нуля.
• У контрольній групі у першу годину відкрито 22% з усіх відкриттів листів за перші 24 години, що узгоджується зі згаданими дослідженнями.
• В експериментальній групі в першу годину відкрито 73% (!) з усіх відкриттів листів за перші 24 години (на 232% більше, ніж у контрольній).

Користувачі експериментальної групи читали лист одразу після доставки, тобто вони отримали лист у зручний для них час.

1.3. Аналіз переходів (кліків)

В експериментальній групі збільшено показник Click Rate на 35%. Цей приріст отримали завдяки клікам у першу годину після доставки листа.

1.4. Аналіз ефекту

Подивімося на досягнутий ефект залежно від часу до останньої активності користувачів. За одиничний відрізок часу візьмемо проміжок, що дорівнює одному тижню, і поділимо всіх користувачів тестової групи на підгрупи за кількістю тижнів з моменту їхньої останньої активності. Наприклад, до підгрупи “Менше ніж 1 тиждень” потраплять користувачі, які відкривали листи або переходили за посиланнями протягом останнього тижня на момент відправки тестового розсилання; до підгрупи “1 тиждень” – ті, хто проявляв активність минулого тижня; “2 тижні” – позаминулого тижня тощо.

Для цього тесту графік показує, що ми досягли ефекту для тих користувачів, які виявляли активність протягом останніх 5 тижнів. Але, проводячи безліч тестів, ми зробили висновок, що в середньому ефект досягається для тих користувачів, які виявили активність протягом останніх 2-х місяців.

1.5. Вибір подальшого напрямку

За допомогою частотного алгоритму нам вдалося збільшити відносний показник відкриття на 10% і кліків на 35%. До того ж користувачі читають листи у зручний для них час.

Отриманий результат стимулював нас до подальших досліджень. Ми можемо оптимізувати весь процес розвʼязання задачі, спираючись на набутий досвід. І справді, відразу ж зʼявилося безліч ідей та пропозицій щодо покращення методу.

Перший огріх методу максимальної частоти у тому, що він вважає всі відкриття листів рівнозначними. Хоча насправді патерн активності користувача може змінюватися кожного року або взагалі кожного місяця. Умови життя людей змінюються дуже швидко. Тому, коли йдеться про пошук актуальних уподобань користувача, ранні відкриття листів не такі актуальні та цінні для статистики, як пізніші відкриття.

2. Пошук персонального часу методом максимальної ваги

Почнемо з ілюстрації того, як змінюються вподобання користувачів за часом. Побудуємо графік частоти для випадково обраного користувача.

З цим користувачем все зрозуміло. Максимум у будні: у вівторок з 16 до 17 та у четвер з 13 до 14 години. У вихідні: у суботу з 10 до 11 години.

Розтягнемо цей графік на рік прочитання листів.

Уподобання користувача змінилися. До того ж максимум змінився на всіх трьох графіках. Спираючись на тривалість історії користувача, ми б відправляли йому листи в абсолютно різний час, що говорить про нестійкість методу.

Рішенням у цій ситуації стало додавання ваги всім листам, які прочитав користувач. Кожен лист отримав вагу залежно від давності його прочитання. Найбільш ранні листи отримали мінімальну вагу, найпізніші – максимальну. Далі для кожного дня тижня та часу доби підсумовуємо всю вагу відкритих листів.

Отримали такий графік ваги для нашого користувача.

Отриманий результат добре описує актуальну тенденцію останнього року активності користувача, зазначену на попередньому графіку. Крім того, опосередковано вирішується питання мультимодальності розподілу частот користувача, тому що результат вагового методу майже завжди дає лише один максимум для кожного користувача.

2.1. Тестування методу та результати

Рекомендації для складання тестової вибірки та її поділу на експериментальну та контрольну групи аналогічні тому, як це описано у реалізації методу максимальної частоти. Тестування також проводилося аналогічним чином. Тестова вибірка була поділена на дві групи: експериментальну та контрольну. Контрольній групі надіслали лист у звичайний час (о 15:00 для цієї компанії), а в експериментальній групі лист надсилали кожному користувачеві індивідуально з урахуванням результатів алгоритму.

2.2. Аналіз відкриттів

Всупереч очікуванням, метод максимальної ваги не сприяв збільшенню Open Rate.

В експериментальній групі показник Open Rate виявився нижчим, ніж у контрольній групі.

Відносна різниця в 3,6% не є суттєвою в цих умовах. Але факт нейтрального результату ставить під сумнів адекватність алгоритму.

Незважаючи на це, щільність відкриттів у першу годину після доставки листа в експериментальної групи більша, ніж у контрольній групі.

Тобто для деяких користувачів ми таки потрапили у зручний час.

2.3. Аналіз переходів (кліків)

У попередньому методі ми збільшили на 35% (!) показник кліків за умови приросту 10% відкриттів. Хоча в даному тесті в експериментальній групі ми отримали на 3,6% відкриттів менше, показник кліків у цій групі на 8,4% більший, ніж у контрольній.

Про що говорить такий, здавалося б, неоднозначний результат? Інтерпретація така: зручний час для користувачів набагато більше впливає на можливість кліка на посилання в листі, ніж на можливість відкриття листа. Тобто ми надсилаємо користувачеві лист у той час, коли він має вільну хвилину. Можливо, це його обідня перерва. І хоча цей користувач має можливість відкривати пошту і в інший час, саме в цю хвилину він має більше часу. Він може перейти за тими посиланнями, за якими хотів би перейти, але не міг в інший час.

Ми зробили висновок, що ваговий алгоритм, хоч і виглядає цілком логічним і призводить до відносного приросту в 10% кліків, все ж чогось не враховує і вимагає доопрацювання. Рухаємося далі.

3. Пошук персонального часу методом найбільшої активності

На цьому етапі зрозуміло, що націленість виключно на Open Rate є лише проміжним етапом. Адже кінцева мета – конверсія користувача після переходу на сайт за посиланням у листі.

Так ми дійшли висновку, що, крім відкриттів листів, необхідно враховувати ще багато додаткових факторів. Отже, бажаний час для відправки листа описується складнішою функцією від безлічі змінних.

Тепер змінюється саме визначення бажаного часу для надсилання листа користувачеві.

Раніше ми визначали бажаний час як час найбільшого прочитування. Але тепер ми можемо сказати, що бажаний час для надсилання листа користувачеві – це час найбільшої активності користувача.

У наведеній нижче таблиці наводимо список параметрів, які ми використовували для методу найбільшої активності. Усі параметри мають уніфіковану шкалу вимірювання.

Математична складова методу вийшла розширеною, тому тут ми не наводитимемо її. Для загального уявлення про роботу методу опишемо декілька його складових.

Кожна дія користувача має певний показник давності. Вид розподілу ваги давності регулюється за допомогою параметра tr. Цим параметром можна визначити тривалість останнього відрізка часу, який ми вважаємо основним в історії користувача.

Крім ваги давності, кожна дія – відкриття листа, перехід за посиланням у листі чи скарга на спам – має свою індивідуальну вагу активності. Дані ваги описуються складнішими комплексними функціями декількох змінних, як, наприклад, час від отримання листа до відкриття, час від відкриття листа до переходу за посиланням, повторні відкриття листа, час між повторними переходами за посиланнями одного листа, послідовністю відкриттів і кліків тощо.

Приклад одного з етапів розрахунку ваги кожного індивідуального кліка без формул:

3.1. Аналіз алгоритму

Хоча ми покладали певні надії на цей метод, суттєвих результатів він не показав.

Недолік усіх складних методів у тому, що їх важко налаштувати для розвʼязання задачі. Це як з музичним інструментом – чим він складніший, тим важче його налаштувати. У цьому випадку має бути детальний перегляд системи нарахування ваги. Ми вважаємо, що саме складний алгоритм повинен оптимально описувати поведінку користувачів, ураховуючи всі можливі аспекти.

4. Напрямок роботи

На цьому етапі досліджень ми стикнулися з парадоксом: найпростіший алгоритм є найдієвішим. Зараз працюємо в декількох напрямках:

• переробляємо та тестуємо алгоритми найбільшої активності та максимальної ваги;
  вирішуємо проблему холодного старту – пошук оптимального часу для користувачів з короткою історією (для нового користувача визначаємо схожих користувачів і спираємось на їхні уподобання часу);
  обʼєднуємо в єдиний механізм алгоритм підбору персонального часу та систему рекомендації частоти відправки.

5. Висновок

Всупереч поширеній думці, оптимізація часу розсилання – це реальність, а не міф. Весь сенс у тому, що це завдання не вирішується загальними рекомендаціями, а потребує розробки персоналізованих алгоритмів.

Під час тестування нам вдавалося збільшити Open Rate на 5-30% і Click Rate на 8-60%. Важливо, що ми суттєво збільшуємо Click Rate, адже переходи на сайт набагато важливіші, ніж відкриття листів.

Необхідно розуміти, що запорукою успіху будь-якої розсилки є ваша пропозиція в листі. Оптимізація часу – це не цілісне рішення, а одна зі складових великого механізму оптимізації email-маректингу. Це шестерня, яка повинна працювати разом з іншими аналітичними методами. Вражаючих результатів можна досягти лише за допомогою комплексного підходу до оптимізації вашої стратегії email-маркетингу.