В статье о прогнозировании активности пользователей мы описали, как с помощью машинного обучения построить систему массовой фильтрации email-рассылок. Цель этой системы - уменьшить процент жалоб на спам и отписок от рассылки, а следовательно - сохранить контактные базы пользователей.

Давайте рассмотрим возможные риски, связанные с запуском системы фильтрации, и покажем метод управления ими на основе индивидуальных особенностей каждого клиента.

1. Какой же существует риск?

Система фильтрации не пропускает письма пользователям, которые, как ей кажется, их не прочитают. Естественно, в прогнозировании поведения человека всегда существует некоторая погрешность, которая приводит к небольшой потере открытий писем.

Для понимания системы контроля потерь необходимо взглянуть на устройство самого фильтра. Фильтр обрабатывает историю поведения пользователей и выдаёт для каждого пользователя вероятность прочтения следующего письма.

Дальнейшее решение - отправлять пользователю письмо или нет - зависит от выбора порога вероятности (параметр Threshold). Когда порог вероятности выбран, письмо получают только те пользователи, для которых вероятность прочтения письма больше, чем пороговое значение.

Соответственно, чем выше порог вероятности мы выбираем, тем больше пользователей будет отфильтровано системой. Письмо получат только те пользователи, у которых высокая вероятность прочтения конкретного письма.

Наверняка найдутся пользователи, для которых вероятность прочтения низкая, но они бы прочли письмо, которое мы решили им не отправлять. Таким образом получается незначительная потеря открытий писем. Причины таких ситуаций преимущественно в том, что наши пользователи - люди, а у людей бывают "уважительные" причины резкой смены поведения :)

С этого момента начинается управление риском потери части открытий писем.

2. Применение фильтра и контроль возможных потерь

Тестируя работу фильтра вместе с клиентами нашей системы, мы анализировали множество показателей. Приоритетными показателями для мониторинга являются:

• уровень сокращения рассылки
• уровень потери открытий

Перед отправкой очередной рассылки мы взяли небольшую часть пользователей и, опираясь на прогноз системы фильтрации, разделили их на две группы:

• прочтут письмо
• не прочтут письмо

После чего отправили рассылку на всех пользователей и посмотрели основные показатели по каждой группе.

Отправили на 39306 меньше писем (41%), недополучили 236 открытий (2,9%).

Замечательный результат. При пороге вероятности 90% фильтр сократил объём рассылки на 41%.

Для большинства компаний такая степень фильтрации - спасение от выгорания базы пользователей. И всё же найдутся компании, для которых даже единичная покупка важнее, чем несколько отписавшихся пользователей. И они не готовы жертвовать даже таким набольшим количеством открытий писем, как 2,9%.

Следующий тест ориентирован на то, чтобы показать возможность баланса между потенциальными потерями открытий и количеством отфильтрованных пользователей из рассылки. Попробуем сохранить 50% пользователей, которые прочитали письмо, но попали под фильтр "не отправлять" в первом тесте.

Для достижения этой цели снизим порог вероятности с 90% до 85%, тем самым увеличив количество пользователей в группе к отправке письма.

Отправили на 28310 меньше писем (30%), недополучили 113 открытий (1,5%).

Уровень потери открытий снизился в два раза - с 2,9% до 1,5%. При пороге вероятности 85% фильтр сократил объём рассылки на 30%.

Отличный результат: регулируя параметр Threshold, мы управляем % отправленных писем и % потери открытий.

Что касается контроля уровня жалоб на спам и уровня отписок - эти показатели нельзя измерять единичными тестами. Для получения достоверных результатов требуется длительное наблюдение над экспериментальной и контрольной группами.

3. Фильтр и индивидуальные особенности бизнеса

Применяя фильтр email-рассылок, необходимо учитывать особенности бизнеса каждого клиента. Мощность фильтра корректируется индивидулаьно в зависимости от таких показателей, как:

• стоимость открытия письма
• стоимость привлечения пользователей
• уровень отписок от рассылок
• уровень жалоб на спам
• частота рассылок

В результате мы добиваемся более лояльного отношения подписчиков к клиенту и заинтересованности в прочтении новых писем.

Можно сколько угодно оптимизировать письма, но главный потенциал любого бизнеса - это его клиенты, в нашем случае - подписчики. И задача увеличения уровня вовлечения, уменьшения оттока без уменьшения продаж - одна из самых актуальных на сегодня.

to be continued...

Поэтому мы сфокусировались на разработке фильтра Frequency Recommendation Engine (FRE), который не просто блокирует письма, которые скорее всего не прочтут, а еще и регулирует частоту отправки на основании вовлечения подписчика в рассылку.

Об этом и другом интересном в следующих статьях:)