Интеграция с Google BigQuery

Google BigQuery – это облачная база данных, входит в состав Google Cloud Platform. Пользователи BigQuery могут загружать большие объемы данных с высокой скоростью, хранить их в виде двумерных таблиц, обращаться к ним, используя SQL-запросы и выгружать результаты обработки данных.

Интеграция eSputnik с BigQuery будет полезна в таких ситуациях:

• у вас есть CRM, где хранится большое количество информации о контактах;
• создавать множество допполей в системе eSputnik и поддерживать актуальную информацию о контактах затруднительно;
• вместо нескольких баз вы хотите, чтобы данные хранились в одном месте и не было необходимости постоянно хранить одну и ту же информацию в разных местах;
• вы хотите строить кастомные отчеты в BQ с использованием данных из eSputnik.

eSputnik поддерживает два варианта интеграции с Google BigQuery:

• Экспорт данных из системы eSputnik в таблицу BigQuery;
• Подключение таблиц BigQuery как внешнего источника данных для подстановки в сообщения и сегментации.

Для настройки интеграции нужно:

• Зарегистрировать аккаунт в Google Cloud Platform;
• создать ключ проекта с правами администратора;
• создать таблицы с данными в Google BigQuery;
• настроить передачу данных в/из eSputnik из/в Google BigQuery.

Настройка интеграции eSputnik c BigQuery

Если у вас уже есть ключ проекта и настроены таблицы в BigQuery, то вы можете взять этот ключ и перейти сразу к пунктам

• Экспорт данных из системы eSputnik в таблицу BigQuery;
• Подключение таблиц BigQuery как внешнего источника данных для подстановки в сообщения и сегментации.

Создание ключа проекта

1. Авторизуйтесь в аккаунте Google Cloud Platform.

2. Выберите нужный проект → перейдите в раздел APIs & Services → Credentials.

3. Нажмите +Create credentials → Service account.

4. Введите название аккаунта. Затем нажмите Create and continue.

5. Назначьте роль BigQuery Admin, затем Done.

6. На главной странице раздела Credentials нажмите на ссылку Manage service accounts.

7. Напротив только что созданного аккаунта нажмите три точки и выберите опцию Manage keys.

8. Вы попали в раздел Keys. Нажмите на кнопку Add key и выберите вариант Create new key.

9. В появившемся диалоговом окне выберите тип ключа JSON и нажмите CREATE.

После этого браузер автоматически скачает ключ в папку для загрузки.

Потом в настройках eSputnik вы загрузите этот ключ.

Подключение BigQuery

Чтобы подключить BigQuery к eSputnik, перейдите в “Настройки”① → “Коннекторы”② и нажмите “Подключить BigQuery”③.

В открывшемся окне настроек впишите название①, загрузите ключ проекта② и задайте соответствие полей, содержащих ключ уникальности③. Благодаря этому ключу уникальности система eSputnik будет ассоциировать поля с контактами в BigQuery. Без ключа уникальности нельзя будет построить ни сегмент по параметрам из BigQuery, ни подставить данные в сообщение. 

После сохранения настроек подключение будет отображаться в разделе “Настройки” → “Коннекторы”. Кликнув на название, вы сможете зайти в настройки и редактировать параметры. Например, изменить правило сопоставления уникальных полей, если идентификатор контактов в BQ поменялся.

Экспорт данных из системы eSputnik в таблицу BigQuery

Чтобы регулярно актуализировать в BigQuery информацию об аудитории, активности контактов в виджетах, заказах и результатах рассылок, настройте экспорт данных в таблицы. Например, это могут быть ответы на NPS-опрос, история покупок, дата последнего перехода из рассылки и т. д.

Доступные наборы данных для экспорта:

• broadcasts;
• contactActivities;
• contacts;
• devices;
• messages;
• orderItems;
• orders;
• revenue.

После настройки 1 раз в сутки данная информация будет передаваться в BigQuery и обновлять данные в таблицах.

Список параметров данных для экспорта

Broadcasts

ContactActivities

* Поле будет удалено как устаревшее; используйте поле, указанное в скобках.

Contacts

Devices

Messages

OrderItems

Orders

Revenue

* Поле будет удалено как устаревшее; используйте поле, указанное в скобках.

Настройка источника данных для экспорта

1. Перейдите в “Настройки”① → “Коннекторы”② и нажмите “Новый источник”③.

2. Загрузите файл ключа и отметьте галочками те наборы данных, которые хотите выгружать. Затем нажмите “Сохранить”.

Подключение отобразится в разделе “Коннекторы” → “Экспорт в BigQuery” и, зайдя в него, вы сможете редактировать настройки.

Подключение таблиц BigQuery как источника данных для рассылки

Данный вариант подходит, когда нужно выделить сегмент пользователей и сделать по ним рассылку, как одноразово, так и на регулярной основе. Работает следующим образом:

• в BigQuery есть таблица, где хранятся данные о контактах, которые вы передаете туда, например, из CRM;
• вы хотите выделить определенный сегмент клиентов и отправить им рассылку с персонализированным контентом;
• в системе eSputnik выбираете, по каким полям вы хотите сделать сегментацию. Например, нужно настроить регулярную рассылку для тех контактов, у кого день рождения сегодня. В этом случае при настройке вы выбираете из таблицы поле “День рождения”;
• Подключаете таблицу с нужным контентом в eSputnik в раздел Настройки - Источники данных и создаете условную группу;
• при редактировании вы задаете условия отбора, как и в обычной условной группе (День рождения → сегодня), только используете наборы данных из таблиц BigQuery. Они будут находиться в списке условий чуть ниже стандартных полей, в том виде, в котором они названы в источнике данных;
• теперь можете подключить полученную группу к регулярному сценарию, чтобы автоматизировать отправку письма на день рождения.

Пройдемся по-порядку по пунктам настройки.

Настройка источника внешних данных

Чтобы сформировать группу по данным из BigQuery, нужно сначала настроить источник.

Для этого перейдите в раздел “Настройки” → “Источники данных”. Затем нажмите на кнопку “Новый источник” → “Внешние источники данных”.

В открывшемся диалоговом окне выберите источник данных BigQuery, который вы настраивали в разделе “Коннекторы”. В нашем примере это esputnik.

Настройка данных

1. Выберите из списка dataset, в котором содержится нужная таблица.
2. Определите таблицу с нужным набором данных.
3. Назовите источник любым понятным названием.
4. Нажмите “Сохранить”.

После сохранения вас перебросит на страницу со списком подключенных источников. Вы можете перейти к редактированию настроек, нажав на название источника.

Создание условной группы по параметрам из BigQuery

Для создания такой группы необходимо иметь хотя бы один внешний источник данных.

1. Перейдите в раздел “Контакты” → “Группы”. На странице списка групп выберите  “Условная”.

2. Задайте группе название (обязательно), описание и метку (по желанию).

3. Выберите условия для включения в группу. В параметрах условий нажмите на название источника, затем название таблицы и задайте условие. Например, DR → date → сегодня.
DR – это источник данных, date – столбец с датами рождения клиентов, сегодня – условие вхождения контакта в группу по данному параметру.

Сейчас в группу будут входить только те контакты, которые уже есть в базе eSputnik.

Например, если во внешнем источнике находятся 10 000 контактов, а в базу eSputnik из этих контактов добавлена только 1 000, то система задействует только эту 1 000 контактов. Для того чтобы оперировать всеми 10 000 контактов, их нужно сначала добавить в базу eSputnik через ручной импорт либо методом API Add/update contacts. Позже мы добавим возможность использовать все контакты из внешнего источника, а также автоматически сохранять их в базу eSputnik и обновлять данные уже существующих контактов.