Интеграция с Google BigQuery

Практическое применение

Интеграция с BigQuery будет очень полезна в таких ситуациях:

  • у вас есть CRM где хранится большое количество информации о контактах
  • создавать большое количество доп.полей в системе eSputnik и поддерживать актуальную информацию о контактах затруднительно
  • вместо нескольких баз вы хотите, чтобы данные хранились в одном месте и не было необходимости постоянно хранить одну и ту же информацию в разных местах
  • вы хотите строить кастомные отчеты

На данный момент возможна следующая интеграция:

  • экспорт данных из системы eSputnik в таблицу BigQuery
  • экспорт данных из системы eSputnik в таблицу BigQuery для формирования внешних групп

Для настройки интеграции нужно:

  • аккаунт Google Cloud Platform (https://cloud.google.com/)
  • создать ключ проекта
  • создать таблицы в Google BigQuery
  • настроить передачу данных в/из eSputnik в/из Google BigQuery

 

Настройка интеграции eSputnik c BigQuery

Создание ключа проекта

Если у вас уже есть ключ проекта и настроены таблицы в BigQuery, то вы можете взять этот ключ и перейти сразу к пунктам:


Чтобы получить ключ проекта необходимо:

1. В проекте зайти на вкладку Учетные данные и нажать Создать учетные данные


2. В списке выбрать Ключ сервисного аккаунта


3. Выбрать аккаунт

4. Новый сервисный аккаунт


5 Указать название и идентификатор аккаунта

6. В выпадающем списке роль...

7. ...выбрать Billing/Администратор BigQuery

8. После этого браузер предложит скачать ключ

Потом в настройках eSputnik мы загрузим этот ключ.

 


Экспорт данных из системы eSputnik в таблицу BigQuery

Работает следующим образом:

  • у вас в системе eSputnik хранится определенная информация о контактах
  • вы настраиваете экспорт базы данных в BigQuery
  • выбираете, что именно вы хотите экспортировать
  • раз в сутки система будет передавать данные в BigQuery.

После настройки, 1 раз в сутки, в BigQuery будет передаваться информация и данные в таблицах будут обновляться.

На сегодняшний день доступны следующие наборы данных для экспорта:

  • contactActivities
  • contacts
  • orderItems
  • orders

В каждом из этих наборов содержаться данные, которые доступны для экспорта.

Важный момент! Для этого метода не нужно предварительно создавать таблицы в BigQuery. Они создаются автоматически при первом экспорте и в дальнейшем в них будет обновляться информация. Названия таблиц будут соответствовать наборам данных (contactActivities, contacts, orderItems, orders)

 

Настройка экспорта в BigQuery


Шаг 1. Наборы данных

Выбираем поля, которые нужно экспортировать


На сегодняшний день не все данные можно экспортировать.


Шаг 2. Аутентификация

Нужно загрузить файл ключа. Это файл в формате .json. Он дается при создании аккаунта Google BigQuery. После того, как файл загружен, система автоматически подтянет Project ID и список Dataset ID.

Выбираем в какой Dataset ID загружать данные и нажимаем Сохранить.

На этом настройка экспорта завершена.

 

Экспорт данных из системы eSputnik в таблицу BigQuery для формирования внешних групп

Подходит, когда нужно выделить сегмент пользователей и сделать по ним рассылку.

Например, у вас в BigQuery хранятся данные о контактах, которые вы передаете туда, например, из CRM. Вы хотите выделить определенный сегмент клиентов и отправить по ним рассылку. В этом случае вы можете создать внешнюю группу в eSputnik и сделать рассылку.

Работает следующим образом:

  • у вас в BigQuery есть таблица где хранятся данные о контактах, которые вы передаете туда, например, из CRM
  • вы хотите выделить определенный сегмент клиентов и отправить по ним рассылку
  • в системе eSputnik выбираете по каким полям вы хотите сделать сегментацию. Например, вы хотите сделать рассылку мужчинам, которые покупали ноутбуки от 500$ в последние 6 месяцев. В этом случае при настройке вы выбираете из таблицы поля: Пол, Категория товаров, Цена, Дата заказа.
  • в системе eSputnik сформируется внешняя группа
  • в редактировании вы задаете условия отбора, как и в обычной условной группе (пол - мужчины, категория товаров - ноутбуки и т.д.)
  • теперь вы можете сделать рассылку на данную группу


Настройка использования внешних данных


Шаг 1.  Аутентификация


Нужно загрузить файл ключа. Это файл в формате .json. Он дается при создании аккаунта Google BigQuery. После того, как файл загружен, система автоматически подтянет Project ID и список Dataset ID.


Шаг 2.  Поля

На этом этапе выбираем:

  • название нового источника Придумываем название для источника (произвольное)
  • выбор таблицы (выбираем таблицу, которую содержит Dataset, выбранный на предыдущем шаге)


После этого появится таблица со всеми содержащимися в ней полями (колонки) и превью содержимого (первые несколько значений).

В таблице обязательно нужно выбрать:

  • поле, определяющее уникальность контакта. Это может быть либо email, либо номер телефона.
  • поля по которым будет строиться сегмент. Например, Пол, Возраст, Город.

Под таблицей находится блок Идентификация контактов с двумя выпадающими списками.

В первый список попадают все поля, выбранные в таблице. Тут необходимо выбрать поле, в котором находятся либо email, либо телефоны контактов.

Во втором выпадающем списке нужно явно указать что это — email или смс.


Шаг 3.

После нажатия на Готово нас перебросит на главную страницу интеграции. В блоке Настройка использования внешних данных появится таблица, которая содержит добавленный источник.

Доступны 3 действия:  Создать Внешнюю группу, Редактировать, Удалить

 

Создание Внешней группы

Позволяет работать с контактами и данными, находящимися во внешнем источнике. Например, в таблицах Google Big Query. Для создания группы необходимо иметь хотя бы один внешний источник данных.

Создать Внешнюю группу можно несколькими способами:

1. На странице Списка групп выбрать Новая группа / Внешняя


2. Со страницы описания групп

 

3. На странице Интеграции с внешними источниками в разделе «Настройка использования внешних данных из BigQuery».

В каждом созданном внешнем источнике есть функция создания Внешней группы.

 

Создание группы происходит в несколько этапов.

1. Выбор источника данных

В случае, если группа создавалась со страницы Интеграции с внешними источниками, источник уже будет выбран.


Если пока не создано ни одного внешнего источника, вначале понадобится создать его, а только потом продолжить создание Внешней группы.

 

Сейчас в группу будут входить только те контакты, которые уже есть в базе еСпутника.

Например:
если во внешнем источнике находятся 10 000 контактов, а в базе еСпутника из этих контактов добавлена только 1 000, то сервис будет использовать только эту
1 000 контактов. Для того чтобы сервис использовал все 10 000 контактов, их нужно сначала добавить в базу еСпутника через группу Список. Позже мы добавим возможность использовать все контакты из внешнего источника, а также автоматически сохранять их в базу еСпутника и обновлять данные уже существующих контактов.


2. Информация о группе

Здесь обязательно нужно указать название группы.


Цель создания важна для того, чтобы понять, для чего нужна эта группа и как она используется.

Теги используются для быстрого поиска группы. Достаточно добавить один тег чтобы найти эту группу в списке из нескольких тысяч других. Например, если группа нужна для выделения определенного сегмента с целью его изучения или для проверки каких-то параметров контактов, можно добавить тег Эксперимент или Тест. К группе можно добавить уже созданный ранее тег из списка или создать новый.

3. Условия для выбора контактов

В этот пункт подтянутся условия для тех полей, которые вы выбрали на этапе настройки Внешних групп. Здесь вы уже сможете задать конкретные критерии для построения сегмента.

По умолчанию, если условия не созданы, сервис будет использовать контакты из Внешней группы, которые уже есть в базе еСпутника (см заметку об алгоритме использования контактов из внешних источников в первом шаге создания группы). Добавление условий создаст воронку, которая даст возможность выделить определенный сегмент из контактов группы


4. Готово
После завершения Внешняя группа будет отображена в списке групп