Клиент: 7BIT

Домен:

iGaming, BigData #iGaming #etl #BigData

Какие задачи перед нами ставились / Какие проблемы решали:

Сбор данных из внешней системы посредством апи имеющего ряд ограничений (не валидный xml, отсутствие курсора). Интеграция данных во внешнюю систему при помощи мимикрии под АПИ внешней системы. Реализация собственного коннектора к Optimove для того чтобы не покупать коннекторов к почте и пушам.

Как реализовали:

Если обобщить есть три системы.

• собрать данные и положить в BQ
• предоставить интерфейс для Optimove для работы с 3мя новыми каналами (push, mail, InApp message)
• предоставить интерфейс для фронтенда для получения InApp сообщений и отправки аналитики в бекенд. Реализовали собственный SaxParser XML умеющий обрабатывать ошибки типовые для продукта отдающего информацию. Реализовали загрузку данных в BigQuery, реализовали аналитику в MetaBase, реализовали кеширование данных в Redis для ускорения склейки данных. Реализовали рассылку сообщений об изменении данных через MQTT во все связанные сервисы (микро сервисная архитектура через MQTT брокер). Сделан сервис отправки данных в Optimove по мере их поступления. Сделан сервис предоставляющий интерфейс коннектора для Optimove, через который можно рассылать компании в CustomerIO/OneSignal. В зависимости от типа компании используется несколько видов шаблонов (и встроенные в optimove и свои вынесенные в google sheets). Реализован сервис авторизации в MQTT для внешних подключений (сайт) с ограниченными правами доступа. Реализована подписка на сайте на данные из MQTT и их показ. Реализован механизм отправки данных веб клиентом в BigQuery через MQTT шину в рамках заданного доступа. Реализованы дашборды для просмотра статистики/аналитики

Какие технологии мы использовали:

#NodeJS, #Redis, #EMQX, #MQTT, #SMTP, #SaxParser, #OneSignal, #CustomerIO, #BigQuery, #MetaBase, #GoogleSheets

Сколько людей всего работали на проекте:

3 developers, 1 devops