Полная загрузка из Битрикc24 в PostgreSQL

Будет продемонстрирована загрузка данных из Битрикс24 в базу данных PostgreSQL.

Шаг 1: Создание команды

В меню выбрать «Staging», «Команды». Выбрать заранее созданную модель — «Тестовая модель PG»

В форме заполнить следующие данные:

• Имя создаваемой команды;
• Описание команды;
• Указать профиль;
• Модель — заполняется автоматически;
• Домен — заполняется автоматически;
• Источник данных — подключение предварительно было настроено. Источником данных в примере является RestApi;
• Целевая система — подключение предварительно было настроено;
• Слой данных — устанавливается автоматически из ранее выполненных настроек модели данных;
• Имя целевой таблицы.

Так как предполагается полная загрузка данных, выбрать опцию «Очистить перед выполнением». Этот режим обеспечит полное обновление данных в целевой таблице при каждом запуске команды на выполнение.

Опция «Делать бэкап» позволяет перед выполнением команды создавать резервную копию таблицы назначения.

Шаг 2: Создание запроса

Для создания запроса Битрикс24, нажать «Создать». В форме адрес файла записать rest запрос с указанием webhook, полученного в системе Битрикс24. В поле метод выбрать GET. Если необходимы фильтры при выгрузке данных необходимо выбрать POST запрос. Для просмотра возможных rest запросов нужно обратиться к документации Битрикс24. Нажать «Соединить».

Перейти на вкладку «Данные». Необходимо выбрать таблицы для загрузки. В данному случае видно таблицу root, которая является технической таблицей фреймворка и 2 таблицы данных приходящих из Битрикс24. time содержит временные метрики выполнения rest запроса. result содержит бизнес данные. Выбрать только result. Сформировать запрос. 

После создания запроса выполнить проверку запроса. На этом этапе выполняется расчёт параметров, входящих в запрос, если таковые есть. Затем нажать «Выполнить». В зоне предварительного просмотра оценить полученные данные. Для сохранения запроса нажать «ОК».

Указать размер пакета данных.

Нажать «Сохранить». При выборе нескольких таблиц для загрузки будет сформировано несколько команд объединенных в мультикоманду.  На этом процесс создания команды завершен.

В списке появилась новая команда.

Создана команда по загрузке контактов. Аналогично создать команду с загрузкой сделок.

Шаг 3: Запуск команды

Запуск команды на выполнение осуществляется через меню «Профили» раздела «Staging».

Выбрать профиль, который был указан при настройке команды, убедиться что команда активна, нажать «Загрузить».

Шаг 4: Проверка корректности загрузки

Чтобы убедиться что данные появились в целевой системе, нужно перейти в раздел «Данные», выбрать подключение к назначению — PostgreSQL, найти созданную таблицу, выделить её и нажать «Сформировать запрос». После нажать «Выполнить» и убедиться, что данные получены.

Настроенная команда может запускаться на периодической основе, как в ручном режиме через веб-интерфейс, так и с помощью оркестратора. Результатом работы команды будет следующий сценарий:

• удаление данных из целевой таблицы;
• загрузка всех данных из документа.

На этом задача полной загрузки объекта из Битрикс24 в PostgreSQL выполнена.

Шаг 5: Восстановление связей между данными

Перейти в раздел «Трансформации». Выбрать модель с загруженными данными — «Тестовая модель PG».

В форме заполнить следующие данные:

• Имя создаваемой трансформации;
• Описание команды;
• Указать профиль;
• Модель — заполняется автоматически;
• Домен — заполняется автоматически;
• Источник данных — заполняется автоматически;
• Целевая система — заполняется автоматически;
• Тип трансформации — Запрос;
• Слой данных — выбрать заранее созданные слой ods данных;
• Имя целевого объекта.

Нажать «Создать».  Перейти в режим конструктора. Выбрать загруженные таблицы. Добавить связь. Сформировать запрос.

После создания запроса выполнить проверку запроса. Нажать «Выполнить». В зоне предварительного просмотра, оценить полученные данные. Для сохранения запроса нажать «ОК». Сохранить.

Создана трансформация, формирующая данные по контактам и сделкам. Объединение в трансформации показано для быстрого объединения. Правильным решением будет создание связей в компоненте Data & Model.