Создание трансформации

После загрузки данных из источника, часто требуется привести их к нужной структуре или типам данных, а также обогатить в соответствии с бизнес-правилами. Данный этап, называемый трансформацией, критически важен для обеспечения качества и согласованности информации в целевой системе.

Задача будет продемонстрирована на примере создании трансформации данных, загруженных из справочника 1C «Контрагенты».

Шаг 1: Настройка команды трансформации данных

В меню выберем компонент «Staging», пункт «Трансформации», затем модель данных.

Для создания трансформации необходимо заполнить форму:

• Имя создаваемой трансформации;
• Добавить описание при необходимости;
• Указать профиль;
• Указать домен;
• Модель, Источник данных и Целевая система — заполняется автоматически;
• Выбрать вид создаваемой трансформации:
  • Запрос – созданная трансформация существует в виде запроса к таблице с сырыми данными, который выполняется в момент обращения к трансформации.
  • Представление – на источнике данных будет сформировано представление с преобразованными данными через трансформацию.
  • Материализованное представление – будет создано материализованное представление с данными после их преобразования в трансформации.

В примере будет использован режим «Материализованное представление».

При выборе вида трансформации «Представление» или «Материализованное представление», редактировать запрос нельзя, так как нельзя изменить уже созданные представление или материализованное представление.

• Слой данных;
• Имя объекта — наименование трансформации в точке назначения;

Шаг 2: Создание запроса трансформации

Для создания запроса трансформации, необходимо нажать кнопку «Создать».

В окне создания запроса, необходимо переключить режим на «Конструктор».

В дереве объектов источника данных необходимо найти загруженные ранее таблицы.

«Контрагенты» — это шапка справочника 1С и «Контрагенты_Контактная_Информация» — это табличная часть справочника 1С «Контрагенты», двойным нажатием левой кнопки мыши перенести их в конструктор.

После, необходимо установить между ними связь. Чтобы связать шапку документа (таблица «Контрагенты») с ее табличной частью (таблица «Контрагенты_Контактная_Информация»), необходимо соединить их ключевые атрибуты. Нажмите и удерживайте левую кнопку мыши на ключевом атрибуте таблицы-владельца («Контрагенты») и перетащите курсор до ключевого атрибута подчиненной таблицы («Контрагенты_Контактная_Информация»)

В 1С связь между шапкой документа и его табличной частью настраивается через атрибут «Ссылка» — системное поле-идентификатор.

Таким образом появиться связь между таблицами, для выбора условия соединения необходимо нажать на вопросительный знак и в выпадающем списке установить нужное условие.

Указать, какие атрибуты нужны.

Сделать это можно в нижней части конструктора. Где при необходимости каждое поле можно настроить отдельно, настройка позволяет:

• выбрать таблицу,
• выбрать поле из этой таблицы,
• указать псевдоним к полю,
• отображать поле на экране,
• настроить группировку, сортировку, а также добавить условие.

Или просто отметить нужные атрибуты в таблицах, после чего нажать кнопку «Сформировать запрос» и переключиться в режим SQL — запроса.

Запрос сформирован, проверим его и выполним.

При оценке данных видно, что есть записи, дублирующие друг друга.

Скорректируем запрос для исключения дублирующих записей. 

После корректировки запроса, проверяем запрос и выполним его, чтобы убедиться, что нет дублирующих записей.

Если данные соответствуют ожиданиям нажать «ОК», а затем «Сохранить».

Шаг 3: Запуск выполнения трансформации данных

Запуск трансформации на выполнение осуществляется через пункт меню «Профили». Нужно выбрать профиль и нажать кнопку «Загрузить», подтвердив действие.

Чтобы убедиться, что трансформация отработала корректно и было создано Материализованное представление, необходимо перейти на вкладку «Данные».

В правой части экрана выбрать подключение, найти созданное Материализованное представление в структуре модели данных.

Выделить его и нажать «Сформировать запрос».

После чего нажать выполнить и оценить полученные данные.

На этом задача создания трансформации данных, загруженных из справочника 1C «Контрагенты» с использованием фреймворка BI.Qube выполнена.