Создание справочника с инкрементальной загрузкой

Важным этапом построения хранилища данных является создание справочника. Он представляет собой структурированный набор атрибутов, описывающих бизнес-сущности (например, клиенты, продукты, сотрудники, подразделения). Таким образом обеспечивается единообразие трактовки данных, стандартизация кодов и наименований, а также формирование основы для аналитической отчетности.

Будет продемонстрировано формирование справочника, посредством инкрементальной загрузки, с применением фреймворка BI.Qube.

Шаг 1: Создание справочника

В меню выбрать «Data&Model», «Модели». Выбрать заранее созданную модель — «Тестовая модель GP».

В форме заполнить следующие данные:

• Название справочника;
• Домен — заполняется автоматически;
• Указать профиль;
• Ввести описание справочника;
• Базовая схема — выбирается из ранее выполненных настроек модели данных;

Чтобы выбрать таблицу-источник, нажать «Выбрать». Далее выбрать доступный источник данных.

Существует два варианта выбора источника:

• Объекты БД – выбор существующей таблицы или представления в базе данных;
• Объекты трансформации — обращение к трансформациям, созданным ранее.

Выбрать объект трансформации типа «Запрос».

• Выбрать поля из таблицы-источника, которые будут ключами;
• Добавить остальные поля, которые будут в справочнике;
• Инструменты «Ссылки» и «Иерархии ссылок» нужны чтобы создать связи между справочниками, для организации мастер-данных.

Перейдём в «Настройки».

• Опция «Материализовать активное представление» служит для материализации данных в бизнес-представлении;
• Опция «Материализовать историчное представление» позволяет материализовать данные изменений в бизнес-представлении;
• Выбрать тип суррогатного ключа;
• Опция «Последовательность» – позволяет сформировать ключ на основе последовательности в базе данных;
• Метод процесса удаления – способ удаления записей из справочника;
• Выбрать способ загрузки — инкрементальная.
• Указать «Инкрементальный атрибут» — поле, по которому будет выполняться инкрементальная загрузка.
• Указать диапазон загрузки. В качестве начальной точки, укажем системный параметр. Более подробно о системных параметрах, можно почитать в документации.

Нажать «Сохранить». В списке появился новый справочник.

Шаг 2: Наполнение справочника

Для наполнения справочника данными, выбрать справочник и нажать «Собрать». Затем указать промежуток времени, за который необходимо собрать данные. Нажать «ОК».

Чтобы проверить данные, нужно дважды нажать на справочник.

Шаг 3: Обработка и проверка справочника

Чтобы запустить обработку справочника в автоматическом режиме, необходимо перейти в раздел «Профили». Затем выбрать профиль, который был указан при создании справочника, убедиться что у интересующего справочника «Состояние» в режиме активно, нажать «Собрать». Далее выбрать промежуток времени для сборки и нажать «ОК».

Для проверки данных, перейдём в раздел «Модели» и дважды кликнем по нужному справочнику. Данные успешно загрузились.

На этом задача формирования справочника, посредством инкрементальной загрузки выполнена.