Создание «Модели данных»

Модель данных – это рабочее пространство, которое определяет структуру хранилища данных.

Шаг 1: Создание модели данных

В меню выберем раздел «Общее», пункт «Модели».

Для создания необходимо заполнить форму:

• Имя модели данных;
• Идентификатор модели — задает префикс для бизнес-представлений;
• Домены — выбор одного или нескольких доменов, входящих в модель;
• Показывать все объекты модели – опция отображает все сущности модели в разделе Data & Model;
• Адрес хранилища – выбрать из списка с доступными подключениями в указанных ранее доменах. В качестве Адреса хранилища можно выбрать только одно подключение;
• Описание – добавить при необходимости;
• DataLake — выбор S3-подключения для промежуточного хранилища данных;
• История загрузок — выбор S3-подключения для резервного копирования данных;
• Дополнительные получатели данных — подключения для целевых источников в компоненте Staging;
• Витрина — выбор подключения для выгрузки данных в витрину.

Шаг 2: Настройка структуры данных

«Модель хранилища» предназначена для настройки структуры данных. При её нажатии открывается форма ввода, позволяющее создавать и управлять схемами данных в хранилище.

Схемы данных используются фреймворком, как средство организации хранения данных в базе данных. Фреймворк предлагает достаточно гибкий инструмент по созданию схем базы, для организации хранения данных.

Такой подход упрощает дальнейшую работу с данными и позволяет разграничить доступ к ним на уровне СУБД. При этом для всех слоев может быть создан произвольный список схем базы данных за исключением слоя DDS. Для этого слоя фреймворк автоматически создает готовые схемы. В них одновременно хранятся и служебные сведения о структуре данных, и сами данные.

При этом к любому имени, которое задает пользователь, система сама добавляет суффикс через нижнее подчеркивание:

• имя без суффикса — в эту схему помещаются скрипты обработки процедур datavault;
• суффикс «_stg» — в схеме лежат временные таблицы. Они нужны, чтобы подготовить данные перед загрузкой в основные справочники хранилища (Vault);
• суффикс «_sp» — в схеме лежат хранимые процедуры. Их задача — автоматически создавать бизнес-представления (готовые срезы данных для отчётов и анализа);
• суффикс «_act_v» — что в схеме хранятся представления только с актуальными данными;
• суффикс «_hist_v» — в схеме хранятся представления со всеми данными, включая полную историю изменений;
• суффикс «_f» — в схеме хранятся таблицы фактов — то есть записи о событиях

Для создания слоя необходимо заполнить следующие пункты:

• Схема БД — название схемы в хранилище данных;
• Слой – выбрать необходимый слой данных для создания;
• Описание – добавить при необходимости.

После настройки слоев хранилища данных необходимо нажать кнопку «ОК».

Для сохранения модели данных необходимо нажать кнопку «Сохранить».

На этом задача создания модели данных выполнена.