BI.Qube MetaVault – инструмент формирования модели данных на хранилище
Компонент MetaVault, входит в состав системы аналитического корпоративного хранилища BI.Qube и предназначен для преобразования данных, представленных в реляционной форме в модель Data Vault.
Компонент может использоваться как отдельное независимое программное обеспечение, управляемое на уровне БД и скриптов для выполнения определенных задач, так и в связке с компонентом MetaStaiging (входит в состав системы BI.Qube). Управление компонентом возможно как в ручном режиме, так и с использованием специализированного оркестратора MetaOrchestrator (входит в состав системы BI.Qube).
Кроме этого, компонент может управляться с использованием специализированного визуального интерфейса, однако в таком режиме компонент работает с ограниченной функциональностью и не представляет реального интереса.
Компонент может использоваться как отдельное независимое программное обеспечение, управляемое на уровне БД и скриптов для выполнения определенных задач, так и в связке с компонентом MetaStaiging (входит в состав системы BI.Qube). Как правило, при построении хранилищ данных, данные из систем-источников загружаются в промежуточный слой хранения – стейджинговый слой (загрузка данных может быть осуществлена с использованием компонента MetaStaging, входящего в состав автоматизированной системы построения хранилищ данных Bi.Qube). Далее заполняются настроечные таблицы компонента MetaVault после чего строится модель Data Vault (каждая сущность раскладывается на множество таблиц: хаб, сателлиты, линки, технические сателлиты). После этого этапа формируются витрины данных, использующие созданную модель. Данный процесс описан на рис. 2.
Рисунок 2. Главные этапы работы с данными
Процесс работы компонента MetaVault можно разложить две составляющие:
В модели Data Vault используется три основных типа сущностей – Hub, Link и Satellite, что позволяет сохранить дизайн хранилища данных простым и изящным. Каждый тип таблицы предназначен для обеспечения максимальной гибкости и масштабируемости хранилища, сохраняя при этом большинство традиционных приемов моделирования данных.
Основные типы сущностей модели Data Vault и связи между ними представлены на рис. 3.
Рисунок 3. Типы сущностей модели Data Vault
Таблицы этой сущности содержат определенный набор бизнес-ключей. Сущность представляется в базе данных двумя таблицами: основная таблица Hub и Technical Satellite.
В основной таблице Hub хранятся следующие атрибуты:
В таблице Hub Technical Satellite хранятся следующие атрибуты:
Эти таблицы содержат описательную информацию ключа сущности Hub. Данная информация подвергается изменениям с течением времени, и поэтому структура Satellite должна быть приспособлена для решения хранения как новой или измененной, так и исторической информации.
Таблица сущности Satellite содержит атрибуты:
Таблица Satellite хранит изменения на детальном уровне, а ее функция заключается в описании контекста экземпляров Hub и Link. Проектирование таблиц Satellite должно основываться на математических принципах сокращения избыточности данных и на скорости изменения данных.
Таким образом, Satellite-таблицам отводится роль описания бизнес-ключа на наиболее доступном детальном уровне. Это обеспечивает основу для развития контекста, описывающего бизнес.
Этот тип таблиц отражает отношение или транзакции между двумя и более компонентами бизнеса (двумя и более бизнес-ключами) по типу связей “многие ко многим”, как в модели 3NF.
Сущность представляется в базе данных двумя таблицами: основная таблица Link и Technical Link.
Сущность Link содержит следующие атрибуты:
В таблице Technical Link хранятся следующие атрибуты:
Компонент MetaVault работает под управлением СУБД: PostgreSQL (9.0 и позднее), Postgres Pro (10.22 и позднее), Arenadata Postgres (ADPG) (14.2.1).
В связи с высокой сложностью развертывания компонента в среде целевой СУБД установку компонента осуществляет вендор.
Функциональные характеристики ПО MetaVault
Руководство пользователя MetaVault
Описание технической архитектуры MetaVault