Единая аналитика вместо разрозненных дашбордов

Компания «Система Плюс» с применением фреймворка BI.Qube внедрила хранилище данных и инструменты для его развития, чтобы перейти от разрозненной отчётности к единой аналитике на платформе open source. На основе этой платформы была выстроена прозрачная и масштабируемая архитектура корпоративного уровня, снижающая зависимость от закрытых решений и узких компетенций, и обеспечивающая единую точку доступа ко всем основным источникам и сервисам аналитики.

Предпосылки и задачи

В компании Система Плюс исторически отчётность формировалась в Power BI на основе Excel-выгрузок, которые IT-служба создавала вручную. Такой процесс был нестабильным: обновления задерживались, изменения в источниках не отслеживались, а анализ требовал постоянных уточнений по данным 1С.

Дополнительную сложность создавал факт, что значительная часть бизнес-логики была реализована в скриптах 1С; они были единственной точкой расчётов и плохо масштабировались, а любые изменения упирались в ограниченные ресурсы 1С-разработчиков.

В Power BI аналитики компании формировали визуализацию на основе результатов этих скриптов – загружая данные через Power Query и создавая дополнительные расчётные показатели в DAX. Любая аналитическая сборка фактически представляла собой локальный проект каждого отдельного специалиста, данные хранились фрагментарно, что могло приводить к расхождениям в показателях.

Такая система не имела единого центра правды, не поддерживала рост и не позволяла выстроить устойчивые процессы управления данными. В этих условиях заказчик принял эволюционное решение перейти к централизованному хранилищу данных и зрелой аналитической архитектуре на базе open source стека.

Основные цели проекта включали:

• Повышение доверия к данным и устранение несогласованности показателей через создание «единого центра правды»
• Ускорение получения аналитики и снижение зависимости от ручных выгрузок из 1С
• Сокращение стоимости поддержки текущих решений, а также формирование масштабируемой архитектуры, готовой к дальнейшему развитию, подключению новых источников и интеграций

Было понимание, что внутренней экспертизы для реализации подобного проекта недостаточно. Поэтому в качестве подхода к автоматизации был выбран фреймворк BI.Qube, обеспечивающий единую точку входа для работы с разными платформами и гибкую реализацию методологии Data Vault в кратчайшие сроки.

Проектное решение

Ядром решения стал no-code/low-code фреймворк BI.Qube, обеспечивающий автоматизированное построение корпоративного хранилища данных по методологии Data Vault 2.0. Фреймворк взял на себя ключевые функции – моделирование, генерацию структур хранения, оркестрацию загрузок, контроль качества и управление жизненным циклом данных. Это позволило сосредоточиться на аналитическом содержании проекта: восстановлении и переносе бизнес-логики заказчика в целевую DWH-архитектуру, а не на ручной реализации ETL-пайплайнов.

В качестве исходной основы для проектирования применялся фактический набор вычислительных правил, существовавший в информационном ландшафте заказчика: фактическая бизнес-логика вычислений, зашитая в скриптах 1С, преобразования в Power Query и расчёты в DAX. На старте был выполнен системный реверс-инжиниринг текущей аналитики: специалисты проанализировали выгрузочные регламенты, скрипты преобразований, каскады фильтров и алгоритмы агрегирования. После описания полученной логики её перенесли в централизованную модель данных, где она стала единым, управляемым и контролируемым контуром.

Функционально решение построено следующим образом:

• Извлечение данных. MetaStaging обеспечивает чтение и транспорт данных из 1С и файловых источников с сохранением структуры и технических метаданных
• Хранение сырых данных. BI.Qube автоматически разворачивает слои RAW и ODS в PostgreSQL; неструктурированные и малоформатные данные помещаются в S3-совместимое хранилище, формируя Data Lake-контур
• Оркестрация и контроль качества. Airflow управляет пайплайнами загрузки, а MetaControl обеспечивает контроль качества, мониторинг, протоколирование и уведомления о нарушениях
• Долгосрочное хранение. MetaVault и MetaFact формируют ядро модели Data Vault: хабы, линк-таблицы, сателлиты и справочники. Фактические данные приводятся к нормализованному представлению для дальнейших преобразований.
• Аналитическая модель. MetaCube формирует витрины, которые фреймворк BI.Qube автоматически подготавливает для SQL Server Analysis Services
• Интерфейс работы с данными. Готовые витрины публикуются в Power BI Report Server и организуется подключение из Excel, обеспечивая единый согласованный источник данных для всех аналитических ролей.

Такой подход позволил всего за 1 месяц сформировать полный контур корпоративного хранилища: от интеграции источников и построения модели данных до формирования витрин и подключения инструментов пользователя.

Результаты внедрения

Проект был выполнен за месяц и показал, что применение фреймворка BI.Qube позволяет быстро упорядочить разрозненную BI-логику и дать команде «Система Плюс» рабочий инструмент для централизованной аналитики enterprise-уровня. Заказчик получил автоматически собираемую хранилищную модель, которая стала единым центром правды.

Расчёты были вынесены из отдельных отчётов в централизованный слой, а Power BI стал получать стабильные, согласованные витрины без ручной подготовки данных. Это устранило расхождения между показателями и сняло зависимость от специалистов 1С.

Для аналитиков компании появилась удобная и прозрачная среда работы с данными и управленческими метриками. Расчёты выполняются автоматически, витрины формируются быстро и без ручных преобразований.

Таким образом, проект решил три ключевые задачи:

• Устранил хаос в расчётах и создал единый источник достоверных данных
• Обеспечил согласованность показателей и стабильную подготовку витрин для Power BI
• Обеспечил аналитикам централизованный доступ к подготовленным данным

Преимущества

Проект реализован с использованием продукта BI.Qube командой интегратора IT Pro, которая отвечала за разработку хранилища, настройку репликации и ETL, создание витрин для высокопроизводительной аналитики. Экспертиза IT Pro помогла устранить проблемы с интеграцией данных из множества источников, задержками при работе с рассчитываемыми «на лету» данными и недостаточной производительностью аналитических запросов.