Миграция платформы данных на российское ПО

Проблематика

Банк Финсервис в течение 10 с лишним лет, по мере появления бизнес-задач, своими силами разрабатывал аналитические решения на платформе Microsoft. По мере роста функциональности и объемов данных, увеличивалось время обновления, и как следствие, усложнилось управление глубиной, качеством, и связанностью данных. В 2022 году политика международных вендоров и требования Банка России, как и для многих других банков, значительно подняли актуальность смены платформ для работы с данными. Была поставлена цель, с одной стороны, снизить риски использования проприетарного ПО иностранных вендоров, а с другой стороны сделать рефакторинг для устранения проблем архитектуры.

Решение

Решением стала не просто смена платформы данных, но и внедрение специальных инструментов, реализующих работу в концепции low-code/no-code. Выбран стек open source для хранилища и витрин в виде продуктов из Реестра российского ПО — Managed Service for PostgreSQL для разработки и PostgresPro для продуктивной среды. Для автоматической миграции данных, обеспечения их качества, подключения источников, построения масштабируемой модели применен продукт BI.Qube, также из Реестра РосПО. Вместе с этим банк решил задачу развития своих компетенций для построения архитектуры в методологии Data Vault.

Суть работ и периметр

Миграция с платформы Microsoft включает автоматический перенос данных (таблицы, представления, запросы) и автоматизированную миграцию ELT процессов, существующая модель данных при этом превращается в стейджинг, к которому переподключены источники на СУБД Oracle и Microsoft. В итоге все системы-потребители могут использовать ту же модель данных, что и была на Microsoft, только в качестве СУБД используется Postgree.

Для проверки целевой архитектуры, нагрузочных тестов, сайзинга и оценки стоимости владения использованы управляемые сервисы в Yandex Cloud, соответствующего стандартам ГОСТ и PCI DSS.

Благодаря использованию инструментов BI.Qube, миграция на open source СУБД PostgreSQL слабо документированных аналитических решений, включающих более 1000 таблиц, заняла 3 месяца работы команды из 3 человек с неполной загрузкой.

Фокус на целевую аудиторию

Такие решения дают максимум полезности для кредитных организаций, где характерна ситуация с существенным, более тысячи, количеством таблиц в КХД или аналитических системах, а также существенных объемах данных, измеряемых терабайтами.

Особенности применённых технологий и инструментов

• BI.Qube MetaStaging¹ извлекает данные из имеющегося DWH. MetaStaging может забирать данные порциями, накладывая условия, инкрементно, дельтами. Имеет собственный механизм настраиваемой в визуальном интерфейсе загрузки, с поддержкой параллелизма и отказоустойчивости. Автоматически формируются пакеты загрузки данных в новую СУБД.
• BI.Qube MetaVault² без программирования укладывает данные в модель по методологии Data Vault. На вход подаются данные из BI.Qube MetaStaging, настройка выполняется через визуальный интерфейс, на выходе получается набор объектов, которые представляют собой модель данных. Построенной моделью можно управлять с использованием системы master data management (MDM) в визуальном интерфейсе метакомпонента BI.Qube MetaMasterData.
• Данные, подготовленные BI.Qube MetaVault, можно использовать путем прямого подключения любым BI инструментом (например, Yandex DataLens) или загружать полученные данные в in-memory витрины (например, управляемый экземпляр ClickHouse).

¹ BI.Qube MetaStaging включен в Реестр российского ПО, запись в реестре от 24.03.2023 №17067
² BI.Qube MetaVault включен в Реестр российского ПО, запись в реестре от 13.02.2023 №16579

Развитие решения

При переходе на инструменты BI.Qube заказчику передается отраслевая, в данном случае, банковская модель, которая разработана, апробирована и используется в ряде российских и зарубежных банков.

Планируется создать слой предварительно рассчитанных и обновляемых агрегатов, позволяющий перейти на open source инструменты для аналитики, в которых можно обойтись без моделирования и обработки данных, то есть уйти от использования Qlik, Tableau и Power BI, к Yandex DataLens и Apache Superset.

С функциональной точки зрения планируется использовать решение для прогнозирования нормативов ликвидности, подготовки детальных данных для ГИС ГМП, ГИС ЖКХ и проверяющих и регулирующих органов.

Встроенные средства master data management (MDM) позволят реализовать в визуальном интерфейсе задачи, требующие перекладок из бухгалтерского в управленческий учёт (аллокаций). Например, составление P&L и Cash flow с факторным анализом, алгоритмы бюджетирования и др.

Существенно снизится нагрузка на разработчиков за счёт автоматизации построения и масштабирования КХД и ELT на open source платформах с использованием BI.Qube.

Отраслевое применение

Проект реализован с использованием продукта BI.Qube командой интегратора IT Pro, которая реализует проекты по аналитике и работе с корпоративными данными с 2007 года. IT Pro имеет большой опыт работы с заказчиками в банковской отрасли – Альфа-банк, Меткомбанк, Энерготрансбанк, SEB Ruissia, Финсервис. Экспертиза IT Pro позволила устранить множество проблем, связанных с миграцией данных на платформу open source и отечественное программное обеспечение, включая несовместимость форматов и недостаточную производительность. Все найденные решения переданы команде разработки BI.Qube и включены в очередное обновление ядра и компонентов фреймворка.