Миграция платформы данных на российское ПО

Проблематика

Банк Финсервис в течение 10 с лишним лет, по мере появления бизнес-задач, своими силами разрабатывал аналитические решения на платформе Microsoft. По мере роста функциональности и объемов данных, увеличивалось время обновления, и как следствие, усложнилось управление глубиной, качеством, и связанностью данных. В 2022 году политика международных вендоров и требования Банка России, как и для многих других банков, значительно подняли актуальность смены платформ для работы с данными. Была поставлена цель, с одной стороны, снизить риски использования проприетарного ПО иностранных вендоров, а с другой стороны сделать рефакторинг для устранения проблем архитектуры.

Решение

Решением стала не просто смена платформы данных, но и внедрение специальных инструментов, реализующих работу в концепции Low-code/No-code. Выбран стек open source для хранилища и витрин, а также BI.Qube из Реестра российского ПО для автоматической миграции данных, обеспечения их качества, подключения источников, построения масштабируемой модели. Вместе с этим банк решил задачу развития своих компетенций для построения архитектуры в методологии Data Vault.

Суть работ и периметр

Миграция с платформы Microsoft включает автоматический перенос данных (таблицы, представления, запросы) и автоматизированную миграцию ELT процессов, существующая модель данных при этом превращается в стейджинг, к которому переподключены источники на СУБД Oracle и Microsoft. В итоге все системы-потребители могут использовать ту же модель данных, что и была на Microsoft, только в качестве СУБД используется Postgree.

Для тестирования целевой архитектуры, нагрузочных тестов, сайзинга и оценки стоимости владения использованы управляемые сервисы в Yandex Cloud, входящего в Реестр российского ПО и соответствующего стандартам ГОСТ и PCI DSS.

Благодаря использованию инструментов BI.Qube, миграция слабо документированных аналитических решений, включающих более 1000 таблиц, на open source СУБД PostgreSQL в автоматизированном режиме заняла 3 месяца команды из 3 человек с неполной загрузкой.

Фокус на целевую аудиторию

Такие решения дают максимум полезности для кредитных организаций, где характерна ситуация с существенным, более тысячи, количеством таблиц в КХД или аналитических системах, а также существенных объемах данных, измеряемых терабайтами.

Особенности применённых технологий и инструментов

• BI.Qube MetaStaging¹ извлекает данные из имеющегося DWH. MetaStaging может забирать данные порциями, накладывая условия, инкрементно, дельтами. Имеет собственный механизм настраиваемой в визуальном интерфейсе загрузки, с поддержкой параллелизма и отказоустойчивости. Автоматически формируются пакеты загрузки данных в новую СУБД.
• BI.Qube MetaVault² без программирования укладывает данные в модель по методологии Data Vault. На вход подаются данные из BI.Qube MetaStaging, настройка выполняется через визуальный интерфейс, на выходе получается набор объектов, которые представляют собой модель данных. Построенной моделью можно управлять с использованием системы master data management (MDM) в визуальном интерфейсе метакомпонента BI.Qube MetaMasterData.
• Данные, подготовленные BI.Qube MetaVault, можно использовать путем прямого подключения любым BI инструментом (например, Yandex DataLens) или загружать полученные данные в in-memory витрины (например, управляемый экземпляр ClickHouse).

¹ BI.Qube MetaStaging включен в Реестр российского ПО, запись в реестре от 24.03.2023 №17067
² BI.Qube MetaVault включен в Реестр российского ПО, запись в реестре от 13.02.2023 №16579

Что может быть сделано еще

При переходе на инструменты BI.Qube заказчику передается отраслевая, в данном случае, банковская модель, которая разработана, апробирована и используется в ряде российских и зарубежных банков.

Планируется создать слой предварительно рассчитанных и обновляемых агрегатов, позволяющий перейти на open source инструменты для аналитики, в которых можно обойтись без моделирования и обработки данных, то есть уйти от использования Qlik, Tableau и Power BI, к Yandex DataLens и Apache Superset.

С функциональной точки зрения планируется использовать решение для прогнозирования нормативов ликвидности, подготовки детальных данных для ГИС ГМП, ГИС ЖКХ и проверяющих и регулирующих органов.

Встроенные средства master data management (MDM) позволят реализовать в визуальном интерфейсе задачи, требующие перекладок из бухгалтерского в управленческий учёт (аллокаций). Например, составление P&L и Cash flow с факторным анализом, алгоритмы бюджетирования и др.

Существенно снизится нагрузка на разработчиков за счёт автоматизации построения и масштабирования КХД и ELT на open source платформах с использованием BI.Qube.

Для кого это решение