Как эффективно готовить обязательную отчетность при смене АБС

Прио-Внешторгбанк успешно завершил проект по переносу процессов подготовки отчетности на корпоративное хранилище данных (КХД). Это позволило устранить зависимость от старой и новой АБС, сократить затраты на сопровождение отчетности, обеспечить высокое качество данных и централизовать доступ к аналитической информации для всех подразделений. Компетенции команды и возможности фреймворка BI.Qube стали ключевыми факторами успеха, минимизировав риски и ускорив цифровую трансформацию банка.

Предпосылки и задачи

Прио-Внешторгбанк, как инициатор проекта, стремится обеспечить непрерывность подготовки отчетности и сохранение качества данных в условиях миграции на новую АБС, а также снизить затраты на ее сопровождение. Данный процесс осложнялся из-за:

• Наследия старой системы, включающего объемную устаревшую отчетность, требующую адаптации
• Различий в учете новой АБС, где отсутствуют отдельные формы регуляторной отчетности
• Рисков утраты данных и трансформации их структуры при переносе
• Требования сохранять глубокую историю данных (3 и более лет)
• Сложностей сохранения связей между объектами (клиенты, договоры и транзакции)
• Высоких затрат на адаптацию и сопровождение отчетности в новых условиях

Требовался комплексный подход, обеспечивающий непрерывность отчетных процессов и снижение рисков, связанных с миграцией данных. Основой проекта стало внедрение архитектуры хранилища данных, которая позволила связать старую и новую АБС, минимизировать потери данных и оптимизировать подготовку отчетности.

Проектное решение

Для обеспечения непрерывной подготовки обязательной отчетности в условиях смены автоматизированной банковской системы (АБС) было разработано универсальное проектное решение, основанное на переносе процессов обработки данных и формирования отчетности из АБС в хранилище данных (КХД).

Основная идея решения заключалась в переносе функционала расчета и подготовки отчетности в КХД, что позволяет минимизировать влияние миграции АБС на бизнес-процессы и обеспечивает высокое качество данных. Решение охватывает все этапы миграции: от консолидации исторических данных до формирования новых отчетов для регуляторов.

Архитектура решения представляет собой многослойную структуру, которая обеспечивает интеграцию данных, аналитику и визуализацию. Для управления процессами загрузки, трансформации и хранения данных используется SQL Server, а визуализация реализуется с помощью Power BI и Excel. Также предусмотрен экспорт данных в форматы JSON, XML и CSV для интеграции с внешними системами. Архитектура проекта разработана таким образом, чтобы обеспечить поэтапное развертывание, начиная с ключевых объектов учёта и постепенно расширяя функционал.

Этапы реализации:

• Анализ бизнес-процессов и проектирование архитектуры – подготовка инфраструктуры, ETL-конвейера и базы для работы с данными
• Миграция данных – наполнение КХД информацией из старой и новой АБС, сопоставление данных (маппинг) и их обогащение
• Формирование отчетности – настройка слоев регуляторной отчетности, создание форм и выгрузка в утвержденных форматах
• Масштабирование – подключение новых модулей учета и расширение аналитических возможностей

Архитектура решения разработана для обеспечения эффективной интеграции, обработки и визуализации данных, поступающих из различных источников. В качестве основных источников данных используются модули существующей автоматизированной банковской системы (АБС), включая кредитование, управление розничным бизнесом и учет кредитных заявок, а также новая АБС R-Style Softlab 6.20. Дополнительно поддерживается интеграция данных из таблиц Excel.

Центральным элементом обработки данных является BI.Qube, включающий пять модулей:

• MetaStaging для временного хранения и первичной обработки данных
• MetaControl для контроля качества и выявления ошибок
• MetaMasterData для управления справочниками и согласования данных между системами
• MetaVault ядро аналитического DWH, позволяющее хранить историю изменений и расширять модель данных
• MetaCube для подготовки аналитических моделей

Процессы загрузки, трансформации и перемещения данных координируются через SQL Server Integration Services (SSIS), что обеспечивает плавное взаимодействие между модулями BI.Qube и системами хранения. Обработанные данные сохраняются в центральном хранилище на базе SQL Server, где доступны для аналитической обработки через SQL Server Analysis Services.

Контроль качества данных обеспечивается за счет внедрения методик сверки между синтетическим и аналитическим учетом, а также применения механизма «золотой записи», который позволяет эффективно устранять дублирование данных и повышать их достоверность.

Для визуализации и отчетности используются Power BI и Excel. Созданные отчеты и дашборды публикуются через Power BI Report Server, таким образом упрощается доступ пользователей к аналитической информации. Дополнительно предусмотрена возможность экспорта данных в универсальные форматы (JSON, XML, CSV, XLS, XLSX), позволяющая гибко использовать их во внешних системах.

Архитектура обеспечивает высокую надежность, согласованность данных, возможность историзации и предоставляет удобные инструменты для анализа, что делает ее универсальным решением для работы с данными в банковском секторе.

Результаты внедрения

Проект завершён с достижением значимых технических и бизнес-результатов, которые укрепили аналитические и операционные возможности банка.

Среди ключевых технических достижений – перенос процессов подготовки отчётности на корпоративное хранилище данных (КХД), благодаря чему устранена зависимость от старой и новой АБС. Архитектура решения масштабируема и поддерживает интеграцию данных из множества источников, обеспечивая их консолидацию и высокую точность. Благодаря внедрению механизма контроля качества погрешность данных составляет менее 0,02%, что соответствует высочайшим стандартам банковской отрасли.

Масштабы и сложность переноса данных

Работа с источниками данных стала важным вызовом, учитывая масштаб проекта. Перенос данных потребовал обработки около 680 объектов, каждый из которых представлял собой отдельный набор таблиц, модулей или других логических структур.

• 150 объектов для главной книги и ОПЕРУ были интегрированы за 3 месяца, что включает сложные мэппинги, где данные из старой структуры трансформировались в новую, полностью соответствующую требованиям регуляторов.
• Для кредитования, охватывающего около 200 объектов, потребовалось 4 месяца, так как данные включали сложные взаимосвязи между кредитными заявками, графиками платежей и учётными операциями.
• Розничный бизнес (около 180 объектов) был перенесён за 3 месяца, включая данные о счётах, транзакциях и розничных клиентах.
• 150 объектов для учёта пластиковых карт и транзакций с банкоматами и терминалами потребовали 2 месяца работы.

Несмотря на масштаб и сложность, команда обеспечила не только перенос данных, но и очистку, дедупликацию и тестирование, добиваясь полной согласованности между источниками и целевым хранилищем.

Бизнес-эффекты

Перенос данных позволил банку существенно сократить затраты на сопровождение отчётности, отказавшись от дорогостоящих решений вендоров АБС. Благодаря созданной инфраструктуре отчётность теперь формируется быстрее и может адаптироваться к любым изменениям регуляторных требований.

Единое хранилище данных стало основой для работы всех подразделений, включая владельцев компании. Теперь доступ к данным осуществляется централизованно, без нагрузки на АБС, что позволяет оперативно обогащать их новыми источниками.

Проект заложил фундамент для долгосрочного развития аналитических возможностей банка и ускорил бизнес-процессы, что стало значимым шагом в цифровой трансформации.

Проект реализован с использованием продукта BI.Qube командой интегратора IT Pro, которая отвечала за разработку хранилища, настройку ETL, создание витрин для высокопроизводительной аналитики. Экспертиза IT Pro помогла устранить проблемы с интеграцией данных из множества источников.