Реализация стратегии по повышению эффективности работы Энерготрансбанка в значительной степени базируется на аналитической платформе. Эволюция менеджмента была поддержана технологиями управления данными. Понимание экономики работы с клиентами по комплексу банковских продуктов, прозрачный расчёт эффективности продуктов, переход к матричной системе управления банковским бизнесом – три этапа развития, сопровождавшихся интеграцией новых источников данных, подключением универсальной модели к новой АБС, внедрением методологии Data Vault. Решение с применением продукта BI.Qube позволило обеспечить банку гибкость, точность и масштабируемость созданного и развиваемого с 2013 года аналитического хранилища.

О заказчике

Предпосылки и задачи

Исторически сложившаяся разрозненность учетных систем Энерготрансбанка приводила к невозможности комплексного анализа данных, затруднениям в расчетах доходности продуктов и эффективности бизнес-процессов. Отчетность и аналитика формировались вручную, опираясь на выгрузки из множества автономных систем: UBS (UniSab) для работы с юридическими лицами, RBS (ЦФТ) для физических лиц, аутсорсинговые сервисы для эквайринга и процессинга (Карт-стандарт), интернет-банк и мобильный банк (Faktura.ru), системы международных переводов.

Стратегия повышения эффективности дала старт созданию аналитического хранилища.

Банк стремился к интеграции данных и унификации подходов к аналитике, чтобы решить несколько важных задач:

• Объединение разрозненных источников данных
  Важно было наладить интеграцию данных физических и юридических лиц, чтобы учитывать перекрестные роли клиентов и обеспечивать полноценный анализ доходов, расходов и эффективности операций.
  
• Повышение качества данных
  Внедрение системы мастер-данных и дедубликации для устранения расхождений и повышения достоверности данных.
  
• Управление продуктами, каналами, персоналом
  Детальный учет доходности банковских продуктов, анализ жизненного цикла и LTV клиента, а также эффективности каналов продаж и персонала.
  
• Автоматизация методик расчёта эффективности
  Анализ финансового результата дилинга, затрат на эквайринг и сеть самообслуживания потребовал объединить данные из бухгалтерских, мониторинговых и сервисных систем, формализовать методики.

Таким образом, проект стал не просто инструментом решения текущих задач, а основой для стратегического развития банка, обеспечив гибкость архитектуры и масштабируемость для внедрения новых технологий и источников данных.

Проектное решение

В рамках проекта была реализована комплексная архитектура аналитического хранилища данных (DWH) с многомерными витринами и OLAP-кубами, обеспечивающая высокую производительность. Техническая реализация включала:

• Интеграция систем-источников, включая АБС UBS и АБС RBS, настройка процессов ETL с использованием SQL Server Integration Services (SSIS)
• Стандартизация и повышение качества на базе управления мастер-данными (MDS). Были применены алгоритмы для сопоставления клиентов по косвенным признакам, создана «золотая» запись для каждого клиента, связывающая все его учетные данные.
• Разработка витрин данных и OLAP-кубов на платформе Microsoft SQL Server Analysis Services (SSAS), оптимизация выполнения многомерных аналитических запросов.

Для решения функциональных задач созданы витрины данных:

• Финансовая аналитика – Главная книга, Срочные договоры
• Анализ бизнес-показателей – Количество и характеристики работающих клиентов, Транзакционная нагрузка в разрезе каналов и продуктов, Эквайринговая активность по точкам обслуживания
• План-фактный анализ – Экспорт данных в Oracle Hyperion для процессов бюджетирования и контроля исполнения

На основе витрин строятся ежедневные отчеты для правления и владельцев продуктов:

• Динамика остатков по продуктам
• Комиссионные доходы
• Заполняемость сейфовых ячеек
• Карточные операции
• Движение наличных и услуги в устройствах самообслуживания
• Показатели по ценным бумагам и валютным операциям
• Финансовый результат (P&L), включая анализ доходов и расходов

Построенные OLAP-кубы предоставляют возможность оперативного анализа через привычные инструменты, такие как Microsoft Excel, что обеспечило удобство работы для аналитиков и руководителей.

Результаты и эффекты внедрения

Реализация проекта позволила обеспечить централизованное управление финансовой и управленческой аналитикой Энерготрансбанка, несмотря на сложность ландшафта информационных систем.

• Прозрачный и комплексный расчёт эффективности на основе работающих автономно учётных систем и внесистемных данных, включая справочники из портала SharePoint и Service Desk
• Экономия на Oracle Hyperion за счет использования предварительно сформированных расчётов в хранилище
• Повышение рентабельности операций с валютой, эквайринговой сети и результативности работы персонала
• Снижение трудозатрат и минимизация ошибок
• Перераспределение ресурсов для устранения узких мест на длинных процессах со сложной инфраструктурой, включая эквайринг и обслуживание устройств самообслуживания.

В первый же год после внедрения системы банк добился двукратного роста бизнеса с корпоративными клиентами, а прибыль опередила рост активов и превысила средний показатель по отрасли.

Развитие решения

Аналитическая платформа для Энерготрансбанка развивалась поэтапно.

Универсальная банковская модель

Практика использования хранилища показала наличие коллизий между учетными системами при анализе доходов по кредитным, депозитным и комиссионным продуктам. Сформированная в банке функция Казначейства потребовала создания универсальной банковской модели, унификации данных. По итогу реализации этапа банк получил новые инструменты, Платёжный календарь и Матрицу фондирования, охватывающие все активы и пассивы из договорной модели для их балансировки по срочности, платности и ликвидности.

Поддержка смены АБС

Переход с каскадной на матричную модель управления потребовал глобального изменения IT ландшафта что привело к смене автоматизированной банковской системы на АБС ЦФТ-Банк. Благодаря гибкости ранее созданной архитектуры ETL был нацелен на новый источник, и интеграция прошла без перестройки модели хранилища.

Одновременно с помощью MDM реализованы внесистемные справочники, включая загрузку из портала SharePoint и Service Desk, и базирующиеся на них расчёты о расходах на обслуживание банкоматов и терминалов, инкассацию и ремонты. Это существенно обогатило возможности анализа эффективности продуктов и каналов.

Новая система KPI

Экономический департамент вместе с владельцами продуктов и руководителями каналов продаж разработали новую систему KPI. Она потребовала внедрения новых разрезов аналитики для сети, продуктов и клиентских сегментов. Планировалось получение оперативной аналитической информации по банковским картам и ценным бумагам. Для поддержки такого объема изменений были внедрены метакомпоненты BI.Qube, как эффективный инструмент автоматизации разработки аналитического хранилища данных, использующий современные архитектурные концепции.

Команда интегратора IT Pro выполнила рефакторинг и модернизацию существующего АХД, а также перевела на Data Vault. Это позволило структурно переработать модель хранения данных, внедрить дополнительные контроли качества и адаптировать систему под потребности матричной модели управления банком.

Система в действии

Проект реализован с использованием продукта BI.Qube командой интегратора IT Pro, которая отвечала за внедрение аналитического хранилища данных (DWH) с учётом гибкости и масштабируемости, интеграцию данных из разнообразных систем-источников, настройку процессов ETL и разработку витрин данных. Экспертиза IT Pro позволила устранить множество проблем, связанных с несовместимостью учётных систем, наладить управление мастер-данными и внедрить новые аналитические инструменты.

Предпосылки и задачи

Руководство и собственники Меткомбанка поставили цель повысить эффективность банка и оперативность реакции на изменения в работе. Существующие системы учета и отчетности не обеспечивали должной гибкости и полноты данных для удовлетворения бизнес-требований.

Основные цели:

• Автоматизация управленческой аналитики
• Внедрение инструментов для самостоятельной работы с данными

Основные задачи включали:

• Объединение разрозненных источников данных
• Повышение качества данных
• Создание аналитических витрин
• Обеспечение гибкости и масштабируемости
• Визуализация и доступ к данным

О заказчике

Проектное решение

Проект по трансформации аналитической системы Меткомбанка был направлен на решение задач Финансово-экономического департамента (ФЭД). Основное внимание было уделено повышению управленческой эффективности и операционной стабильности банка.

Были разработаны аналитические витрины:

• Управленческий баланс – сводный отчет о финансовом состоянии банка, позволяющий анализировать бизнес в разрезах: группы услуг, подразделения, менеджеры, клиенты и др.
• Управленческий P&L – анализ доходов и расходов банка, оценка рентабельности различных направлений.
• Портфель финансовых инструментов – анализ структуры активов и обязательств, оценка ликвидности и сбалансированности.
• Платежный календарь – планирование и контроль движения денежных средств, предотвращение кассовых разрывов.

В рамках проекта были выполнены работы:

• Объединены сведения из трёх автоматизированных банковских систем (АБС) – RS-Банк, Банк XXI Век (Инверсия), Finist-DigitalBank, а также из Diasoft по ценным бумагам и TranzWare Card Management System по банковским картам и обогащены данными из MDM.
• Повышено качество данных за счет внедрения процедур очистки, нормализации и валидации данных, что обеспечило их достоверность и консистентность.
• Автоматизированы процессы через создание автоматизированных ETL-процессов, что позволило регулярно обновлять данные и сокращать время их обработки.
• Созданы витрины данных для многомерного анализа и построения отчетов с применением OLAP-кубов.
• Обеспечена гибкость и масштабируемость системы для адаптации под новые бизнес-требования благодаря использованию методологии Data Vault, что позволило сохранить существующую модель данных.
• Предоставлены пользователям удобные инструменты для визуализации и анализа данных, такие как интерактивные дашборды и отчеты.

Специфика решаемых задач

• Введение цветовой дифференциации показателей для удобства визуального анализа
• Поддержка иерархической структуры справочников для точного учета и классификации данных

Результаты

Проект, начатый в 2014 году, продемонстрировал значительные успехи и внёс весомый вклад в развитие ПАО «Меткомбанк». К концу 2017 года банк показал высокие результаты. Достижения банка были отмечены в рейтинге российских банков, опубликованном газетой «Коммерсантъ» 8 декабря 2017 года. По результатам первых трёх кварталов 2017 года Меткомбанк занял второе место в рейтинге самых эффективных банков страны.

• Активы нетто увеличились в 1,5 раза — с 43 875 662 тысяч рублей до 65 678 326 тысяч рублей.
• Чистая прибыль выросла в 7 раз — с 397 284 тысяч рублей до 2 795 561 тысяч рублей.
• Вклады физических лиц возросли в 1,4 раза — с 8 351 875 тысяч рублей до 11 930 773 тысяч рублей.
• Рентабельность активов-нетто поднялась в 5 раз — с 0,96% до 4,87%.
• Рентабельность капитала увеличилась в 3 раза — с 5,45% до 15,57%.

Заказчик отмечает весомый вклад созданных инструментов в эффективность процессов стратегического планирования и управления в ПАО «Меткомбанк».

Проект реализован с использованием продукта BI.Qube командой интегратора IT Pro, которая отвечала за разработку хранилища данных, создание ETL-процессов, формирование аналитических витрин для анализа ключевых финансовых показателей банка. Экспертиза IT Pro позволила преодолеть трудности, связанные с разнородностью учетных систем, построением единого Центра правды с применением системы MDM. Выработанные на проекте паттерны проектирования и реализованные на основе требований Банка России аналитические разрезы переданы команде разработки BI.Qube и легли в основу универсальной банковской модели данных, которую можно тиражировать и легко адаптировать для других проектов посредством фреймворка.

Проблематика

Банк Финсервис в течение 10 с лишним лет, по мере появления бизнес-задач, своими силами разрабатывал аналитические решения на платформе Microsoft. По мере роста функциональности и объемов данных, увеличивалось время обновления, и как следствие, усложнилось управление глубиной, качеством, и связанностью данных. В 2022 году политика международных вендоров и требования Банка России, как и для многих других банков, значительно подняли актуальность смены платформ для работы с данными. Была поставлена цель, с одной стороны, снизить риски использования проприетарного ПО иностранных вендоров, а с другой стороны сделать рефакторинг для устранения проблем архитектуры.

Решение

Решением стала не просто смена платформы данных, но и внедрение специальных инструментов, реализующих работу в концепции low-code/no-code. Выбран стек open source для хранилища и витрин в виде продуктов из Реестра российского ПО — Managed Service for PostgreSQL для разработки и PostgresPro для продуктивной среды. Для автоматической миграции данных, обеспечения их качества, подключения источников, построения масштабируемой модели применен продукт BI.Qube, также из Реестра РосПО. Вместе с этим банк решил задачу развития своих компетенций для построения архитектуры в методологии Data Vault.

Суть работ и периметр

Миграция с платформы Microsoft включает автоматический перенос данных (таблицы, представления, запросы) и автоматизированную миграцию ELT процессов, существующая модель данных при этом превращается в стейджинг, к которому переподключены источники на СУБД Oracle и Microsoft. В итоге все системы-потребители могут использовать ту же модель данных, что и была на Microsoft, только в качестве СУБД используется Postgree.

Для проверки целевой архитектуры, нагрузочных тестов, сайзинга и оценки стоимости владения использованы управляемые сервисы в Yandex Cloud, соответствующего стандартам ГОСТ и PCI DSS.

Благодаря использованию инструментов BI.Qube, миграция на open source СУБД PostgreSQL слабо документированных аналитических решений, включающих более 1000 таблиц, заняла 3 месяца работы команды из 3 человек с неполной загрузкой.

Фокус на целевую аудиторию

Такие решения дают максимум полезности для кредитных организаций, где характерна ситуация с существенным, более тысячи, количеством таблиц в КХД или аналитических системах, а также существенных объемах данных, измеряемых терабайтами.

Особенности применённых технологий и инструментов

• BI.Qube MetaStaging¹ извлекает данные из имеющегося DWH. MetaStaging может забирать данные порциями, накладывая условия, инкрементно, дельтами. Имеет собственный механизм настраиваемой в визуальном интерфейсе загрузки, с поддержкой параллелизма и отказоустойчивости. Автоматически формируются пакеты загрузки данных в новую СУБД.
• BI.Qube MetaVault² без программирования укладывает данные в модель по методологии Data Vault. На вход подаются данные из BI.Qube MetaStaging, настройка выполняется через визуальный интерфейс, на выходе получается набор объектов, которые представляют собой модель данных. Построенной моделью можно управлять с использованием системы master data management (MDM) в визуальном интерфейсе метакомпонента BI.Qube MetaMasterData.
• Данные, подготовленные BI.Qube MetaVault, можно использовать путем прямого подключения любым BI инструментом (например, Yandex DataLens) или загружать полученные данные в in-memory витрины (например, управляемый экземпляр ClickHouse).

¹ BI.Qube MetaStaging включен в Реестр российского ПО, запись в реестре от 24.03.2023 №17067
² BI.Qube MetaVault включен в Реестр российского ПО, запись в реестре от 13.02.2023 №16579

Развитие решения

При переходе на инструменты BI.Qube заказчику передается отраслевая, в данном случае, банковская модель, которая разработана, апробирована и используется в ряде российских и зарубежных банков.

Планируется создать слой предварительно рассчитанных и обновляемых агрегатов, позволяющий перейти на open source инструменты для аналитики, в которых можно обойтись без моделирования и обработки данных, то есть уйти от использования Qlik, Tableau и Power BI, к Yandex DataLens и Apache Superset.

С функциональной точки зрения планируется использовать решение для прогнозирования нормативов ликвидности, подготовки детальных данных для ГИС ГМП, ГИС ЖКХ и проверяющих и регулирующих органов.

Встроенные средства master data management (MDM) позволят реализовать в визуальном интерфейсе задачи, требующие перекладок из бухгалтерского в управленческий учёт (аллокаций). Например, составление P&L и Cash flow с факторным анализом, алгоритмы бюджетирования и др.

Существенно снизится нагрузка на разработчиков за счёт автоматизации построения и масштабирования КХД и ELT на open source платформах с использованием BI.Qube.

Отраслевое применение

Проект реализован с использованием продукта BI.Qube командой интегратора IT Pro, которая реализует проекты по аналитике и работе с корпоративными данными с 2007 года. IT Pro имеет большой опыт работы с заказчиками в банковской отрасли – Альфа-банк, Меткомбанк, Энерготрансбанк, SEB Ruissia, Финсервис. Экспертиза IT Pro позволила устранить множество проблем, связанных с миграцией данных на платформу open source и отечественное программное обеспечение, включая несовместимость форматов и недостаточную производительность. Все найденные решения переданы команде разработки BI.Qube и включены в очередное обновление ядра и компонентов фреймворка.

Предпосылки и задачи

Банк России (ЦБ РФ) регулярно вводит новые формы отчетности, направленные на повышение контроля и прозрачности финансовых организаций. В результате. кредитным, расчетными и страховым организациям необходимо готовить все более детализированную отчетность для ЦБ РФ.

Автоматизированные банковские системы (АБС), предоставляемые вендорами, частично помогают в подготовке отчетности. Однако, с этими системами возникают следующие проблемы:

• Детализированная отчетность требует значительных ресурсов АБС, что мешает выполнению основных операций банка
• Вендор АБС не всегда успевает адаптироваться к частым изменениям в требованиях ЦБ РФ, что приводит к задержкам в наличии функционала для подготовки отчетности
• Формирование новых форм отчетности на имеющихся данных иногда невозможно без их дополнительной обработки и обогащения

Эти проблемы определяют основные цели проектного решения:

• Снизить нагрузку на АБС, сформировав хранилище данных (DWH)
• Создать единую модель данных и универсальные инструменты для автоматического формирования отчетности ЦБ РФ
• Внедрить инструменты историзированного формирования и модификации методик расчёта с минимизацией необходимости ручных корректировок

Проектное решение

Проект был направлен на обеспечение соответствия требованиям Банка России и других контролирующих органов. Внедрение хранилища данных DWH с применением фреймворка BI.Qube позволило автоматизировать процессы подготовки регламентированной отчетности, контролировать нормативы и обеспечивать своевременную выгрузку данных для ЦБ РФ.

В рамках проекта были выполнены работы:

• Объединены разрозненные источники данных путем интеграции данных из различных автоматизированных банковских систем (АБС) и внешних источников в единую платформу.
• Автоматизированы процессы через создание автоматизированных ETL-процессов, что позволило регулярно обновлять данные и сокращать время их обработки.
• Созданы витрины данных для многомерного анализа и построения отчетов с применением OLAP-кубов.
• Обеспечена гибкость и масштабируемость системы для адаптации под новые бизнес-требования благодаря использованию методологии Data Vault, что позволило сохранить существующую модель данных.
• Обогащены данные внешней информацией, отсутствующей в источниках, с помощью MDM.

Специфика решаемых задач

Одной из ключевых особенностей стало наличие множества автоматизированных банковских систем и внешних источников данных. Необходимость интеграции данных из различных источников потребовала создания сложной инфраструктуры, способной обрабатывать большие объемы информации и обеспечивать высокую степень точности и надежности.

Другой особенностью проекта была необходимость работы с разнородными данными, которые часто имели разные форматы и требовали предварительной обработки перед интеграцией. Это включало очистку, нормализацию и валидацию данных, что было критично для обеспечения достоверности и консистентности итоговой отчетности.

Важным аспектом также стало обеспечение консолидированной отчетности для двух различных банков, что потребовало разработки системы доступа по ролям и иерархии. Это решение должно было быть гибким и масштабируемым, чтобы адаптироваться под новые бизнес-требования, сохраняя при этом целостность существующей модели данных.

Кроме того, проект включал обогащение данных внешней информацией, отсутствующей в исходных системах, что требовало управления мастер данными (MDM).

Таким образом, уникальность и сложность проекта заключались в необходимости интеграции разнородных данных, обеспечения их высокого качества и создания гибкой системы, способной адаптироваться к меняющимся требованиям и условиям.

Результаты

Проект по автоматизации подготовки сложной обязательной отчетности обеспечил успешную автоматизацию и оптимизацию процессов подготовки регламентированной отчетности. BI.Qube существенно улучшил процесс подготовки регламентированной отчетности, обеспечил соответствие требованиям ЦБ и упростил контроль нормативов, что повысило эффективность взаимодействия с регулятором и снизило риски несоответствия.

Проект реализован с использованием продукта BI.Qube командой интегратора IT Pro, которая отвечала за развитие и масштабирование хранилища данных, формирование витрин для высокопроизводительной аналитики. Благодаря экспертизе IT Pro удалось решить задачи, связанные с объединением данных из разрозненных источников, обогащением внесистемной информацией, а также автоматизировать подготовку сложной регламентированной отчетности.

Прио-Внешторгбанк успешно завершил проект по переносу процессов подготовки отчетности на корпоративное хранилище данных (КХД). Это позволило устранить зависимость от старой и новой АБС, сократить затраты на сопровождение отчетности, обеспечить высокое качество данных и централизовать доступ к аналитической информации для всех подразделений. Компетенции команды и возможности фреймворка BI.Qube стали ключевыми факторами успеха, минимизировав риски и ускорив цифровую трансформацию банка.

Предпосылки и задачи

Прио-Внешторгбанк, как инициатор проекта, стремится обеспечить непрерывность подготовки отчетности и сохранение качества данных в условиях миграции на новую АБС, а также снизить затраты на ее сопровождение. Данный процесс осложнялся из-за:

• Наследия старой системы, включающего объемную устаревшую отчетность, требующую адаптации
• Различий в учете новой АБС, где отсутствуют отдельные формы регуляторной отчетности
• Рисков утраты данных и трансформации их структуры при переносе
• Требования сохранять глубокую историю данных (3 и более лет)
• Сложностей сохранения связей между объектами (клиенты, договоры и транзакции)
• Высоких затрат на адаптацию и сопровождение отчетности в новых условиях

Требовался комплексный подход, обеспечивающий непрерывность отчетных процессов и снижение рисков, связанных с миграцией данных. Основой проекта стало внедрение архитектуры хранилища данных, которая позволила связать старую и новую АБС, минимизировать потери данных и оптимизировать подготовку отчетности.

Проектное решение

Для обеспечения непрерывной подготовки обязательной отчетности в условиях смены автоматизированной банковской системы (АБС) было разработано универсальное проектное решение, основанное на переносе процессов обработки данных и формирования отчетности из АБС в хранилище данных (КХД).

Основная идея решения заключалась в переносе функционала расчета и подготовки отчетности в КХД, что позволяет минимизировать влияние миграции АБС на бизнес-процессы и обеспечивает высокое качество данных. Решение охватывает все этапы миграции: от консолидации исторических данных до формирования новых отчетов для регуляторов.

Архитектура решения представляет собой многослойную структуру, которая обеспечивает интеграцию данных, аналитику и визуализацию. Для управления процессами загрузки, трансформации и хранения данных используется SQL Server, а визуализация реализуется с помощью Power BI и Excel. Также предусмотрен экспорт данных в форматы JSON, XML и CSV для интеграции с внешними системами. Архитектура проекта разработана таким образом, чтобы обеспечить поэтапное развертывание, начиная с ключевых объектов учёта и постепенно расширяя функционал.

Этапы реализации:

• Анализ бизнес-процессов и проектирование архитектуры – подготовка инфраструктуры, ETL-конвейера и базы для работы с данными
• Миграция данных – наполнение КХД информацией из старой и новой АБС, сопоставление данных (маппинг) и их обогащение
• Формирование отчетности – настройка слоев регуляторной отчетности, создание форм и выгрузка в утвержденных форматах
• Масштабирование – подключение новых модулей учета и расширение аналитических возможностей

Архитектура решения разработана для обеспечения эффективной интеграции, обработки и визуализации данных, поступающих из различных источников. В качестве основных источников данных используются модули существующей автоматизированной банковской системы (АБС), включая кредитование, управление розничным бизнесом и учет кредитных заявок, а также новая АБС R-Style Softlab 6.20. Дополнительно поддерживается интеграция данных из таблиц Excel.

Центральным элементом обработки данных является BI.Qube, включающий пять модулей:

• MetaStaging для временного хранения и первичной обработки данных
• MetaControl для контроля качества и выявления ошибок
• MetaMasterData для управления справочниками и согласования данных между системами
• MetaVault ядро аналитического DWH, позволяющее хранить историю изменений и расширять модель данных
• MetaCube для подготовки аналитических моделей

Процессы загрузки, трансформации и перемещения данных координируются через SQL Server Integration Services (SSIS), что обеспечивает плавное взаимодействие между модулями BI.Qube и системами хранения. Обработанные данные сохраняются в центральном хранилище на базе SQL Server, где доступны для аналитической обработки через SQL Server Analysis Services.

Контроль качества данных обеспечивается за счет внедрения методик сверки между синтетическим и аналитическим учетом, а также применения механизма «золотой записи», который позволяет эффективно устранять дублирование данных и повышать их достоверность.

Для визуализации и отчетности используются Power BI и Excel. Созданные отчеты и дашборды публикуются через Power BI Report Server, таким образом упрощается доступ пользователей к аналитической информации. Дополнительно предусмотрена возможность экспорта данных в универсальные форматы (JSON, XML, CSV, XLS, XLSX), позволяющая гибко использовать их во внешних системах.

Архитектура обеспечивает высокую надежность, согласованность данных, возможность историзации и предоставляет удобные инструменты для анализа, что делает ее универсальным решением для работы с данными в банковском секторе.

Результаты внедрения

Проект завершён с достижением значимых технических и бизнес-результатов, которые укрепили аналитические и операционные возможности банка.

Среди ключевых технических достижений – перенос процессов подготовки отчётности на корпоративное хранилище данных (КХД), благодаря чему устранена зависимость от старой и новой АБС. Архитектура решения масштабируема и поддерживает интеграцию данных из множества источников, обеспечивая их консолидацию и высокую точность. Благодаря внедрению механизма контроля качества погрешность данных составляет менее 0,02%, что соответствует высочайшим стандартам банковской отрасли.

Масштабы и сложность переноса данных

Работа с источниками данных стала важным вызовом, учитывая масштаб проекта. Перенос данных потребовал обработки около 680 объектов, каждый из которых представлял собой отдельный набор таблиц, модулей или других логических структур.

• 150 объектов для главной книги и ОПЕРУ были интегрированы за 3 месяца, что включает сложные мэппинги, где данные из старой структуры трансформировались в новую, полностью соответствующую требованиям регуляторов.
• Для кредитования, охватывающего около 200 объектов, потребовалось 4 месяца, так как данные включали сложные взаимосвязи между кредитными заявками, графиками платежей и учётными операциями.
• Розничный бизнес (около 180 объектов) был перенесён за 3 месяца, включая данные о счётах, транзакциях и розничных клиентах.
• 150 объектов для учёта пластиковых карт и транзакций с банкоматами и терминалами потребовали 2 месяца работы.

Несмотря на масштаб и сложность, команда обеспечила не только перенос данных, но и очистку, дедупликацию и тестирование, добиваясь полной согласованности между источниками и целевым хранилищем.

Бизнес-эффекты

Перенос данных позволил банку существенно сократить затраты на сопровождение отчётности, отказавшись от дорогостоящих решений вендоров АБС. Благодаря созданной инфраструктуре отчётность теперь формируется быстрее и может адаптироваться к любым изменениям регуляторных требований.

Единое хранилище данных стало основой для работы всех подразделений, включая владельцев компании. Теперь доступ к данным осуществляется централизованно, без нагрузки на АБС, что позволяет оперативно обогащать их новыми источниками.

Проект заложил фундамент для долгосрочного развития аналитических возможностей банка и ускорил бизнес-процессы, что стало значимым шагом в цифровой трансформации.

Проект реализован с использованием продукта BI.Qube командой интегратора IT Pro, которая отвечала за разработку хранилища, настройку ETL, создание витрин для высокопроизводительной аналитики. Экспертиза IT Pro помогла устранить проблемы с интеграцией данных из множества источников.

Жилстройсбербанк (ЖССБ) значительно сократил время отклика онлайн-каналов, улучшил доступ к аналитическим данным, обеспечил продавцов и консультантов оперативной информацией для продажи банковских продуктов. Проект позволил оптимизировать процессы и улучшить качество управленческих решений для сотрудников банка. Ключевым технологическим изменением стало внедрение хранилища операционных данных (ODS), его интеграция с онлайн системами, передача данных в онлайн системы и в ситуационный центр.

Предпосылки и задачи

В условиях большого набора банковских сервисов (10 разнородных систем-источников), экспоненциального роста объема данных и увеличивающихся требований к скорости обработки информации, существующая инфраструктура не справлялась с нагрузками, что вызывало задержки и перебои в работе. Необходима была высокопроизводительная система, способная обеспечивать в любое время быстрый и надежный доступ как к оперативным, так и аналитическим данным.

Проектное решение

Проект начался с анализа технических требований и существующей инфраструктуры данных. По результатам анализа было принято решение внедрить хранилище операционных данных (ODS) и организовать репликацию данных из основных источников. Это позволило создать централизованное хранилище для решения бизнес задач по функциональным блокам: ситуационный мониторинг, управления продажи в офлайн и онлайн каналах, управление качеством сервиса через колл-центр и системы самообслуживания.

Внедрение ODS и репликации данных

В рамках проекта была разработана и внедрена система ODS, обеспечивающая репликацию данных из десяти различных систем-источников, работающих на различных СУБД, таких как Colvir Banking System (CBS-3), BPM, интернет-банкинг, портал недвижимости Baspana, СЭО Nomad, Call-Center Genesys, база терминалов, Documentolog, сеть консультантов AgentsNetwork и электронный архив WebCam. Для автоматизированного подключения гетерогенных источников использовались возможности инструмента MetaStaging, входящего в состав фреймворка BI.Qube. В сочетании с отдельным продуктом репликации (CDC) этот инструмент обеспечивает автоматизированную транспортировку данных из различных источников в хранилище, что позволяет обновлять данные без полной перезагрузки. MetaStaging также автоматически генерирует объекты типа «представление» в СУБД Microsoft SQL Server для каждого полученного файла. Преимущества MetaStaging включают поддержку целостности метаданных систем-источников и возможность управления данными как отдельным компонентом, так и в составе системы BI.Qube.

Реализация системы

Для ускорения доступа к данным из интернет-банкинга и портала недвижимости были перенесены на слой хранилища 91 метод в 12 сервисах, а для CRM создано 51 представление. Всего было обработано более 400 таблиц, разработаны и оптимизированы сотни хранимых процедур и десятки представлений. Было создано более сотни web-сервисов.

На первом этапе проекта командой BI.Qube в ODS реализованы шесть OLAP-кубов и одиннадцать визуальных дашбордов, что значительно улучшило аналитические возможности банка. В онлайн-режиме реплицируются десятки миллионов записей с задержкой не более десяти секунд (в параллельном режиме с транзакционной нагрузкой).

Выполнена оптимизация процессов репликации данных. Это включало настройку тайминга, использование инкрементальной репликации, балансировку нагрузки, анализ и оптимизацию запросов, внедрение механизмов мониторинга и самодиагностики, а также использование специализированного ПО.

Push-уведомления и аналитические инструменты

На собственной инфраструктуре банка организована отправка как оперативных, так и плановых push-уведомлений. Для улучшения операционной деятельности банка внедрены push-уведомления по девяти различным событиям, таким как арест, пополнение депозита, погашение кредита, и уведомления по расписанию, включая дату следующего платежа по кредиту и истечение договора страхования.

С точки зрения оперативной аналитики, разработаны инструменты визуального управления для мониторинга времени ожидания и обслуживания клиентов, работы сети консультантов, звонков колл-центра и работы операторов видеобанкинга. Эти инструменты позволяют значительно улучшить качество обслуживания и оперативность управления.

Функциональные возможности ODS

С технической точки зрения, архитектура созданного ODS является открытой и масштабируемой. По мере необходимости в систему можно добавлять новые источники и объекты без разрушения модели данных, а также дашборды и другие элементы.

ODS позволяет обращаться за данными по одному объекту, выполнять выборки актуальных данных по пулу объектов, инициировать события по заранее запрограммированным алгоритмам и получать актуальные данные в визуальном режиме через дашборды. В результате внедрения системы ODS была достигнута высокая оперативность и точность обработки данных.

Результаты внедрения

Внедрение ODS в Жилстройсбербанк Казахстана привело к значительным улучшениям в различных аспектах работы банка.

Операционная деятельность

• Интернет-банкинг – Время отклика сократилось с более чем 20 секунд до 8 секунд, что существенно улучшило пользовательский опыт.
• Push-уведомления – Внедрено 9 видов уведомлений, которые обеспечивают оперативное информирование клиентов о различных событиях, таких как арест, пополнение депозита, погашение кредита и автоплатежи. Ежедневно отправляется несколько тысяч уведомлений, что повышает информированность клиентов и улучшает взаимодействие с ними.
• Операционные дашборды – Более 1000 сотрудников активно используют дашборды, которые предоставляют актуальную информацию по депозитам, кредитам и другим показателям в реальном времени. Это позволяет руководству принимать обоснованные решения и оперативно реагировать на изменения в бизнесе.

Технические результаты

• Репликация данных – Ежедневно реплицируется от 500 Гб до 1 Тб данных с задержкой менее 10 секунд. Это позволило перейти от классического хранилища данных, обновляемого раз в сутки, к онлайн-аналитике и проактивному взаимодействию с клиентами.
• Производительность системы – Благодаря оптимизации процессов репликации данных и использованию технологий CDC, удалось минимизировать задержки и поддерживать высокую производительность системы. В рабочее время латентность поддерживается на уровне 5 секунд, что обеспечивает бесперебойную работу и оперативный доступ к данным.

Аналитические возможности

• OLAP-кубы и дашборды – Реализовано более 6 OLAP-кубов и 11 визуальных дашбордов, которые позволяют пользователям оперативно анализировать данные и принимать управленческие решения. Дашбордами пользуются более 1000 сотрудников, что повышает качество и оперативность управленческих решений.
• Доступность данных для аналитики – Пользователи могут анализировать статистику по порталу недвижимости, интернет-банкингу, кредитам, заявкам на кредиты и активности клиентов. Это позволяет проводить глубокий анализ данных и разрабатывать стратегии на основе полученной информации.

Бизнес-эффекты

• Повышение качества управленческих решений – Оперативный доступ к актуальным данным и аналитика в реальном времени способствуют принятию более обоснованных и эффективных управленческих решений.
• Снижение времени отклика онлайн-каналов – Благодаря оптимизации инфраструктуры и процессов, удалось значительно сократить время отклика онлайн-каналов, что улучшило пользовательский опыт и повысило удовлетворенность клиентов.
• Масштабируемая архитектура ODS – Новая архитектура позволяет банку легко адаптироваться к изменениям и расширять функциональные возможности по мере роста объемов данных и потребностей бизнеса.
• Геймификация процессов работы консультантов – Введение соревновательных элементов в работу консультантов повысило их мотивацию и эффективность работы, что положительно сказалось на общей производительности и качестве обслуживания клиентов.

В целом, внедрение ODS позволило Жилстройсбербанку Казахстана перейти на новый уровень обработки и анализа данных, что существенно улучшило операционные процессы, повысило качество обслуживания клиентов и обеспечило конкурентные преимущества на рынке.

Преимущества

Проект реализован с использованием продукта BI.Qube командой интегратора IT Pro, которая отвечала за разработку хранилища, настройку репликации и ETL, создание витрин для высокопроизводительной аналитики. Экспертиза IT Pro помогла устранить проблемы с интеграцией данных из множества источников, задержками при работе с рассчитываемыми «на лету» данными и недостаточной производительностью аналитических запросов.