Предпосылки и задачи

Руководство и собственники Меткомбанка поставили цель повысить эффективность банка и оперативность реакции на изменения в работе. Существующие системы учета и отчетности не обеспечивали должной гибкости и полноты данных для удовлетворения бизнес-требований.

Основные цели:

• Автоматизация управленческой аналитики
• Внедрение инструментов для самостоятельной работы с данными

Основные задачи включали:

• Объединение разрозненных источников данных
• Повышение качества данных
• Создание аналитических витрин
• Обеспечение гибкости и масштабируемости
• Визуализация и доступ к данным

О заказчике

Проектное решение

Проект по трансформации аналитической системы Меткомбанка был направлен на решение задач Финансово-экономического департамента (ФЭД). Основное внимание было уделено повышению управленческой эффективности и операционной стабильности банка.

Были разработаны аналитические витрины:

• Управленческий баланс – сводный отчет о финансовом состоянии банка, позволяющий анализировать бизнес в разрезах: группы услуг, подразделения, менеджеры, клиенты и др.
• Управленческий P&L – анализ доходов и расходов банка, оценка рентабельности различных направлений.
• Портфель финансовых инструментов – анализ структуры активов и обязательств, оценка ликвидности и сбалансированности.
• Платежный календарь – планирование и контроль движения денежных средств, предотвращение кассовых разрывов.

В рамках проекта были выполнены работы:

• Объединены сведения из трёх автоматизированных банковских систем (АБС) – RS-Банк, Банк XXI Век (Инверсия), Finist-DigitalBank, а также из Diasoft по ценным бумагам и TranzWare Card Management System по банковским картам и обогащены данными из MDM.
• Повышено качество данных за счет внедрения процедур очистки, нормализации и валидации данных, что обеспечило их достоверность и консистентность.
• Автоматизированы процессы через создание автоматизированных ETL-процессов, что позволило регулярно обновлять данные и сокращать время их обработки.
• Созданы витрины данных для многомерного анализа и построения отчетов с применением OLAP-кубов.
• Обеспечена гибкость и масштабируемость системы для адаптации под новые бизнес-требования благодаря использованию методологии Data Vault, что позволило сохранить существующую модель данных.
• Предоставлены пользователям удобные инструменты для визуализации и анализа данных, такие как интерактивные дашборды и отчеты.

Специфика решаемых задач

• Введение цветовой дифференциации показателей для удобства визуального анализа
• Поддержка иерархической структуры справочников для точного учета и классификации данных

Результаты

Проект, начатый в 2014 году, продемонстрировал значительные успехи и внёс весомый вклад в развитие ПАО «Меткомбанк». К концу 2017 года банк показал высокие результаты. Достижения банка были отмечены в рейтинге российских банков, опубликованном газетой «Коммерсантъ» 8 декабря 2017 года. По результатам первых трёх кварталов 2017 года Меткомбанк занял второе место в рейтинге самых эффективных банков страны.

• Активы нетто увеличились в 1,5 раза — с 43 875 662 тысяч рублей до 65 678 326 тысяч рублей.
• Чистая прибыль выросла в 7 раз — с 397 284 тысяч рублей до 2 795 561 тысяч рублей.
• Вклады физических лиц возросли в 1,4 раза — с 8 351 875 тысяч рублей до 11 930 773 тысяч рублей.
• Рентабельность активов-нетто поднялась в 5 раз — с 0,96% до 4,87%.
• Рентабельность капитала увеличилась в 3 раза — с 5,45% до 15,57%.

Заказчик отмечает весомый вклад созданных инструментов в эффективность процессов стратегического планирования и управления в ПАО «Меткомбанк».

Предпосылки и задачи

Банк России (ЦБ РФ) регулярно вводит новые формы отчетности, направленные на повышение контроля и прозрачности финансовых организаций. В результате, кредитным, расчетными и страховым организациям необходимо готовить все более детализированную отчетность для ЦБ РФ.

Автоматизированные банковские системы (АБС), предоставляемые вендорами, частично помогают в подготовке отчетности. Однако, с этими системами возникают следующие проблемы:

• Детализированная отчетность требует значительных ресурсов АБС, что мешает выполнению основных операций банка
• Вендор АБС не всегда успевает адаптироваться к частым изменениям в требованиях ЦБ РФ, что приводит к задержкам в наличии функционала для подготовки отчетности
• Формирование новых форм отчетности на имеющихся данных иногда невозможно без их дополнительной обработки и обогащения

Эти проблемы определяют основные цели проектного решения:

• Снизить нагрузку на АБС, сформировав хранилище данных (DWH)
• Создать единую модель данных и универсальные инструменты для автоматического формирования отчетности ЦБ РФ
• Внедрить инструменты историзированного формирования и модификации методик расчёта с минимизацией необходимости ручных корректировок

Проектное решение

Проект был направлен на обеспечение соответствия требованиям Банка России и других контролирующих органов. Внедрение хранилища данных DWH с применением фреймворка BI.Qube позволило автоматизировать процессы подготовки регламентированной отчетности, контролировать нормативы и обеспечивать своевременную выгрузку данных для ЦБ РФ.

В рамках проекта были выполнены работы:

• Объединены разрозненные источники данных путем интеграции данных из различных автоматизированных банковских систем (АБС) и внешних источников в единую платформу.
• Автоматизированы процессы через создание автоматизированных ETL-процессов, что позволило регулярно обновлять данные и сокращать время их обработки.
• Созданы витрины данных для многомерного анализа и построения отчетов с применением OLAP-кубов.
• Обеспечена гибкость и масштабируемость системы для адаптации под новые бизнес-требования благодаря использованию методологии Data Vault, что позволило сохранить существующую модель данных.
• Обогащены данные внешней информацией, отсутствующей в источниках, с помощью MDM.

Специфика решаемых задач

Одной из ключевых особенностей стало наличие множества автоматизированных банковских систем и внешних источников данных. Необходимость интеграции данных из различных источников потребовала создания сложной инфраструктуры, способной обрабатывать большие объемы информации и обеспечивать высокую степень точности и надежности.

Другой особенностью проекта была необходимость работы с разнородными данными, которые часто имели разные форматы и требовали предварительной обработки перед интеграцией. Это включало очистку, нормализацию и валидацию данных, что было критично для обеспечения достоверности и консистентности итоговой отчетности.

Важным аспектом также стало обеспечение консолидированной отчетности для двух различных банков, что потребовало разработки системы доступа по ролям и иерархии. Это решение должно было быть гибким и масштабируемым, чтобы адаптироваться под новые бизнес-требования, сохраняя при этом целостность существующей модели данных.

Кроме того, проект включал обогащение данных внешней информацией, отсутствующей в исходных системах, что требовало управления мастер данными (MDM).

Таким образом, уникальность и сложность проекта заключались в необходимости интеграции разнородных данных, обеспечения их высокого качества и создания гибкой системы, способной адаптироваться к меняющимся требованиям и условиям.

Результаты

Проект по автоматизации подготовки сложной обязательной отчетности обеспечил успешную автоматизацию и оптимизацию процессов подготовки регламентированной отчетности. BI.Qube существенно улучшил процесс подготовки регламентированной отчетности, обеспечил соответствие требованиям ЦБ и упростил контроль нормативов, что повысило эффективность взаимодействия с регулятором и снизило риски несоответствия.

Проблематика

Банк Финсервис в течение 10 с лишним лет, по мере появления бизнес-задач, своими силами разрабатывал аналитические решения на платформе Microsoft. По мере роста функциональности и объемов данных, увеличивалось время обновления, и как следствие, усложнилось управление глубиной, качеством, и связанностью данных. В 2022 году политика международных вендоров и требования Банка России, как и для многих других банков, значительно подняли актуальность смены платформ для работы с данными. Была поставлена цель, с одной стороны, снизить риски использования проприетарного ПО иностранных вендоров, а с другой стороны сделать рефакторинг для устранения проблем архитектуры.

Решение

Решением стала не просто смена платформы данных, но и внедрение специальных инструментов, реализующих работу в концепции Low-code/No-code. Выбран стек open source для хранилища и витрин, а также BI.Qube из Реестра российского ПО для автоматической миграции данных, обеспечения их качества, подключения источников, построения масштабируемой модели. Вместе с этим банк решил задачу развития своих компетенций для построения архитектуры в методологии Data Vault.

Суть работ и периметр

Миграция с платформы Microsoft включает автоматический перенос данных (таблицы, представления, запросы) и автоматизированную миграцию ELT процессов, существующая модель данных при этом превращается в стейджинг, к которому переподключены источники на СУБД Oracle и Microsoft. В итоге все системы-потребители могут использовать ту же модель данных, что и была на Microsoft, только в качестве СУБД используется Postgree.

Для тестирования целевой архитектуры, нагрузочных тестов, сайзинга и оценки стоимости владения использованы управляемые сервисы в Yandex Cloud, входящего в Реестр российского ПО и соответствующего стандартам ГОСТ и PCI DSS.

Благодаря использованию инструментов BI.Qube, миграция слабо документированных аналитических решений, включающих более 1000 таблиц, на open source СУБД PostgreSQL в автоматизированном режиме заняла 3 месяца команды из 3 человек с неполной загрузкой.

Фокус на целевую аудиторию

Такие решения дают максимум полезности для кредитных организаций, где характерна ситуация с существенным, более тысячи, количеством таблиц в КХД или аналитических системах, а также существенных объемах данных, измеряемых терабайтами.

Особенности применённых технологий и инструментов

• BI.Qube MetaStaging¹ извлекает данные из имеющегося DWH. MetaStaging может забирать данные порциями, накладывая условия, инкрементно, дельтами. Имеет собственный механизм настраиваемой в визуальном интерфейсе загрузки, с поддержкой параллелизма и отказоустойчивости. Автоматически формируются пакеты загрузки данных в новую СУБД.
• BI.Qube MetaVault² без программирования укладывает данные в модель по методологии Data Vault. На вход подаются данные из BI.Qube MetaStaging, настройка выполняется через визуальный интерфейс, на выходе получается набор объектов, которые представляют собой модель данных. Построенной моделью можно управлять с использованием системы master data management (MDM) в визуальном интерфейсе метакомпонента BI.Qube MetaMasterData.
• Данные, подготовленные BI.Qube MetaVault, можно использовать путем прямого подключения любым BI инструментом (например, Yandex DataLens) или загружать полученные данные в in-memory витрины (например, управляемый экземпляр ClickHouse).

¹ BI.Qube MetaStaging включен в Реестр российского ПО, запись в реестре от 24.03.2023 №17067
² BI.Qube MetaVault включен в Реестр российского ПО, запись в реестре от 13.02.2023 №16579

Что может быть сделано еще

При переходе на инструменты BI.Qube заказчику передается отраслевая, в данном случае, банковская модель, которая разработана, апробирована и используется в ряде российских и зарубежных банков.

Планируется создать слой предварительно рассчитанных и обновляемых агрегатов, позволяющий перейти на open source инструменты для аналитики, в которых можно обойтись без моделирования и обработки данных, то есть уйти от использования Qlik, Tableau и Power BI, к Yandex DataLens и Apache Superset.

С функциональной точки зрения планируется использовать решение для прогнозирования нормативов ликвидности, подготовки детальных данных для ГИС ГМП, ГИС ЖКХ и проверяющих и регулирующих органов.

Встроенные средства master data management (MDM) позволят реализовать в визуальном интерфейсе задачи, требующие перекладок из бухгалтерского в управленческий учёт (аллокаций). Например, составление P&L и Cash flow с факторным анализом, алгоритмы бюджетирования и др.

Существенно снизится нагрузка на разработчиков за счёт автоматизации построения и масштабирования КХД и ELT на open source платформах с использованием BI.Qube.

Для кого это решение

Жилстройсбербанк (ЖССБ) значительно сократил время отклика онлайн-каналов, улучшил доступ к аналитическим данным, обеспечил продавцов и консультантов оперативной информацией для продажи банковских продуктов. Проект позволил оптимизировать процессы и улучшить качество управленческих решений для сотрудников банка. Ключевым технологическим изменением стало внедрение хранилища операционных данных (ODS), его интеграция с онлайн системами, передача данных в онлайн системы и в ситуационный центр.

Предпосылки и задачи

В условиях большого набора банковских сервисов (10 разнородных систем-источников), экспоненциального роста объема данных и увеличивающихся требований к скорости обработки информации, существующая инфраструктура не справлялась с нагрузками, что вызывало задержки и перебои в работе. Необходима была высокопроизводительная система, способная обеспечивать в любое время быстрый и надежный доступ как к оперативным, так и аналитическим данным.

Проектное решение

Проект начался с анализа технических требований и существующей инфраструктуры данных. По результатам анализа было принято решение внедрить хранилище операционных данных (ODS) и организовать репликацию данных из основных источников. Это позволило создать централизованное хранилище для решения бизнес задач по функциональным блокам: ситуационный мониторинг, управления продажи в офлайн и онлайн каналах, управление качеством сервиса через колл-центр и системы самообслуживания.

Внедрение ODS и репликации данных

В рамках проекта была разработана и внедрена система ODS, обеспечивающая репликацию данных из десяти различных систем-источников, работающих на различных СУБД, таких как Colvir Banking System (CBS-3), BPM, интернет-банкинг, портал недвижимости Baspana, СЭО Nomad, Call-Center Genesys, база терминалов, Documentolog, сеть консультантов AgentsNetwork и электронный архив WebCam. Для автоматизированного подключения гетерогенных источников использовались возможности инструмента MetaStaging, входящего в состав фреймворка BI.Qube. В сочетании с отдельным продуктом репликации (CDC) этот инструмент обеспечивает автоматизированную транспортировку данных из различных источников в хранилище, что позволяет обновлять данные без полной перезагрузки. MetaStaging также автоматически генерирует объекты типа «представление» в СУБД Greenplum для каждого полученного файла. Преимущества MetaStaging включают поддержку целостности метаданных систем-источников и возможность управления данными как отдельным компонентом, так и в составе системы BI.Qube.

Реализация системы

Для ускорения доступа к данным из интернет-банкинга и портала недвижимости были перенесены на слой хранилища 91 метод в 12 сервисах, а для CRM создано 51 представление. Всего было обработано более 400 таблиц, разработаны и оптимизированы сотни хранимых процедур и десятки представлений. Было создано более сотни web-сервисов.

На первом этапе проекта командой BI.Qube в ODS реализованы шесть OLAP-кубов и одиннадцать визуальных дашбордов, что значительно улучшило аналитические возможности банка. В онлайн-режиме реплицируются десятки миллионов записей с задержкой не более десяти секунд (в параллельном режиме с транзакционной нагрузкой).

Выполнена оптимизация процессов репликации данных. Это включало настройку тайминга, использование инкрементальной репликации, балансировку нагрузки, анализ и оптимизацию запросов, внедрение механизмов мониторинга и самодиагностики, а также использование специализированного ПО.

Push-уведомления и аналитические инструменты

На собственной инфраструктуре банка организована отправка как оперативных, так и плановых push-уведомлений. Для улучшения операционной деятельности банка внедрены push-уведомления по девяти различным событиям, таким как арест, пополнение депозита, погашение кредита, и уведомления по расписанию, включая дату следующего платежа по кредиту и истечение договора страхования.

С точки зрения оперативной аналитики, разработаны инструменты визуального управления для мониторинга времени ожидания и обслуживания клиентов, работы сети консультантов, звонков колл-центра и работы операторов видеобанкинга. Эти инструменты позволяют значительно улучшить качество обслуживания и оперативность управления.

Функциональные возможности ODS

С технической точки зрения, архитектура созданного ODS является открытой и масштабируемой. По мере необходимости в систему можно добавлять новые источники и объекты без разрушения модели данных, а также дашборды и другие элементы.

ODS позволяет обращаться за данными по одному объекту, выполнять выборки актуальных данных по пулу объектов, инициировать события по заранее запрограммированным алгоритмам и получать актуальные данные в визуальном режиме через дашборды. В результате внедрения системы ODS была достигнута высокая оперативность и точность обработки данных.

Результаты внедрения

Внедрение ODS в Жилстройсбербанк Казахстана привело к значительным улучшениям в различных аспектах работы банка.

Операционная деятельность

• Интернет-банкинг – Время отклика сократилось с более чем 20 секунд до 8 секунд, что существенно улучшило пользовательский опыт.
• Push-уведомления – Внедрено 9 видов уведомлений, которые обеспечивают оперативное информирование клиентов о различных событиях, таких как арест, пополнение депозита, погашение кредита и автоплатежи. Ежедневно отправляется несколько тысяч уведомлений, что повышает информированность клиентов и улучшает взаимодействие с ними.
• Операционные дашборды – Более 1000 сотрудников активно используют дашборды, которые предоставляют актуальную информацию по депозитам, кредитам и другим показателям в реальном времени. Это позволяет руководству принимать обоснованные решения и оперативно реагировать на изменения в бизнесе.

Технические результаты

• Репликация данных – Ежедневно реплицируется от 500 Гб до 1 Тб данных с задержкой менее 10 секунд. Это позволило перейти от классического хранилища данных, обновляемого раз в сутки, к онлайн-аналитике и проактивному взаимодействию с клиентами.
• Производительность системы – Благодаря оптимизации процессов репликации данных и использованию технологий CDC, удалось минимизировать задержки и поддерживать высокую производительность системы. В рабочее время латентность поддерживается на уровне 5 секунд, что обеспечивает бесперебойную работу и оперативный доступ к данным.

Аналитические возможности

• OLAP-кубы и дашборды – Реализовано более 6 OLAP-кубов и 11 визуальных дашбордов, которые позволяют пользователям оперативно анализировать данные и принимать управленческие решения. Дашбордами пользуются более 1000 сотрудников, что повышает качество и оперативность управленческих решений.
• Доступность данных для аналитики – Пользователи могут анализировать статистику по порталу недвижимости, интернет-банкингу, кредитам, заявкам на кредиты и активности клиентов. Это позволяет проводить глубокий анализ данных и разрабатывать стратегии на основе полученной информации.

Бизнес-эффекты

• Повышение качества управленческих решений – Оперативный доступ к актуальным данным и аналитика в реальном времени способствуют принятию более обоснованных и эффективных управленческих решений.
• Снижение времени отклика онлайн-каналов – Благодаря оптимизации инфраструктуры и процессов, удалось значительно сократить время отклика онлайн-каналов, что улучшило пользовательский опыт и повысило удовлетворенность клиентов.
• Масштабируемая архитектура ODS – Новая архитектура позволяет банку легко адаптироваться к изменениям и расширять функциональные возможности по мере роста объемов данных и потребностей бизнеса.
• Геймификация процессов работы консультантов – Введение соревновательных элементов в работу консультантов повысило их мотивацию и эффективность работы, что положительно сказалось на общей производительности и качестве обслуживания клиентов.

В целом, внедрение ODS позволило Жилстройсбербанку Казахстана перейти на новый уровень обработки и анализа данных, что существенно улучшило операционные процессы, повысило качество обслуживания клиентов и обеспечило конкурентные преимущества на рынке.

Преимущества