Комплексная система автоматизированной миграции с Microsoft и Oracle DWH на платформу данных Yandex Cloud и open source. Позволяет бесшовно и надёжно перенести данные и процессы без потерь функциональности. Решение минимизирует риски использования IT-продуктов от вендоров из недружественных государств. Обеспечиваем безопасность, высокую производительность и соответствие российским регуляторным требованиям. Система поддерживает полную автоматизацию миграции данных, включая адаптацию ETL/ELT процессов, что гарантирует оптимизацию затрат и минимальное обесценивание инвестиций в ранее созданный код.

Функции

• Сбор сведений о метаданных систем-источников с учётом всех особенностей модели данных (таблицы, типы данных, длина поля, описание)
• Автоматическое извлечение изменений данных из любых источников (CDC или пакетный режим)
• Работа с данными 1С в режиме low-code/no-code, автоматическая генерация выгрузок
• Наполнение и обновление целевого хранилища данных (КХД) на базе Yandex Cloud
• Автоматическая генерация ELT-процессов на основе существующих ETL-процессов и загружаемых объектов
• Обеспечение надёжности данных с помощью инструмента автоматического контроля качества и уведомления об ошибках
• Полуавтоматическая перенастройка ETL в ELT-процессы для повышения эффективности
• Перенос данных в импортозамещающие СУБД с учётом секционирования
• Оптимизация использования ресурсов благодаря высокой производительности сервисов Yandex Cloud, таких как DataLake, Spark и ClickHouse
• Масштабирование инфраструктуры в зависимости от роста объёма данных и потребностей бизнеса, с возможностью интеграции с существующими решениями

Преимущества

• Снижение рисков за счёт отказа от иностранного ПО, решение работает на платформе данных Yandex Cloud, входящего в реестр российского ПО
• Полная автоматизация процессов миграции и минимизация ручного вмешательства
• Сохранение функциональности при переносе данных и логики, включая ETL/ELT процессы
• Высокая безопасность и соответствие регуляторным требованиям, включая обновления на основе долгосрочных сервисных контрактов
• Гибкость и адаптация к IT-инфраструктуре – система поддерживает интеграцию с различными источниками данных и позволяет легко перенастраивать процессы для разных бизнес-задач
• Масштабируемость – решение адаптируется к росту объёмов данных и позволяет эффективно работать с большими нагрузками за счет использования сервисов Yandex Cloud и фреймворка BI.Qube
• Снижение TCO (Total Cost of Ownership) за счёт оптимизированного управления инфраструктурой и снижения затрат на лицензионные продукты и поддержку
• Плавный переход с минимальными рисками – благодаря детальному анализу и тестированию на всех этапах миграции, система гарантирует надёжность и непрерывность работы

Целевая аудитория

• IT-департамент
• Департамент аналитики
• Департамент безопасности
• Финансовый департамент
• Департамент рисков
• Департамент стратегического развития
• Казначейство

Пример интеграции

Решение внедрено в банке Финсервис для замены иностранного ПО на отечественную платформу данных, что позволило выполнить требования регулятора по безопасности данных и импортозамещению. Система успешно интегрирована с текущей IT-инфраструктурой, сохраняя работоспособность всех ключевых процессов, включая управление потоками данных и генерацию отчётности. Благодаря фреймворку BI.Qube банк упростил работу с хранилищем данных, обеспечив надежную миграцию и минимизировав риски отказа. Подробнее о проекте можно узнать по ссылке

Как внедрить?

Для оценки необходимости и объема кастомизации этого стандартного решения под ИТ ландшафт конкретного заказчика проводится обследование:

• Существующих источников данных
• Существующих моделей данных на предмет возможного их использования “как есть”
• Уже применяемых методик
• Имеющихся артефактов (файлы Excel, отчеты, дашборды, алгоритмизированные процедуры трансформации данных)

В зависимости от результатов обследования принимается решение о необходимых доработках, на основе следующих принципов:

• Если у заказчика нет устоявшихся практик, то кастомизация осуществляется поэтапно, шаг за шагом, с определением SMART целей для каждого шага

Фреймворк BI.Qube для быстрого подключения источников, построения и масштабирования модели, управления мастер-данными и их качеством – на период разработки предоставляется бесплатно, для проверки применимости к специфике конкретного заказчика.