MetaOrchestrator

BI.Qube MetaOrchestrator – инструмент автоматизированного создания распределенных многофункциональных схем развертывания, мониторинга и контроля задач, запуска и контроля ETL/ELT-процессов, которые обеспечивают извлечение, трансформацию и загрузку данных из источников в DWH и далее в аналитические витрины

MetaOrchestrator – это оркестратор с возможностью выполнять ETL и позволяющий последовательно-параллельные процессы описывать элементарно. MetaOrchestrator строится на основе интеграции со свободным программным обеспечением (open source software), предназначенным для планирования и мониторинга рабочих процессов. Является платформенно независимым и может использовать в качестве основы любой планировщик, например, Prefect. Основным требованием к планировщику является наличие API.

MetaOrchestrator решает известные проблемы оркестрации ETL процессов, а также максимально оптимизирует запуск любых задач. В результате работы данного компонента автоматически строится оптимальный декомпозированный граф со множественными значениями параметров и учетом последовательности выполнения детальных задач при разбиении на значения параметров. Пользователю достаточно сконфигурировать и указать относительно небольшие верхнеуровневые зависимости. Общий граф выполнения всех задач формируется без участия пользователя автоматически. Подграфы выполнения из различных компонентов соединяются между собой в общий граф выполнения автоматически. Из каждой подсистемы оркестратор выбирает граф выполнения задач каждой подсистемы и автоматически стыкует эти графы между различными подсистемами по используемым и производимым ресурсам. Граф выполнения всегда актуален, всегда виден и доступен в реальном времени. Пользователь может всегда зайти, посмотреть и поменять этот граф выполнения «на лету», несмотря на то что он может вызываться, какие-то куски этого графа могут выполняться. Продукт минимизирует большинство логических простоев между вызовами задач. Таким образом обеспечивается стабильная и быстрая работа системы, производительность которой ограничена лишь вычислительными мощностями.