Что нового в BI.Qube: фокус на удобство и прозрачность

Фреймворк BI.Qube развивается – и с каждым обновлением становится всё удобнее в работе. Мы усилили привычные механизмы и добавили новые инструменты в модуле MetaStaging, которые делают извлечение и загрузку данных проще.

В основе обновлений MetaStaging – переработанный подход к извлечению данных и загрузке их в хранилище. При этом всё, что уже привычно и стабильно работает, мы сохранили. Главное отличие – в прозрачности процессов: теперь даже сложные задачи можно решать быстрее и увереннее.

Вот что появилось в новом релизе:

---

Создан дружественный интерфейс для автоматической генерации команд к любым источникам данных

• Автоматическая генерация SQL запросов
• Навигация по объектам данных источника
• Предварительный просмотр данных при создании команды

Интерфейс

---

Реализован low code инструмент для управления ETL процессами, параметры задаются в интерфейсе

• Использование параметров в любых запросах фреймворка
• Вычисление параметров в контексте любого эндпоинта

Интерфейс

---

Существенно расширен функционал по локализации ошибок за счёт системы обширного логирования

• Детальное логирование всех команд фреймворка в базе данных
• Отображение логов запросов с подставленными параметрами
• Перезапуск атомарной команды непосредственно из лога

Интерфейс

---

Создан интерфейс для управления секционированием хранилища

• Секционирование по трём типам данных (int, varchar, datetime)
• Управление диапазонами секций с возможностью проверки пересечений
• Секционирование для MS SQL, Postgree, Greenplum, ClickHouse

Интерфейс

---

Доработан механизм управления загруженными файлами для замены файлов, содержащих некорректные данные

• Визуальный контроль за списком загружаемых файлов
• Удаление некорректных данных

Интерфейс

---

Изменен функционал работы с файлами JSON для детализации модели Data Lineage

• Автоматический парсинг JSON
• Возможность загрузки только части JSON’a по условию
• Автоматическое создание команд для каждого элемента JSON’a

Интерфейс

---

Разработан режим массового создания команд из одного источника

• Генерация команд извлечения данных для неограниченного числа объектов на источнике

Интерфейс