Подготовка данных для аналитики с ИИ

Точный ответ ИИ начинается с подготовленных данных

Языковая модель хорошо понимает вопрос, но не знает, как устроены данные компании: какой показатель считается официальным, какие фильтры обязательны, как связаны таблицы. Подключённая напрямую к учётной системе или физическим таблицам хранилища, она начинает угадывать, и в ответах появляются «галлюцинации». Поэтому данные нужно подготовить заранее: собрать из источников, связать в единую модель, описать их бизнес-смысл и дать модели управляемый доступ.

Для этого команда BI.Qube строит высокопроизводительное масштабируемое хранилище данных (DWH) на импортонезависимых платформах. Вместе с ним формируются каталог данных и семантический слой, на которые опираются отчёты, AI-ассистент и ИИ-агенты. Всё это создаётся с помощью фреймворка BI.Qube: в него заложены методики и типовые решения, поэтому фреймворк снижает требования к экспертизе заказчика.

Ожидаемые результаты

• ИИ отвечает на основе единых определений показателей, не строя догадок о структуре и содержимом таблиц.
• ИИ-агенты получают доступ к разным слоям хранилища с учётом ролевой модели и ограничений доступа.
• Происхождение каждой цифры можно проследить до источника, а итоги автоматически сверяются с детальными данными.
• Бизнес-пользователи работают с данными самостоятельно: в дашбордах, Excel и через AI-ассистента.
• Хранилище служит как аналитике, так и операционной деятельности.
• Хранилище масштабируется до десятков и сотен терабайт.

В какой ситуации важно

Подготовка данных становится первой задачей, когда компания собирается подключить ИИ к корпоративным данным: внедрить AI-ассистента для бизнес-пользователей или доверить ИИ-агентам часть операционной работы. Особенно если данные разбросаны по нескольким системам: АБС, 1С, ERP, CRM, файлам Excel, и в каждой один и тот же показатель считается по-своему.

Банкам и компаниям с персональными данными и банковской тайной важно ещё и то, чтобы модель видела только разрешённые данные, а обработка оставалась в их инфраструктуре. Та же задача возникает при переходе с зарубежных платформ на импортонезависимые: хранилище всё равно перестраивается, и семантический слой для ИИ можно заложить сразу.

В чём сложность и почему мы

Выгрузить данные — меньшая часть работы. Забирать их нужно так, чтобы не нагружать основную учётную систему, отлавливать ошибки целостности и форматов, сводить типы данных из разных источников и вести внесистемный учёт. Семантический слой нельзя сгенерировать целиком: определения показателей и бизнес-правила согласуются с владельцами данных. Наконец, нужно решить, какие слои и данные доступны ИИ, и подобрать модели и оборудование под задачи.

Вайбкодинг, когда загрузки и трансформации целиком пишет ИИ-агент, эту работу не заменяет. В сколько-нибудь серьёзных задачах такая подготовка данных расходует много токенов и работает нестабильно. Другой путь — собрать стек из open source: Greenplum, ClickHouse, dbt, OpenMetadata, Cube.dev и Superset. Такой набор дорого строить и поддерживать, да и работать с ним в промышленном масштабе неудобно.

Фреймворк BI.Qube берёт на себя рутинную часть: генерирует модель данных, конвейеры загрузки и витрины, наполняет каталог данных по метаданным и строит сквозной data lineage. Трансформации настраиваются в low-code-интерфейсе, большая их часть не требует программирования, а запросы к источникам и трансформации помогает готовить встроенный ИИ-ассистент с учётом реальных схем, полей и объектов 1С. Поэтому к ИТ-квалификации сотрудников, которые дальше ведут хранилище, предъявляются меньшие требования. Команда BI.Qube сосредоточена на том, что требует опыта: согласовании семантики, архитектуре доступа ИИ и выборе моделей.

Архитектурное решение

Хранилище данных состоит из трёх слоёв и строится по принципу «сначала загрузка, потом обработка» (ELT): данные забираются из источников почти без изменений, пакетами или с захватом изменений (CDC), а обрабатываются уже в хранилище, чтобы не нагружать учётные системы. В слое исходных данных (ODS) данные источников приводятся к единым форматам и проверяются на целостность. В слое подготовленных данных (DDS) строится модель: данные связываются в бизнес-объекты, а семантический слой описывает их метрики, правила расчёта и термины; справочники и внесистемный учёт ведутся в MDM. Третий слой — витрины, готовые для отчётов, анализа и работы ИИ.

Каталог данных наполняется по метаданным автоматически и показывает сквозной путь каждой цифры от источника до отчёта (data lineage). Итоги сверяются с агрегатами по детальным данным, о расхождениях приходят уведомления.

MCP-сервер даёт ИИ-агентам доступ только на чтение и с учётом ролевой модели: к слоям трансформаций, структуре витрин и глоссарию. ИИ работает с семантической моделью, а не с физическими таблицами: бизнес-термины уже сопоставлены с полями хранилища, и модели не приходится угадывать.

Импортонезависимый стек — PostgreSQL для исходных и подготовленных данных, ClickHouse и Visiology для витрин и отчётности; для десятков и сотен терабайт — Greenplum или Trino с Iceberg.

AI-ассистент и ИИ-агенты работают на открытых моделях в контуре заказчика. На подготовленных данных их оптимально хватает для решения задач. Распознавание документов, запросы к 1С и графики закрывают GLM 4.7 Flash или Qwen 3.8 27B на одной видеокарте NVIDIA A40 или RTX PRO 6000; DAX и MDX к SSAS — Qwen 3.8 27B, Gemma 4 31B или gpt-oss-120B. График строится по описанию параметров и SQL выборки, а не генерацией Python-кода: так результат предсказуемее. Агентской разработке нужен кластер из 8 H200, поэтому здесь чаще берут облачную модель.

Модули BI.Qube генерируют хранилище, каталог данных и семантический слой, поэтому фреймворк BI.Qube снижает требования к экспертизе заказчика. Модель данных, конвейеры, правила качества, глоссарий и настройки доступа ИИ остаются во фреймворке, и команда заказчика развивает хранилище сама.

Модули BI.Qube строят три слоя хранилища — исходные данные, модель с семантическим слоем и витрины. Отчёты, Excel и ИИ-агенты работают с подготовленными данными, а не с учётными системами.

Глоссарий

Понятие	Что означает
ELT	Загрузка в хранилище до обработки, без нагрузки на источники
CDC	Захват изменений на источнике с задержкой в секунды или минуты
ODS	Слой исходных данных с приведёнными типами и контролем целостности
DDS	Слой подготовленных данных: связанная модель бизнес-объектов
Семантический слой	Бизнес-объекты, связи, метрики и правила, сопоставленные с объектами хранилища
Бизнес-глоссарий	Термины и синонимы с едиными определениями
Витрина данных	Измерения, факты и наборы данных для отчётов
MDM	Справочники, внесистемный учёт, «золотая запись»
Каталог данных	Описание объектов данных с происхождением и свойствами
Data lineage	Путь данных от источника до показателя в отчёте
MCP-сервер	Стандартный интерфейс управляемого доступа ИИ к данным и метаданным