Полная загрузка справочника из 1С в AXE

Одной из наиболее распространенных задач является организация извлечения и доставки всего объема данных из источника получателю без каких-либо условий и предварительных преобразований.

Задача будет продемонстрирована на примере загрузки справочника 1С «Номенклатура» в базу данных AXE.

Шаг 1: Настройка команды загрузки

В меню выберем компонент «Staging», пункт «Команды», затем модель данных

Для создания команды необходимо заполнить форму:

• Ввести имя создаваемой команды,
• Выбрать профиль
• Модель и Домен заполняется автоматически
• Источник данных — подключение предварительно было настроено — источником данных в примере является база данных 1C;
• Целевая система — подключение предварительно было настроено;
• Слой данных устанавливается автоматически

Особенностью загрузки данных в базу данных AXE является наличие промежуточного хранилища (Data Lake). 

• Указываем имя таблицы

В данном случае, так как предполагается полная загрузка данных, необходимо выбрать опцию «Очистить перед выполнением», этот режим обеспечит полное обновление данных в целевой таблице при каждом запуске команды на выполнение.

Опция делать бэкап позволяет перед выполнением создавать резервную копию таблицы назначения

Шаг 2: Создание запроса к справочнику 1C

Для создания запроса к справочнику 1С необходимо нажать кнопку создать

В дереве объектов 1С необходимо найти нужный справочник «Номенклатура» отметить его и нажать кнопку сформировать запрос, при этом система по умолчанию работает в режиме формирования запросов на языке 1С, если необходим запрос на языке SQL то можно перейти в соответствующий режим система автоматически сгенерирует запрос на языке 1С

После создания запроса необходимо выполнить проверку запросов.

На этом этапе выполняется расчет параметров входящих в запрос если таковые есть, затем нажать кнопку выполнить и оценить полученные данные если данные соответствуют ожиданиям нажать «ок».

Нажать кнопку сохранить и на этом процесс команды завершен.

Шаг 3: Запуск команды для загрузки

Запуск команды осуществляется через пункт меню Профиль.

Нужно выбрать профиль и нажать загрузить.

Для проверки данных в целевой системе, перейдем на вкладку «Данные», в зоне свойств выбрать подключение, найти созданную таблицу в структуре модели данных.

Выделить ее и нажать сформировать запрос после чего нажать выполнить и убедиться, что данные получены.

Настроенная команда может запускаться на периодической основе как в ручном режиме через веб интерфейс, так и с помощью оркестратора.

Результатом работы команды будет следующий сценарий: удаление данных из целевой таблицы и загрузка всех данных из справочника «Номенклатура»