Полная загрузка справочника из 1С в Greenplum

Одной из наиболее распространенных задач является организация извлечения и доставки всего объема данных из источника получателю, без каких либо условий и предварительных преобразований.

Будет продемонстрирована загрузка справочника 1С «Номенклатура» в базу данных Greenplum.

Шаг 1: Создание команды

В меню выбрать «Staging», «Команды». Выбрать заранее созданную модель — «Тестовая модель GP».

В форме заполнить следующие данные:

• Имя создаваемой команды;
• Описание команды;
• Указать профиль;
• Модель — заполняется автоматически;
• Домен — заполняется автоматически;
• Источник данных — подключение предварительно было настроено. Источником данных в примере является база данных 1С;
• Целевая система — подключение предварительно было настроено;
• Слой данных — устанавливается автоматически из ранее выполненных настроек модели данных;
• Опция «Загрузка через Data Lake», позволяет использовать промежуточное хранилище при загрузке данных;
• Опция «Материализация представлений в целевой БД», позволяет сгенерировать внешние таблицы или представления;
• Имя целевой таблицы.

Так как предполагается полная загрузка данных, выбрать опцию «Очистить перед выполнением». Этот режим обеспечит полное обновление данных в целевой таблице при каждом запуске команды на выполнение.

Опция «Делать бэкап» позволяет перед выполнением команды создавать резервную копию таблицы назначения.

Шаг 2: Создание запроса

Для создания запроса к справочнику 1С, необходимо нажать «Создать». В окне создания запроса, в дереве объектов 1С необходимо найти нужный справочник — «Номенклатура», отметить его и нажать «Сформировать запрос». При этом система по умолчанию работает в режиме формирования запросов на языке 1С. Если необходим запрос на языке SQL, то можно перейти в соответствующий режим. Система автоматически сгенерирует запрос на языке SQL.

При необходимости запрос может быть скорректирован, однако требуется опыт работы с запросами на языке 1С и уточнение из документации поддерживаемых инструкций языка 1С.

После создания запроса выполнить проверку запроса. На этом этапе выполняется расчет параметров, входящих в запрос, если таковые есть. Затем нажать кнопку «Выполнить». В зоне предварительного просмотра, оценить полученные данные. Для сохранения запроса нажать «Ок».

Указать размер пакета данных.

Нажать «Сохранить». На этом процесс создания команды завершен. В списке появилась новая команда.

Шаг 3: Запуск команды

Запуск команды на выполнение осуществляется через меню «Профили» раздела «Staging».

Выбрать профиль, который был указан при настройке команды, убедиться что у интересующей команды «Состояние» в режиме активно, нажать «Загрузить».

Шаг 4: Проверка корректности загрузки

Чтобы убедиться что данные появились в целевой системе, нужно перейти в раздел «Данные», выбрать подключение к назначению — Greenplum, найти созданную таблицу, выделить её и нажать «Сформировать запрос». После нажать «Выполнить» и убедиться, что данные получены.

Настроенная команда может запускаться на периодической основе, как в ручном режиме через веб-интерфейс, так и с помощью оркестратора. Результатом работы команды будет следующий сценарий:

• удаление данных из целевой таблицы;
• загрузка всех данных из документа.

На этом задача полной загрузки справочника из 1С в Greenplum выполнена.