Загрузка регистра по скользящему окну из 1C в Greenplum

Одной из наиболее распространенных задач является организация извлечения и доставки данных по скользящему окну из источника получателю, без каких либо условий и предварительных преобразований.

Будет продемонстрирована загрузка регистра сведений «Активация Подарочных Сертификатов» по скользящему окну, из 1С в базу данных Greenplum.

Шаг 1: Создание команды

В меню выбрать «Staging», «Команды». Выбрать заранее созданную модель — «Тестовая модель GP».

В форме заполнить следующие данные:

• Имя создаваемой команды;
• Описание команды;
• Указать профиль;
• Модель — заполняется автоматически;
• Домен — заполняется автоматически;
• Источник данных — подключение предварительно было настроено. Источником данных в примере является база данных 1С;
• Целевая система — подключение предварительно было настроено;
• Слой данных — устанавливается автоматически, из ранее выполненных настроек модели данных;
• Опция «Загрузка через Data Lake», позволяет использовать промежуточное хранилище при загрузке данных;
• Опция «Материализация представлений в целевой БД», позволяет сгенерировать внешние таблицы или представления;
• Имя целевой таблицы.

Так как рассматривается загрузка по скользящему окну и секционированное хранение данных, выбирать опцию «Очистить перед выполнением команды» не нужно.

Опция «Делать бэкап» позволяет перед выполнением команды создавать резервную копию таблицы назначения.

Шаг 2: Создание запроса

Для создания запроса к регистру сведений 1С, нажать «Создать». В окне создания запроса, в дереве объектов 1С, найти нужный регистр сведений, отметить его и нажать «Сформировать запрос». Система по умолчанию работает в режиме формирования запросов на языке 1С. Для запроса на языке SQL, можно перейти в соответствующий режим. Система автоматически сгенерирует запрос на языке SQL.

При необходимости сформированный запрос может быть скорректирован.

После создания запроса выполнить проверку запроса. На этом этапе выполняется расчет параметров, входящих в запрос, если таковые есть. Затем нажать «Выполнить». В зоне предварительного просмотра, оценить полученные данные. Для сохранения запроса нажать «Ок».

Указать размер пакета данных.

Шаг 3: Настройка секционирования

Для настройки секционирования, включить опцию «Использовать секции».

Выбрать схему секционирования.  Значение выбирается из созданных схем в разделе «Секции».

Далее выбрать поле секции. Система, на основе выбранной схемы секционирования предлагает список полей, по которым может быть выполнено секционирование.

Выбрать опцию «Автоматическое определение секций». Данная опция включает те секции, для которых данные существуют в источнике и выключает те, для которых данных в источнике нет.

В параметрах сборки доступен выбор левой и правой границы секций. Если не указывать значения границ, то система обращается к источнику и сканирует всю таблицу, чтобы найти левую и правую границы и по ним сгенерировать секции.

Опция «Режим пересоздания секций», загружает данные не в основную таблицу, а в промежуточную. Затем из промежуточной таблицы, данные вщёлкиваются в основную.

Нажать «Сохранить». На этом процесс создания команды завершен. В списке появилась новая команда.

Шаг 4: Запуск команды

Запуск команды на выполнение осуществляется через меню «Профили» раздела «Staging».

Нужно выбрать профиль, который был указан при настройке команды, убедиться что у интересующей команды «Состояние» в режиме активно, нажать «Загрузить».

Шаг 5: Проверка корректности загрузки

Чтобы убедиться что данные появились в целевой системе, нужно перейти в раздел «Данные», выбрать подключение к назначению — Greenplum, найти созданную таблицу, выделить её и нажать «Сформировать запрос». После нажать «Выполнить» и убедиться, что данные получены.

Настроенная команда может запускаться на периодической основе, как в ручном режиме через веб-интерфейс, так и с помощью оркестратора. Результатом работы команды будет следующий сценарий:

• Загрузка данных в систему назначения во временные таблицы;
• Переключение секций с данными из временной таблицы в таблицу назначения согласно схеме секционирования

На этом задача загрузки регистра сведений по скользящему окну, из 1С в Greenplum выполнена.