Таблица 1 Параметры задания, когда Elasticsearch или CSS является источником
Категория
Параметр
Описание
Пример значения
Базовые параметры
Индекс
Индекс Elasticsearch, который аналогичен имени реляционной базы данных. Имя индекса может содержать только строчные буквы.
индекс
Тип
Тип Elasticsearch, который аналогичен имени таблицы реляционной базы данных. Имя типа может содержать только строчные буквы.
NOTE:
Elasticsearch 7.x и более поздние версии не поддерживают пользовательские типы. Вместо этого только _doc тип может использоваться. В этом случае этот параметр не действует, даже если он установлен.
_doc
Продвинутые атрибуты
Разделить вложенное поле
(Optional) Нужно ли разделять JSON‑содержимое вложенных полей. Для примера, a:{ b:{ c:1, d:{ e:2, f:3 } } } может быть разделено на a.b.c, a.b.d.e, и a.b.d.f.
Нет
Условия фильтрации
(Optional) CDM мигрирует только данные, которые соответствуют условиям фильтра.
В настоящее время только строка запроса (q syntax) Elasticsearch может использоваться для фильтрации исходных данных. q syntax используется следующим образом:
При точном совпадении, столбец:данные формат используется для сопоставления и фильтрации данных. столбец указывает имя поля, и данные указывает условие запроса, например, last_name:Smith.
Кроме того, если данные является строкой, содержащей пробелы, её необходимо заключать в двойные кавычки. Если столбец не указано, все поля будут сопоставлены с помощью данные.
Несколько условий запросов могут быть объединены с помощью слов-соединителей. Формат: столбец1:данные1 ANDcolumn2:data2. Слова-соединители могут быть AND, OR, или NOT. Они должны быть в верхнем регистре, и между каждым словом-соединителем должны быть пробелы до и после.
Пример: first_name:Alec AND last_name:John
При сопоставлении диапазонов вы можете напрямую использовать условное выражение для фильтрации данных. Выражение находится в столбце:>данных формате. Оператор может быть >, >=, <, или <=.
Пример: time:>=1636905600000 AND time:<1637078400000. Его также можно использовать вместе с макропеременной даты и времени, например, createTime:>=${timestamp(dateformat(yyyyMMdd,-1,DAY))} AND createTime:< ${timestamp(dateformat(yyyyMMdd))}.
При сопоставлении диапазонов вы также можете использовать синтаксис диапазона для фильтрации данных. Формат: столбец:{данные1 TO данные2}. { и } указывают, что значение не включено. [ и ] указывают, что значение включено. TO должен быть написан заглавными буквами, и перед ним и после него должен быть пробел. * указывает все данные.
Например, time:{1636992000000 TO *] фильтрует все данные, превышающие 1636992000000 в время поле. Его также можно использовать вместе с макрос переменной даты и времени, например, createTime:[${timestamp(dateformat(yyyyMMdd,-1,DAY))} TO ${timestamp(dateformat(yyyyMMdd))}}.
Исходные данные нельзя фильтровать с помощью языка запросов, специфичного для домена (DSL) Elasticsearch.
last_name:Smith
Извлечь Meta-field
Определяет, извлекать ли метаполя индекса. Например, _index, _type, _id и _score.
Да
Размер страницы
Размер страницы Elasticsearch
1000
ScrollId Time Out
Во время scroll‑запроса с использованием Elasticsearch, a scroll_id записывается. Когда запрос истекает или завершается, записанное srcoll_id будет очищено. Вы можете установить этот параметр, чтобы указать длительность тайм‑аута.