Источники словаря

Синтаксис

Если вы используете словарь в ClickHouse Cloud, для создания словарей используйте вариант с DDL-запросом, а сам словарь создавайте от имени пользователя default. Также проверьте список поддерживаемых источников для словарей в руководстве по совместимости с Cloud.

Словарь можно подключить к ClickHouse из самых разных источников. Источник задаётся в разделе source файла конфигурации и с помощью предложения SOURCE в DDL-операторе.

DDL
файл конфигурации

CREATE DICTIONARY dict_name (...)
...
SOURCE(SOURCE_TYPE(param1 val1 ... paramN valN)) -- Конфигурация источника
...

<clickhouse>
  <dictionary>
    ...
    <source>
      <source_type>
        <!-- Конфигурация источника -->
      </source_type>
    </source>
    ...
  </dictionary>
  ...
</clickhouse>

Поддерживаемые источники словаря

Доступны следующие типы источников (SOURCE_TYPE/source_type):

Локальный файл
Исполняемый файл
Executable Pool
HTTP(S)
СУБД
- ODBC
- MySQL
- ClickHouse
- MongoDB
- Redis
- Cassandra
- PostgreSQL
- YTsaurus
YAMLRegExpTree
Null

Для типов источников Локальный файл, Исполняемый файл, HTTP(s), ClickHouse можно использовать дополнительные настройки:

DDL
Файл конфигурации

SOURCE(FILE(path './user_files/os.tsv' format 'TabSeparated'))
SETTINGS(format_csv_allow_single_quotes = 0)

<source>
  <file>
    <path>/opt/dictionaries/os.tsv</path>
    <format>TabSeparated</format>
  </file>
  <settings>
      <format_csv_allow_single_quotes>0</format_csv_allow_single_quotes>
  </settings>
</source>

Порядок столбцов в пользовательском запросе

Источники ClickHouse, MySQL, PostgreSQL и ODBC поддерживают поле query, которое заменяет запрос, формируемый ClickHouse по умолчанию на основе table и where. Словарь ожидает столбцы результата в фиксированном порядке, который отличается от порядка атрибутов в операторе CREATE DICTIONARY:

ключевой столбец (или столбцы) в порядке PRIMARY KEY;
для словаря range_hashed или complex_key_range_hashed — столбец range_min, затем столбец range_max;
остальные атрибуты в порядке их объявления.

Источник ClickHouse сопоставляет результат с этим порядком по именам столбцов, поэтому для него порядок столбцов в query не важен, если имя каждого столбца совпадает с именем заполняемого им атрибута. Источники MySQL, PostgreSQL и ODBC берут столбцы по позиции, поэтому если в query для них столбцы расположены в другом порядке, значения загрузятся не в те атрибуты. В зависимости от задействованных типов словарь либо не загрузится из-за ошибки преобразования, либо сохранит неверные значения. Поэтому указывайте столбцы в query в приведённом выше порядке:

CREATE DICTIONARY contracts (
    meter_no String,
    id Int64,
    contract_time Date,
    end_date Date
)
PRIMARY KEY meter_no
-- The key comes first, then the range columns, then the remaining attributes.
SOURCE(POSTGRESQL(... query 'SELECT meter_no, contract_time, end_date, id FROM contracts'))
LAYOUT(RANGE_HASHED())
RANGE(MIN contract_time MAX end_date)
LIFETIME(300)

Справочник по SQL

Типы данных

Движки

Функции

Форматы

Настройки

Системные таблицы

Озера данных

Синтаксис

Поддерживаемые источники словаря

Порядок столбцов в пользовательском запросе