настройки сервера query_*

Эти настройки относятся к серверу ClickHouse и автоматически генерируются на основе исходного кода ClickHouse.

query_cache

Конфигурация кэша запросов. Доступны следующие настройки:

Настройка	Описание	Значение по умолчанию
`max_entries`	Максимальное количество результатов запросов `SELECT`, хранящихся в кэше.	`1024`
`max_entry_size_in_bytes`	Максимальный размер в байтах, который могут иметь результаты запросов `SELECT` для сохранения в кэше.	`1048576`
`max_entry_size_in_rows`	Максимальное количество строк, которое могут содержать результаты запросов `SELECT` для сохранения в кэше.	`30000000`
`max_size_in_bytes`	Максимальный размер кэша в байтах. `0` означает, что кэш запросов отключён.	`1073741824`

Изменённые настройки вступают в силу немедленно.
Для кэша запросов память выделяется в DRAM. Если оперативной памяти недостаточно, задайте небольшое значение max_size_in_bytes или полностью отключите кэш запросов.

Пример

<query_cache>
    <max_size_in_bytes>1073741824</max_size_in_bytes>
    <max_entries>1024</max_entries>
    <max_entry_size_in_bytes>1048576</max_entry_size_in_bytes>
    <max_entry_size_in_rows>30000000</max_entry_size_in_rows>
</query_cache>

query_log

Настройка логирования запросов, полученных с параметром log_queries=1. Запросы записываются в таблицу system.query_log, а не в отдельный файл. Имя таблицы можно изменить в параметре table (см. ниже). Следующие настройки можно задать с помощью вложенных тегов:

Настройка	Описание	По умолчанию	Примечание
`database`	Имя базы данных.
`table`	Имя системной таблицы.
`engine`	Определение движка MergeTree для системной таблицы.		Нельзя использовать, если заданы `partition_by` или `order_by`. Если не указано, по умолчанию выбирается `MergeTree`
`partition_by`	Пользовательский ключ партиционирования для системной таблицы.		Если для системной таблицы указан `engine`, параметр `partition_by` следует задавать непосредственно внутри ‘engine’
`ttl`	Задаёт TTL таблицы.		Если для системной таблицы указан `engine`, параметр `ttl` следует задавать непосредственно внутри ‘engine’
`order_by`	Пользовательский ключ сортировки для системной таблицы. Нельзя использовать, если задан `engine`.		Если для системной таблицы указан `engine`, параметр `order_by` следует задавать непосредственно внутри ‘engine’
`storage_policy`	Имя политики хранения, которую следует использовать для таблицы (необязательно).		Если для системной таблицы указан `engine`, параметр `storage_policy` следует задавать непосредственно внутри ‘engine’
`settings`	Дополнительные параметры, управляющие поведением MergeTree (необязательно).		Если для системной таблицы указан `engine`, параметр `settings` следует задавать непосредственно внутри ‘engine’
`flush_interval_milliseconds`	Интервал сброса данных из буфера в памяти в таблицу.	`7500`
`max_size_rows`	Максимальный размер журналов в строках. Когда количество журналов, не сброшенных на диск, достигает max_size, журналы сбрасываются на диск.	`1048576`
`reserved_size_rows`	Предварительно выделенный объём памяти в строках для журналов.	`8192`
`buffer_size_rows_flush_threshold`	Пороговое количество строк. Если порог достигнут, сброс журналов на диск запускается в фоновом режиме.	`max_size_rows / 2`
`flush_on_crash`	Определяет, нужно ли сбрасывать журналы на диск в случае сбоя.	`false`

Кроме того, следующая настройка на уровне сервера управляет политикой сброса по умолчанию для всех таблиц системных логов:

<default_system_log_flush_policy>
    <skip_alias_columns>true</skip_alias_columns>
</default_system_log_flush_policy>

Настройка	Описание	По умолчанию
`skip_alias_columns`	Если `true`, столбцы ALIAS исключаются из схем таблиц системных журналов. Требуется для системных журналов, использующих S3.	`false`

Параметр enable_user_query_log (включён по умолчанию) создаёт system.user_query_log, которая позволяет каждому пользователю просматривать собственные записи в настроенной таблице журнала запросов без доступа к самой таблице. Это работает только при локальном хранении журнала запросов: если engine передаёт работу другому серверу (например, Distributed), отключите enable_user_query_log, поскольку system.user_query_log не может выполнять проверку прав доступа для каждого пользователя через границу сервера, работающего по протоколу ClickHouse, и отказывается читать из такого backend-соединения. Если таблица не существует, ClickHouse создаст её. Если при обновлении сервера ClickHouse изменилась структура журнала запросов, таблица со старой структурой переименовывается, а новая таблица создаётся автоматически. Пример

<query_log>
    <database>system</database>
    <table>query_log</table>
    <engine>Engine = MergeTree PARTITION BY event_date ORDER BY event_time TTL event_date + INTERVAL 30 day</engine>
    <flush_interval_milliseconds>7500</flush_interval_milliseconds>
    <max_size_rows>1048576</max_size_rows>
    <reserved_size_rows>8192</reserved_size_rows>
    <buffer_size_rows_flush_threshold>524288</buffer_size_rows_flush_threshold>
    <flush_on_crash>false</flush_on_crash>
    <enable_user_query_log>true</enable_user_query_log>
</query_log>

query_masking_rules

Правила на основе Regexp, которые применяются к запросам, а также ко всем сообщениям лога перед их сохранением в серверном журнале, таблицах system.query_log, system.text_log, system.processes, а также в журналах, отправляемых клиенту. Это позволяет предотвратить утечку в журналы конфиденциальных данных из SQL-запросов, таких как имена, адреса электронной почты, персональные идентификаторы или номера кредитных карт. Пример

<query_masking_rules>
    <rule>
        <name>hide SSN</name>
        <regexp>(^|\D)\d{3}-\d{2}-\d{4}($|\D)</regexp>
        <replace>000-00-0000</replace>
    </rule>
</query_masking_rules>

Поля config:

Параметр	Описание
`name`	имя правила (необязательно)
`regexp`	регулярное выражение, совместимое с RE2 (обязательно)
`replace`	строка подстановки для конфиденциальных данных (необязательно, по умолчанию — шесть звёздочек)

Правила маскирования применяются ко всему запросу (чтобы предотвратить утечки конфиденциальных данных из некорректно сформированных / неразбираемых запросов). В таблице system.events есть Counter QueryMaskingRulesMatch, который показывает общее количество срабатываний правил маскирования запросов. Для распределённых запросов каждый server нужно настраивать отдельно, иначе подзапросы, передаваемые на другие узлы, будут сохраняться без маскирования.

query_metric_log

По умолчанию журнал отключён. Включение Чтобы вручную включить сбор истории метрик system.query_metric_log, создайте файл /etc/clickhouse-server/config.d/query_metric_log.xml со следующим содержимым:

<clickhouse>
    <query_metric_log>
        <database>system</database>
        <table>query_metric_log</table>
        <flush_interval_milliseconds>7500</flush_interval_milliseconds>
        <collect_interval_milliseconds>1000</collect_interval_milliseconds>
        <max_size_rows>1048576</max_size_rows>
        <reserved_size_rows>8192</reserved_size_rows>
        <buffer_size_rows_flush_threshold>524288</buffer_size_rows_flush_threshold>
        <flush_on_crash>false</flush_on_crash>
    </query_metric_log>
</clickhouse>

Отключение Чтобы отключить настройку query_metric_log, создайте файл /etc/clickhouse-server/config.d/disable_query_metric_log.xml со следующим содержимым:

<clickhouse>
    <query_metric_log remove="1" />
</clickhouse>

Следующие настройки можно задать с помощью вложенных тегов:

Настройка	Описание	По умолчанию	Примечание
`database`	Имя базы данных.
`table`	Имя системной таблицы.
`engine`	Определение движка MergeTree для системной таблицы.		Нельзя использовать, если заданы `partition_by` или `order_by`. Если не указано, по умолчанию выбирается `MergeTree`
`partition_by`	Пользовательский ключ партиционирования для системной таблицы.		Если для системной таблицы указан `engine`, параметр `partition_by` следует задавать непосредственно внутри ‘engine’
`ttl`	Задаёт TTL таблицы.		Если для системной таблицы указан `engine`, параметр `ttl` следует задавать непосредственно внутри ‘engine’
`order_by`	Пользовательский ключ сортировки для системной таблицы. Нельзя использовать, если задан `engine`.		Если для системной таблицы указан `engine`, параметр `order_by` следует задавать непосредственно внутри ‘engine’
`storage_policy`	Имя политики хранения, которую следует использовать для таблицы (необязательно).		Если для системной таблицы указан `engine`, параметр `storage_policy` следует задавать непосредственно внутри ‘engine’
`settings`	Дополнительные параметры, управляющие поведением MergeTree (необязательно).		Если для системной таблицы указан `engine`, параметр `settings` следует задавать непосредственно внутри ‘engine’
`flush_interval_milliseconds`	Интервал сброса данных из буфера в памяти в таблицу.	`7500`
`max_size_rows`	Максимальный размер журналов в строках. Когда количество журналов, не сброшенных на диск, достигает max_size, журналы сбрасываются на диск.	`1048576`
`reserved_size_rows`	Предварительно выделенный объём памяти в строках для журналов.	`8192`
`buffer_size_rows_flush_threshold`	Пороговое количество строк. Если порог достигнут, сброс журналов на диск запускается в фоновом режиме.	`max_size_rows / 2`
`flush_on_crash`	Определяет, нужно ли сбрасывать журналы на диск в случае сбоя.	`false`

<default_system_log_flush_policy>
    <skip_alias_columns>true</skip_alias_columns>
</default_system_log_flush_policy>

Настройка	Описание	По умолчанию
`skip_alias_columns`	Если `true`, столбцы ALIAS исключаются из схем таблиц системных журналов. Требуется для системных журналов, использующих S3.	`false`

query_thread_log

Настройка для логирования потоков запросов, полученных с параметром log_query_threads=1. Запросы записываются в таблицу system.query_thread_log, а не в отдельный файл. Имя таблицы можно изменить в параметре table (см. ниже). Следующие настройки можно задать с помощью вложенных тегов:

Настройка	Описание	По умолчанию	Примечание
`database`	Имя базы данных.
`table`	Имя системной таблицы.
`engine`	Определение движка MergeTree для системной таблицы.		Нельзя использовать, если заданы `partition_by` или `order_by`. Если не указано, по умолчанию выбирается `MergeTree`
`partition_by`	Пользовательский ключ партиционирования для системной таблицы.		Если для системной таблицы указан `engine`, параметр `partition_by` следует задавать непосредственно внутри ‘engine’
`ttl`	Задаёт TTL таблицы.		Если для системной таблицы указан `engine`, параметр `ttl` следует задавать непосредственно внутри ‘engine’
`order_by`	Пользовательский ключ сортировки для системной таблицы. Нельзя использовать, если задан `engine`.		Если для системной таблицы указан `engine`, параметр `order_by` следует задавать непосредственно внутри ‘engine’
`storage_policy`	Имя политики хранения, которую следует использовать для таблицы (необязательно).		Если для системной таблицы указан `engine`, параметр `storage_policy` следует задавать непосредственно внутри ‘engine’
`settings`	Дополнительные параметры, управляющие поведением MergeTree (необязательно).		Если для системной таблицы указан `engine`, параметр `settings` следует задавать непосредственно внутри ‘engine’
`flush_interval_milliseconds`	Интервал сброса данных из буфера в памяти в таблицу.	`7500`
`max_size_rows`	Максимальный размер журналов в строках. Когда количество журналов, не сброшенных на диск, достигает max_size, журналы сбрасываются на диск.	`1048576`
`reserved_size_rows`	Предварительно выделенный объём памяти в строках для журналов.	`8192`
`buffer_size_rows_flush_threshold`	Пороговое количество строк. Если порог достигнут, сброс журналов на диск запускается в фоновом режиме.	`max_size_rows / 2`
`flush_on_crash`	Определяет, нужно ли сбрасывать журналы на диск в случае сбоя.	`false`

<default_system_log_flush_policy>
    <skip_alias_columns>true</skip_alias_columns>
</default_system_log_flush_policy>

Настройка	Описание	По умолчанию
`skip_alias_columns`	Если `true`, столбцы ALIAS исключаются из схем таблиц системных журналов. Требуется для системных журналов, использующих S3.	`false`

Если таблица не существует, ClickHouse создаст ее. Если при обновлении сервера ClickHouse структура журнала потоков запросов изменилась, таблица со старой структурой будет переименована, а новая таблица создастся автоматически. Пример

<query_thread_log>
    <database>system</database>
    <table>query_thread_log</table>
    <partition_by>toMonday(event_date)</partition_by>
    <flush_interval_milliseconds>7500</flush_interval_milliseconds>
    <max_size_rows>1048576</max_size_rows>
    <reserved_size_rows>8192</reserved_size_rows>
    <buffer_size_rows_flush_threshold>524288</buffer_size_rows_flush_threshold>
    <flush_on_crash>false</flush_on_crash>
</query_thread_log>

query_views_log

Настройка логирования представлений (live, materialized и т. д.) в зависимости от запросов, полученных при включённой настройке log_query_views=1. Запросы записываются в таблицу system.query_views_log, а не в отдельный файл. Имя таблицы можно изменить в параметре table (см. ниже). Следующие настройки можно задать с помощью вложенных тегов:

Настройка	Описание	По умолчанию	Примечание
`database`	Имя базы данных.
`table`	Имя системной таблицы.
`engine`	Определение движка MergeTree для системной таблицы.		Нельзя использовать, если заданы `partition_by` или `order_by`. Если не указано, по умолчанию выбирается `MergeTree`
`partition_by`	Пользовательский ключ партиционирования для системной таблицы.		Если для системной таблицы указан `engine`, параметр `partition_by` следует задавать непосредственно внутри ‘engine’
`ttl`	Задаёт TTL таблицы.		Если для системной таблицы указан `engine`, параметр `ttl` следует задавать непосредственно внутри ‘engine’
`order_by`	Пользовательский ключ сортировки для системной таблицы. Нельзя использовать, если задан `engine`.		Если для системной таблицы указан `engine`, параметр `order_by` следует задавать непосредственно внутри ‘engine’
`storage_policy`	Имя политики хранения, которую следует использовать для таблицы (необязательно).		Если для системной таблицы указан `engine`, параметр `storage_policy` следует задавать непосредственно внутри ‘engine’
`settings`	Дополнительные параметры, управляющие поведением MergeTree (необязательно).		Если для системной таблицы указан `engine`, параметр `settings` следует задавать непосредственно внутри ‘engine’
`flush_interval_milliseconds`	Интервал сброса данных из буфера в памяти в таблицу.	`7500`
`max_size_rows`	Максимальный размер журналов в строках. Когда количество журналов, не сброшенных на диск, достигает max_size, журналы сбрасываются на диск.	`1048576`
`reserved_size_rows`	Предварительно выделенный объём памяти в строках для журналов.	`8192`
`buffer_size_rows_flush_threshold`	Пороговое количество строк. Если порог достигнут, сброс журналов на диск запускается в фоновом режиме.	`max_size_rows / 2`
`flush_on_crash`	Определяет, нужно ли сбрасывать журналы на диск в случае сбоя.	`false`

<default_system_log_flush_policy>
    <skip_alias_columns>true</skip_alias_columns>
</default_system_log_flush_policy>

Настройка	Описание	По умолчанию
`skip_alias_columns`	Если `true`, столбцы ALIAS исключаются из схем таблиц системных журналов. Требуется для системных журналов, использующих S3.	`false`

Если таблица не существует, ClickHouse создаст её. Если при обновлении сервер ClickHouse изменилась структура журнала представлений запросов, таблица со старой структурой будет переименована, а новая таблица создастся автоматически. Пример

<query_views_log>
    <database>system</database>
    <table>query_views_log</table>
    <partition_by>toYYYYMM(event_date)</partition_by>
    <flush_interval_milliseconds>7500</flush_interval_milliseconds>
    <max_size_rows>1048576</max_size_rows>
    <reserved_size_rows>8192</reserved_size_rows>
    <buffer_size_rows_flush_threshold>524288</buffer_size_rows_flush_threshold>
    <flush_on_crash>false</flush_on_crash>
</query_views_log>

Справочник по SQL

Типы данных

Движки

Функции

Форматы