Перейти к основному содержимому
Перейти к основному содержимому

system.processors_profile_log

Выполнение запросов в ClickHouse Cloud

Данные в этой системной таблице хранятся локально на каждом узле в ClickHouse Cloud. Поэтому для получения полного обзора всех данных требуется функция clusterAllReplicas. Подробности см. здесь.

Описание​

Эта таблица содержит профилирующие данные на уровне процессоров (которые можно увидеть в EXPLAIN PIPELINE).

Столбцы​

  • hostname (LowCardinality(String)) — Имя хоста сервера, выполняющего запрос.
  • event_date (Date) — Дата, когда произошло событие.
  • event_time (DateTime) — Дата и время, когда произошло событие.
  • event_time_microseconds (DateTime64(6)) — Дата и время с точностью до микросекунд, когда произошло событие.
  • id (UInt64) — Идентификатор процессора.
  • parent_ids (Array(UInt64)) — Идентификаторы родительских процессоров.
  • plan_step (UInt64) — Идентификатор шага плана запроса, создавшего этот процессор. Значение равно нулю, если процессор не был добавлен ни на одном шаге.
  • plan_step_name (String) — Имя шага плана запроса, создавшего этот процессор. Значение пустое, если процессор не был добавлен ни на одном шаге.
  • plan_step_description (String) — Описание шага плана запроса, создавшего этот процессор. Значение пустое, если процессор не был добавлен ни на одном шаге.
  • plan_group (UInt64) — Группа процессора, если он был создан шагом плана запроса. Группа — это логическое разбиение процессоров, добавленных одним и тем же шагом плана запроса. Используется только для более наглядного отображения результата EXPLAIN PIPELINE.
  • initial_query_id (String) — Идентификатор исходного запроса (для распределённого выполнения запроса).
  • query_id (String) — Идентификатор запроса.
  • name (LowCardinality(String)) — Имя процессора.
  • elapsed_us (UInt64) — Количество микросекунд, в течение которых выполнялся этот процессор.
  • input_wait_elapsed_us (UInt64) — Количество микросекунд, в течение которых этот процессор ожидал данных (от другого процессора).
  • output_wait_elapsed_us (UInt64) — Количество микросекунд, в течение которых этот процессор ожидал, потому что выходной порт был заполнен.
  • input_rows (UInt64) — Количество строк, обработанных процессором.
  • input_bytes (UInt64) — Количество байтов, обработанных процессором.
  • output_rows (UInt64) — Количество строк, созданных процессором.
  • output_bytes (UInt64) — Количество байтов, созданных процессором.
  • processor_uniq_id (String) — Уникальный идентификатор процессора в конвейере.
  • step_uniq_id (String) — Уникальный идентификатор шага в плане.

Пример​

Запрос:

EXPLAIN PIPELINE
SELECT sleep(1)
┌─explain─────────────────────────┐
│ (Expression)                    │
│ ExpressionTransform             │
│   (SettingQuotaAndLimits)       │
│     (ReadFromStorage)           │
│     SourceFromSingleChunk 0 → 1 │
└─────────────────────────────────┘

SELECT sleep(1)
SETTINGS log_processors_profiles = 1
Query id: feb5ed16-1c24-4227-aa54-78c02b3b27d4
┌─sleep(1)─┐
│        0 │
└──────────┘
1 rows in set. Elapsed: 1.018 sec.

SELECT
    name,
    elapsed_us,
    input_wait_elapsed_us,
    output_wait_elapsed_us
FROM system.processors_profile_log
WHERE query_id = 'feb5ed16-1c24-4227-aa54-78c02b3b27d4'
ORDER BY name ASC

Результат:

┌─name────────────────────┬─elapsed_us─┬─input_wait_elapsed_us─┬─output_wait_elapsed_us─┐
│ ExpressionTransform     │    1000497 │                  2823 │                    197 │
│ LazyOutputFormat        │         36 │               1002188 │                      0 │
│ LimitsCheckingTransform │         10 │               1002994 │                    106 │
│ NullSource              │          5 │               1002074 │                      0 │
│ NullSource              │          1 │               1002084 │                      0 │
│ SourceFromSingleChunk   │         45 │                  4736 │                1000819 │
└─────────────────────────┴────────────┴───────────────────────┴────────────────────────┘

Здесь видно, что:

  • ExpressionTransform выполнял функцию sleep(1), поэтому выполнение его work займет 1e6 мкс, и, следовательно, elapsed_us > 1e6.
  • SourceFromSingleChunk должен ждать, потому что ExpressionTransform не принимает данные во время выполнения sleep(1), поэтому он будет в состоянии PortFull в течение 1e6 мкс, и, следовательно, output_wait_elapsed_us > 1e6.
  • LimitsCheckingTransform/NullSource/LazyOutputFormat должны ждать, пока ExpressionTransform выполнит sleep(1), чтобы обработать результат, поэтому input_wait_elapsed_us > 1e6.

См. также​