> ## Documentation Index
> Fetch the complete documentation index at: https://clickhouse.com/docs/llms.txt
> Use this file to discover all available pages before exploring further.

# Полезные запросы для устранения неполадок

> Подборка полезных запросов для диагностики неполадок в ClickHouse, включая мониторинг размеров таблиц, длительно выполняющихся запросов и ошибок.

{frontMatter.description}

<div id="useful-queries-for-troubleshooting">
  ## Полезные запросы для устранения неполадок
</div>

Ниже в произвольном порядке приведены несколько полезных запросов для устранения неполадок в ClickHouse и для понимания того, что происходит.

У нас также есть отличный блог с [важными запросами для мониторинга ClickHouse](https://clickhouse.com/blog/monitoring-troubleshooting-select-queries-clickhouse).

<div id="view-which-settings-have-been-changed-from-the-default">
  ## Посмотрите, какие настройки отличаются от значений по умолчанию
</div>

```sql theme={null}
SELECT
    name,
    value
FROM system.settings
WHERE changed
```

<div id="get-the-size-of-all-your-tables">
  ## Как узнать размер всех ваших таблиц
</div>

```sql theme={null}
SELECT table,
    formatReadableSize(sum(bytes)) as size
    FROM system.parts
    WHERE active
GROUP BY table
```

Результат выглядит так:

```response theme={null}
┌─table───────────┬─size──────┐
│ stat            │ 38.89 MiB │
│ customers       │ 525.00 B  │
│ my_sparse_table │ 40.73 MiB │
│ crypto_prices   │ 32.18 MiB │
│ hackernews      │ 6.23 GiB  │
└─────────────────┴───────────┘
```

<div id="row-count-and-average-day-size-of-your-table">
  ## Количество строк и средний размер таблицы за день
</div>

```sql theme={null}
SELECT
    table,
    formatReadableSize(size) AS size,
    rows,
    days,
    formatReadableSize(avgDaySize) AS avgDaySize
FROM
(
    SELECT
        table,
        sum(bytes) AS size,
        sum(rows) AS rows,
        min(min_date) AS min_date,
        max(max_date) AS max_date,
        max_date - min_date AS days,
        size / (max_date - min_date) AS avgDaySize
    FROM system.parts
    WHERE active
    GROUP BY table
    ORDER BY rows DESC
)
```

<div id="compression-columns-percentage-as-well-as-the-size-of-primary-index-in-memory">
  ## Процент сжатия по столбцам, а также размер основного индекса в памяти
</div>

Вы можете увидеть, насколько сжаты ваши данные по каждому столбцу. Этот запрос также возвращает размер ваших основных индексов в памяти — это полезно знать, потому что основные индексы должны помещаться в памяти.

```sql theme={null}
SELECT
    parts.*,
    columns.compressed_size,
    columns.uncompressed_size,
    columns.compression_ratio,
    columns.compression_percentage
FROM
(
    SELECT
        table,
        formatReadableSize(sum(data_uncompressed_bytes)) AS uncompressed_size,
        formatReadableSize(sum(data_compressed_bytes)) AS compressed_size,
        round(sum(data_compressed_bytes) / sum(data_uncompressed_bytes), 3) AS compression_ratio,
        round(100 - ((sum(data_compressed_bytes) * 100) / sum(data_uncompressed_bytes)), 3) AS compression_percentage
    FROM system.columns
    GROUP BY table
) AS columns
RIGHT JOIN
(
    SELECT
        table,
        sum(rows) AS rows,
        max(modification_time) AS latest_modification,
        formatReadableSize(sum(bytes)) AS disk_size,
        formatReadableSize(sum(primary_key_bytes_in_memory)) AS primary_keys_size,
        any(engine) AS engine,
        sum(bytes) AS bytes_size
    FROM system.parts
    WHERE active
    GROUP BY
        database,
        table
) AS parts ON columns.table = parts.table
ORDER BY parts.bytes_size DESC
```

<div id="number-of-queries-sent-by-client-in-the-last-10-minutes">
  ## Количество запросов от клиента за последние 10 минут
</div>

При необходимости увеличьте или уменьшите временной интервал в функции `toIntervalMinute(10)`:

```sql theme={null}
SELECT
    client_name,
    count(),
    query_kind,
    toStartOfMinute(event_time) AS event_time_m
FROM system.query_log
WHERE (type = 'QueryStart') AND (event_time > (now() - toIntervalMinute(10)))
GROUP BY
    event_time_m,
    client_name,
    query_kind
ORDER BY
    event_time_m DESC,
    count() ASC
```

<div id="number-of-parts-in-each-partition">
  ## Количество частей в каждой партиции
</div>

```sql theme={null}
SELECT
    concat(database, '.', table),
    partition_id,
    count()
FROM system.parts
WHERE active
GROUP BY
    database,
    table,
    partition_id
```

<div id="finding-long-running-queries">
  ## Поиск долго выполняющихся запросов
</div>

Это поможет найти зависшие запросы:

```sql theme={null}
SELECT
    elapsed,
    initial_user,
    client_name,
    hostname(),
    query_id,
    query
FROM clusterAllReplicas(default, system.processes)
ORDER BY elapsed DESC
```

Используя Query id самого долгого запроса, можно получить трассировку стека, которая поможет при отладке.

```
SET allow_introspection_functions=1;

SELECT
    arrayStringConcat(
        arrayMap(
            x,
            y -> concat(x, ': ', y),
            arrayMap(x -> addressToLine(x), trace),
            arrayMap(x -> demangle(addressToSymbol(x)), trace)
        ),
        '\n'
    ) as trace
FROM
    system.stack_trace
WHERE
    query_id = '0bb6e88b-9b9a-4ffc-b612-5746c859e360';
```

<div id="view-the-most-recent-errors">
  ## Последние ошибки
</div>

```
SELECT *
FROM system.errors
ORDER BY last_error_time DESC
```

Ответ выглядит так:

```response theme={null}
┌─name──────────────────┬─code─┬─value─┬─────last_error_time─┬─last_error_message──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┬─last_error_trace─┬─remote─┐
│ UNKNOWN_TABLE         │   60 │     3 │ 2023-03-14 01:02:35 │ Table system.stack_trace doesn't exist                                                                                                              │ []               │      0 │
│ BAD_GET               │  170 │     1 │ 2023-03-14 00:58:55 │ Requested cluster 'default' not found                                                                                                               │ []               │      0 │
│ UNKNOWN_IDENTIFIER    │   47 │     1 │ 2023-03-14 00:49:12 │ Missing columns: 'parts.table' 'table' while processing query: 'table = parts.table', required columns: 'table' 'parts.table' 'table' 'parts.table' │ []               │      0 │
│ NO_ELEMENTS_IN_CONFIG │  139 │     2 │ 2023-03-14 00:42:11 │ Certificate file is not set.                                                                                                                        │ []               │      0 │
└───────────────────────┴──────┴───────┴─────────────────────┴─────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┴──────────────────┴────────┘
```

<div id="top-10-queries-that-are-using-the-most-cpu-and-memory">
  ## Топ-10 запросов с наибольшим потреблением CPU и памяти
</div>

```sql theme={null}
SELECT
    type,
    event_time,
    initial_query_id,
    formatReadableSize(memory_usage) AS memory,
    `ProfileEvents.Values`[indexOf(`ProfileEvents.Names`, 'UserTimeMicroseconds')] AS userCPU,
    `ProfileEvents.Values`[indexOf(`ProfileEvents.Names`, 'SystemTimeMicroseconds')] AS systemCPU,
    normalizedQueryHash(query) AS normalized_query_hash
FROM system.query_log
ORDER BY memory_usage DESC
LIMIT 10
```

<Note>
  Один запрос может записываться как несколько строк с разными значениями `query_id` — вторичные распределённые запросы и внутренние шаги представления имеют `is_initial_query = 0`. Отфильтруйте по `is_initial_query = 1` (или `query_id = initial_query_id`), чтобы увидеть запросы в том виде, в котором они были отправлены. Обратите внимание: внутренние значения `query_id`, которые назначает ClickHouse, могут включать метку вроде `queryView...`. Подробнее см. в [справочнике `query_log`](/docs/ru/reference/system-tables/query_log).
</Note>

<div id="how-much-disk-space-are-my-projection-using">
  ## Сколько места на диске занимают мои проекции
</div>

```sql theme={null}
SELECT
    name,
    parent_name,
    formatReadableSize(bytes_on_disk) AS bytes,
    formatReadableSize(parent_bytes_on_disk) AS parent_bytes,
    bytes_on_disk / parent_bytes_on_disk AS ratio
FROM system.projection_parts
```

<div id="show-disk-storage-number-of-parts-number-of-rows-in-systemparts-and-marks-across-databases">
  ## Показать объём дискового хранилища, количество частей, строк в system.parts и marks по базам данных
</div>

```sql theme={null}
SELECT
    database,
    table,
    partition,
    count() AS parts,
    formatReadableSize(sum(bytes_on_disk)) AS bytes_on_disk,
    formatReadableQuantity(sum(rows)) AS rows,
    sum(marks) AS marks
FROM system.parts
WHERE (database != 'system') AND active
GROUP BY
    database,
    table,
    partition
ORDER BY database ASC
```

<div id="list-details-of-recently-written-new-parts">
  ## Подробные сведения о недавно записанных новых частях
</div>

Эти сведения включают время создания, размер, количество строк и многое другое:

```sql theme={null}
SELECT
    modification_time,
    rows,
    formatReadableSize(bytes_on_disk),
    *
FROM clusterAllReplicas(default, system.parts)
WHERE (database = 'default') AND active AND (level = 0)
ORDER BY modification_time DESC
LIMIT 100
```

<div id="cluster-wide-monitoring-queries">
  ## Запросы для мониторинга всего кластера
</div>

Следующие запросы полезны для мониторинга кластеров ClickHouse. Они используют `clusterAllReplicas()` для агрегации данных по всем узлам.

<Note>
  В этих запросах предполагается, что ваш кластер называется `default`. Если у вашего кластера другое имя, замените `'default'` и `default` на фактическое имя вашего кластера.
</Note>

<div id="avg-new-parts-per-minute-and-second">
  ### Среднее число новых частей в минуту и в секунду (за последний час)
</div>

```sql theme={null}
WITH
    PER_MINUTE AS
    (
    SELECT
        toStartOfInterval(modification_time, toIntervalMinute(1)) AS t,
        count() AS new_part_count
    FROM
        clusterAllReplicas(default, merge(system, '^parts'))
    WHERE
        (database = 'default') AND
        (table = 'your_table') AND
        (active = true) AND
        (level = 0) AND
        (modification_time >= (now() - toIntervalHour(1)))
    GROUP BY
        t
    ORDER BY
        t ASC
    SETTINGS skip_unavailable_shards = 1
    )
SELECT
    AVG(new_part_count) AS new_parts_per_minute,
    new_parts_per_minute / 60 AS new_parts_per_second
FROM
    PER_MINUTE
```

Замените `'your_table'` на реальное имя таблицы, которую вы хотите отслеживать.

<div id="cpu-and-memory-intensive-queries-cluster-wide">
  ### Запросы с высокой нагрузкой на CPU и память (по всему кластеру)
</div>

```sql theme={null}
SELECT
    type,
    event_time,
    initial_query_id,
    formatReadableSize(memory_usage) AS memory,
    `ProfileEvents.Values`[indexOf(`ProfileEvents.Names`, 'UserTimeMicroseconds')] AS userCPU,
    `ProfileEvents.Values`[indexOf(`ProfileEvents.Names`, 'SystemTimeMicroseconds')] AS systemCPU,
    normalizedQueryHash(query) AS normalized_query_hash
FROM clusterAllReplicas(default, merge(system, '^query_log'))
ORDER BY memory_usage DESC
LIMIT 10
```

<div id="merges-in-progress-with-eta">
  ### Текущие слияния с расчетным временем завершения
</div>

Этот запрос показывает слияния, которые сейчас выполняются в кластере, с расчетным временем до завершения:

```sql theme={null}
SELECT
    hostName(),
    database,
    table,
    round(elapsed, 0) AS elapsed_seconds,
    round(progress, 4) AS progress_ratio,
    formatReadableTimeDelta((elapsed / progress) - elapsed) AS estimated_time_remaining,
    num_parts,
    result_part_name
FROM clusterAllReplicas(default, merge(system, '^merges'))
ORDER BY (elapsed / progress) - elapsed ASC
```

<div id="most-common-queries-by-normalized-hash">
  ### Наиболее частые запросы по нормализованному хешу
</div>

Найдите запросы, которые выполняются чаще всего (это полезно для выявления запросов, которые следует оптимизировать):

```sql theme={null}
SELECT
    normalizedQueryHash(query) AS query_hash,
    count() AS execution_count,
    any(query) AS example_query
FROM clusterAllReplicas(default, merge(system, '^query_log'))
WHERE event_date >= today() - 1
GROUP BY normalizedQueryHash(query)
ORDER BY execution_count DESC
LIMIT 20
```

<div id="error-counts-by-event-type-and-date">
  ### Количество ошибок по типу события и дате
</div>

Проанализируйте ошибки создания частей во всём кластере:

```sql theme={null}
SELECT
    event_date,
    event_type,
    table,
    error,
    COUNT() AS error_count
FROM clusterAllReplicas(default, merge(system, '^part_log'))
WHERE database = 'default'
GROUP BY
    event_date,
    event_type,
    error,
    table
ORDER BY
    event_date DESC,
    error_count DESC
```

<div id="number-of-tables-by-node">
  ### Количество таблиц по узлам
</div>

Проверьте распределение таблиц по узлам кластера:

```sql theme={null}
SELECT
    hostName() AS host,
    count() AS table_count
FROM clusterAllReplicas('default', merge(system, '^tables'))
WHERE database = 'default'
GROUP BY hostName()
ORDER BY table_count DESC
```

<div id="check-for-async-insert-operations">
  ### Проверка операций async insert
</div>

Отслеживайте активность операций async insert:

```sql theme={null}
SELECT
    event_date,
    count() AS total_count,
    sum(if(query LIKE '%async%', 1, 0)) AS async_count,
    sum(if(query LIKE '%INSERT%', 1, 0)) AS insert_count
FROM clusterAllReplicas(default, merge(system, '^query_log'))
WHERE event_date >= today() - 7
GROUP BY event_date
ORDER BY event_date DESC
```

<div id="parts-and-merges-analysis">
  ## Анализ частей и слияний
</div>

<div id="currently-active-parts-by-table">
  ### Текущие активные части по таблицам
</div>

Посмотрите количество активных частей для каждой таблицы по всему кластеру:

```sql theme={null}
SELECT
    database,
    table,
    count() AS part_count,
    formatReadableSize(sum(bytes_on_disk)) AS total_size
FROM clusterAllReplicas(default, system.parts)
WHERE active = 1 AND database = 'default'
GROUP BY database, table
ORDER BY part_count DESC
```

<div id="partitions-with-too-many-parts">
  ### Партиции, в которых слишком много частей
</div>

Найдите партиции, в которых может быть слишком много частей (это может повлиять на производительность запросов):

```sql theme={null}
SELECT
    database,
    table,
    partition,
    count() AS part_count,
    formatReadableSize(sum(bytes_on_disk)) AS total_size
FROM clusterAllReplicas(default, system.parts)
WHERE active = 1
GROUP BY database, table, partition
HAVING part_count > 100
ORDER BY part_count DESC
```

<div id="detached-parts">
  ### Отсоединённые части
</div>

Проверьте, есть ли отсоединённые части, которые могут потребовать изучения:

```sql theme={null}
SELECT
    database,
    table,
    partition_id,
    name,
    reason,
    count()
FROM clusterAllReplicas(default, system.detached_parts)
GROUP BY database, table, partition_id, name, reason
ORDER BY database, table
```

<div id="system-information-queries">
  ## Запросы для получения системной информации
</div>

<div id="cluster-wide-memory-usage-by-node">
  ### Использование памяти на узлах кластера
</div>

Отслеживайте использование памяти на всех узлах:

```sql theme={null}
SELECT
    hostName() AS host,
    formatReadableSize(max(memory_usage)) AS peak_memory,
    formatReadableSize(avg(memory_usage)) AS avg_memory,
    formatReadableSize(min(memory_usage)) AS min_memory
FROM clusterAllReplicas(default, merge(system, '^query_log'))
WHERE event_date >= today() - 1
GROUP BY hostName()
ORDER BY peak_memory DESC
```

<div id="running-queries-on-the-cluster">
  ### Выполнение запросов в кластере
</div>

Проверьте, какие запросы выполняются в данный момент:

```sql theme={null}
SELECT
    hostName() AS host,
    initial_user,
    query_id,
    elapsed,
    read_rows,
    formatReadableSize(memory_usage) AS memory_usage,
    normalizedQueryHash(query) AS query_hash
FROM clusterAllReplicas(default, system.processes)
ORDER BY elapsed DESC
```

<div id="modified-settings-from-defaults">
  ### Настройки, изменённые по сравнению со значениями по умолчанию
</div>

Посмотрите, какие настройки были изменены по сравнению со значениями по умолчанию:

```sql theme={null}
SELECT
    hostName() AS host,
    name,
    value
FROM clusterAllReplicas(default, system.settings)
WHERE changed = 1
ORDER BY hostName(), name
```

<div id="replication-queue-status">
  ### Состояние очереди репликации
</div>

Для реплицируемых таблиц проверьте очередь репликации:

```sql theme={null}
SELECT
    hostName() AS host,
    database,
    table,
    count() AS queue_size,
    sum(if(is_currently_executing = 1, 1, 0)) AS executing_count
FROM clusterAllReplicas(default, system.replication_queue)
GROUP BY hostName(), database, table
HAVING queue_size > 0
ORDER BY queue_size DESC
```