> ## Documentation Index
> Fetch the complete documentation index at: https://clickhouse.com/docs/llms.txt
> Use this file to discover all available pages before exploring further.

# Как собирать и визуализировать трассировку запроса

> В этом руководстве показано, как собирать и визуализировать трассировки запросов в самоуправляемом ClickHouse с помощью встроенных средств или Grafana. Это особенно полезно при работе со сложными запросами, когда нужно понять внутренний механизм выполнения глубже, чем это позволяет EXPLAIN.

export const Image = ({img, alt, size = "lg"}) => {
  const normalizedSize = ["sm", "md", "lg"].includes(size) ? size : "lg";
  return <div className={`ch-image-${normalizedSize}`}>
      <Frame>
        <img src={img} alt={alt} />
      </Frame>
    </div>;
};

**Предварительные требования**:

* Знакомство с [файлами конфигурации ClickHouse](/docs/ru/concepts/features/configuration/server-config/configuration-files)
* Работающий [сервер ClickHouse](/docs/ru/get-started/setup/install)
* (Необязательно) Работающий локальный [экземпляр Grafana](https://grafana.com/docs/grafana/latest/fundamentals/getting-started/)

<Steps>
  <Step title={<>Убедитесь, что системная таблица <code>opentelemetry_span_log</code> включена</>} id="enable-system-table">
    Если вы не вносили изменений в раздел `opentelemetry_span_log` файла `config.xml`, этот шаг можно пропустить.

    Откройте стандартный файл `config.xml` ClickHouse и найдите следующий раздел:

    ```yaml theme={null}
    <!--
        OpenTelemetry log contains OpenTelemetry trace spans.

        NOTE: this table does not use standard schema with event_date and event_time!
    -->
    <opentelemetry_span_log>
        <!--
            The default table creation code is insufficient, this <engine> spec
            is a workaround. There is no 'event_time' for this log, but two times,
            start and finish. It is sorted by finish time, to avoid inserting
            data too far away in the past (probably we can sometimes insert a span
            that is seconds earlier than the last span in the table, due to a race
            between several spans inserted in parallel). This gives the spans a
            global order that we can use to e.g. retry insertion into some external
            system.
        -->
        <engine>
            engine MergeTree
            partition by toYYYYMM(finish_date)
            order by (finish_date, finish_time_us, trace_id)
        </engine>
        <database>system</database>
        <table>opentelemetry_span_log</table>
        <flush_interval_milliseconds>7500</flush_interval_milliseconds>
        <max_size_rows>1048576</max_size_rows>
        <reserved_size_rows>8192</reserved_size_rows>
        <buffer_size_rows_flush_threshold>524288</buffer_size_rows_flush_threshold>
        <flush_on_crash>false</flush_on_crash>
    </opentelemetry_span_log>
    ```

    Убедитесь, что эта строка не закомментирована, иначе на следующих шагах вы не увидите `system.opentelemetry_span_log`.
    Это также может произойти, если ваш сервер ClickHouse не использует файл конфигурации по умолчанию.

    Проверьте серверный журнал на наличие примерно следующего:

    ```text theme={null}
    Processing configuration file 'config.xml'.
    There is no file 'config.xml', will use embedded config.
    ```

    <Tip>
      При стандартной установке этот файл находится по пути `/etc/clickhouse-server/config.xml`
    </Tip>
  </Step>

  <Step title="Включить трассировку OpenTelemetry" id="enable-otel-tracing">
    Когда сервер ClickHouse запущен, откройте клиент ClickHouse и включите сбор трассировок с помощью следующего запроса:

    ```bash theme={null}
    SET opentelemetry_trace_processors=1;
    ```

    Теперь, если выполнить:

    ```sql theme={null}
    SHOW TABLES IN system
    ```

    Далее выполните:

    ```
    SET opentelemetry_start_trace_probability=1;
    ```

    Этот параметр задает вероятность того, что ClickHouse будет запускать трассировку для выполняемых запросов, где
    `1` означает, что трассировка включена для всех выполняемых запросов.
  </Step>

  <Step title="Получить идентификатор запроса" id="obtain-query-id">
    Выполните следующий тестовый запрос или запрос, трассировку которого вы хотите выполнить:

    ```sql theme={null}
    SELECT pow(number, 2) FROM numbers(10E4);
    ```

    Скопируйте Query id:

    ```sql highlight={6} theme={null}
    :) SELECT pow(number, 2) FROM numbers(10E4);

    SELECT pow(number, 2)
    FROM numbers(100000.)

    Query id: a9241258-a0c4-4776-a00b-e6a1d9bec4a1
    ```
  </Step>

  <Step title="Сгенерировать файл трассировки" id="generate-trace-file">
    Выполните следующий запрос, подставив идентификатор запроса, полученный на предыдущем шаге:

    ```sql theme={null}
    WITH 'a9241258-a0c4-4776-a00b-e6a1d9bec4a1' AS my_query_id
    SELECT
        concat(substring(hostName(), length(hostName()), 1), leftPad(greatest(attribute['clickhouse.thread_id'], attribute['thread_number']), 5, '0')) AS group,
        operation_name,
        start_time_us,
        finish_time_us,
        sipHash64(operation_name) AS color,
        attribute
    FROM system.opentelemetry_span_log
    WHERE (trace_id IN (
        SELECT trace_id
        FROM system.opentelemetry_span_log
        WHERE (attribute['clickhouse.query_id']) = my_query_id
    )) AND (operation_name != 'query') AND (operation_name NOT LIKE 'Query%')
    ORDER BY
        hostName() ASC,
        group ASC,
        parent_span_id ASC,
        start_time_us ASC
    INTO OUTFILE 'trace.json'
    FORMAT JSON
    SETTINGS output_format_json_named_tuples_as_objects = 1
    ```

    Это запишет трассировку в файл с именем `trace.json`.
    По умолчанию этот файл создаётся в текущем рабочем каталоге, из которого запускается инструмент `clickhouse-client` или `clickhouse-local`.
  </Step>

  <Step title="Визуализируйте трассировку с помощью встроенных инструментов" id="visualize-trace-using-built-in-tooling">
    Используйте размещённый сервис визуализации трейсов по адресу [https://trace-visualizer.clickhouse.com/](https://trace-visualizer.clickhouse.com/).
    Загрузите файл `trace.json` из предыдущего шага, чтобы визуализировать трейс.

    <Image img="https://mintcdn.com/private-7c7dfe99/ufw4Fv2WNLmoOCdU/images/knowledgebase/trace-visualizer-example.png?fit=max&auto=format&n=ufw4Fv2WNLmoOCdU&q=85&s=31a5a5b04d205a7db89e4c1bf2f8e94a" size="md" alt="Пример визуализатора трейсов ClickHouse" width="2974" height="1514" data-path="images/knowledgebase/trace-visualizer-example.png" />
  </Step>

  <Step title="Визуализация трассировок в Grafana" id="using-grafana">
    Мы рекомендуем Grafana для визуализации и анализа данных трассировки с помощью официального плагина ClickHouse.
    Плагин был доработан, чтобы поддерживать визуализацию трассировок с помощью панели Trace Panel.
    Это поддерживается как в виде визуализации, так и в виде компонента в Explore.

    Следуйте шагам, описанным в ["Использование Grafana и ClickHouse для обсервабилити"](/docs/ru/guides/use-cases/observability/build-your-own/grafana),
    чтобы настроить Grafana с плагином ClickHouse.

    На вкладке Explore вы можете выполнить следующий запрос, заменив `trace_id` на свой:

    ```sql theme={null}
    SELECT
        toString(trace_id) AS traceID,
        toString(span_id) AS spanID,
        if(toString(parent_span_id)='0', '', toString(parent_span_id)) AS parentSpanID,
        'ClickHouse' AS serviceName,
        operation_name AS operationName,
        start_time_us/1000000 AS startTime,
        (finish_time_us - start_time_us)/1000 AS duration,
        arrayMap(key -> map('key', key, 'value', attribute[key]), mapKeys(attribute)) AS serviceTags
    FROM system.opentelemetry_span_log
    WHERE trace_id = '68a14b27-a61f-596d-3746-2b03d2530e42' ORDER BY startTime ASC
    ```

    Убедитесь, что для `Query type` выбрано значение `Traces`:

    <Image img="https://mintcdn.com/private-7c7dfe99/ufw4Fv2WNLmoOCdU/images/knowledgebase/trace-visualization-grafana.png?fit=max&auto=format&n=ufw4Fv2WNLmoOCdU&q=85&s=c9b4062554d26a82072652fa78387ec7" size="md" alt="Визуализация трейсов ClickHouse в Grafana" width="3018" height="996" data-path="images/knowledgebase/trace-visualization-grafana.png" />

    Нажмите "Run Query" и просмотрите диаграмму трассировки:

    <Image img="https://mintcdn.com/private-7c7dfe99/ufw4Fv2WNLmoOCdU/images/knowledgebase/trace-visualization-diagram.png?fit=max&auto=format&n=ufw4Fv2WNLmoOCdU&q=85&s=ca8aa94807d052d3197cdbce461ba35e" size="md" alt="Визуализация трейсов ClickHouse в Grafana" width="2458" height="1076" data-path="images/knowledgebase/trace-visualization-diagram.png" />
  </Step>
</Steps>