Como coletar e visualizar um rastreamento de consulta

Pré-requisitos:

Familiaridade com os arquivos de configuração do ClickHouse
Uma instância do servidor ClickHouse em execução
(Opcional) Uma instância local do Grafana em execução

Verifique se a tabela do sistema opentelemetry_span_log está habilitada

Se você não fez nenhuma alteração na seção opentelemetry_span_log do config.xml, pode pular esta etapa.Abra o arquivo config.xml padrão do ClickHouse e localize a seção a seguir:

<!--
    OpenTelemetry log contains OpenTelemetry trace spans.

    NOTE: this table does not use standard schema with event_date and event_time!
-->
<opentelemetry_span_log>
    <!--
        The default table creation code is insufficient, this <engine> spec
        is a workaround. There is no 'event_time' for this log, but two times,
        start and finish. It is sorted by finish time, to avoid inserting
        data too far away in the past (probably we can sometimes insert a span
        that is seconds earlier than the last span in the table, due to a race
        between several spans inserted in parallel). This gives the spans a
        global order that we can use to e.g. retry insertion into some external
        system.
    -->
    <engine>
        engine MergeTree
        partition by toYYYYMM(finish_date)
        order by (finish_date, finish_time_us, trace_id)
    </engine>
    <database>system</database>
    <table>opentelemetry_span_log</table>
    <flush_interval_milliseconds>7500</flush_interval_milliseconds>
    <max_size_rows>1048576</max_size_rows>
    <reserved_size_rows>8192</reserved_size_rows>
    <buffer_size_rows_flush_threshold>524288</buffer_size_rows_flush_threshold>
    <flush_on_crash>false</flush_on_crash>
</opentelemetry_span_log>

Certifique-se de que isso não esteja comentado; caso contrário, você não poderá ver system.opentelemetry_span_log nas próximas etapas. Isso também pode acontecer se o seu servidor ClickHouse não estiver usando o arquivo de configuração padrão.Verifique os logs do servidor em busca de algo como:

Processing configuration file 'config.xml'.
There is no file 'config.xml', will use embedded config.

Em instalações padrão, esse arquivo fica em /etc/clickhouse-server/config.xml

Ative o rastreamento com OpenTelemetry

Com o servidor ClickHouse em execução, abra o cliente ClickHouse e habilite a coleta de traces com a consulta a seguir:

SET opentelemetry_trace_processors=1;

Agora, você deverá ver a tabela de sistema opentelemetry_span_log ao executar:

SHOW TABLES IN system

Próxima execução:

SET opentelemetry_start_trace_probability=1;

Isso define a probabilidade de o ClickHouse iniciar um trace para as consultas executadas, em que 1 significa que o trace está habilitado para todas as consultas executadas.

Obter o ID de uma consulta

Execute a consulta de teste a seguir, ou a consulta que você deseja rastrear:

SELECT pow(number, 2) FROM numbers(10E4);

Copie o ID da consulta:

:) SELECT pow(number, 2) FROM numbers(10E4);

SELECT pow(number, 2)
FROM numbers(100000.)

Query id: a9241258-a0c4-4776-a00b-e6a1d9bec4a1

Gerar um arquivo de trace

Execute a consulta a seguir, substituindo pelo ID da consulta obtido na etapa anterior:

WITH 'a9241258-a0c4-4776-a00b-e6a1d9bec4a1' AS my_query_id
SELECT
    concat(substring(hostName(), length(hostName()), 1), leftPad(greatest(attribute['clickhouse.thread_id'], attribute['thread_number']), 5, '0')) AS group,
    operation_name,
    start_time_us,
    finish_time_us,
    sipHash64(operation_name) AS color,
    attribute
FROM system.opentelemetry_span_log
WHERE (trace_id IN (
    SELECT trace_id
    FROM system.opentelemetry_span_log
    WHERE (attribute['clickhouse.query_id']) = my_query_id
)) AND (operation_name != 'query') AND (operation_name NOT LIKE 'Query%')
ORDER BY
    hostName() ASC,
    group ASC,
    parent_span_id ASC,
    start_time_us ASC
INTO OUTFILE 'trace.json'
FORMAT JSON
SETTINGS output_format_json_named_tuples_as_objects = 1

Isso gravará o trace em um arquivo chamado trace.json. Por padrão, esse arquivo é criado no diretório de trabalho atual de onde você está executando a ferramenta clickhouse-client ou clickhouse-local.

Visualize traces com as ferramentas integradas

Use o visualizador de trace hospedado em https://trace-visualizer.clickhouse.com/. Carregue o arquivo trace.json da etapa anterior para visualizar o trace.

Usando o Grafana para visualizar traces

Recomendamos o Grafana para visualizar e explorar dados de traces usando o plugin oficial do ClickHouse. O plugin foi aprimorado para permitir a visualização de traces usando o Trace Panel. Há suporte para isso tanto como visualização quanto como componente no Explore.Siga as etapas descritas em “Usando Grafana e ClickHouse para observabilidade” para configurar o Grafana com o plugin do ClickHouse.Na aba Explore, você pode executar a seguinte consulta, substituindo trace_id pelo seu próprio valor:

SELECT
    toString(trace_id) AS traceID,
    toString(span_id) AS spanID,
    if(toString(parent_span_id)='0', '', toString(parent_span_id)) AS parentSpanID,
    'ClickHouse' AS serviceName,
    operation_name AS operationName,
    start_time_us/1000000 AS startTime,
    (finish_time_us - start_time_us)/1000 AS duration,
    arrayMap(key -> map('key', key, 'value', attribute[key]), mapKeys(attribute)) AS serviceTags
FROM system.opentelemetry_span_log
WHERE trace_id = '68a14b27-a61f-596d-3746-2b03d2530e42' ORDER BY startTime ASC

Certifique-se de definir Query type como Traces:Clique em “Run Query” e examine o diagrama de traces: