Мониторинг ClickPipes

Помимо мониторинга в консоли, ClickPipes предоставляет метрики через конечную точку, совместимую с Prometheus, для сбора. Эти метрики публикуются вместе с другими метриками сервиса ClickHouse Cloud и позволяют интегрировать мониторинг ClickPipes в ваш существующий стек обсервабилити (например, Grafana, Datadog).

Метки метрик

В метриках ClickPipes используются стандартные метки уровня сервиса (clickhouse_org, clickhouse_service, clickhouse_service_name), а также следующие метки, специфичные для ClickPipes:

Метка	Описание
`clickpipe_id`	Уникальный идентификатор ClickPipe
`clickpipe_name`	Имя ClickPipe
`clickpipe_source`	Тип источника (например, `kafka`, `postgres`, `s3`)
`clickpipe_state`	Состояние ClickPipe (например, `Stopped`, `Provisioning`, `Running`)

Пример ответа

Ниже показано, как метрики ClickPipes выглядят в ответе Prometheus при скрейпинге для Kafka ClickPipe. Набор предоставляемых метрик зависит от типа пайпа — см. Доступные метрики, чтобы узнать, какие метрики применяются к каким типам пайпов:

# HELP ClickPipes_Info Всегда равно 1. Метка "clickpipe_state" содержит текущее состояние пайпа: Stopped/Provisioning/Running/Paused/Failed
# TYPE ClickPipes_Info gauge
ClickPipes_Info{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent",clickpipe_state="Running"} 1

# HELP ClickPipes_FetchedEvents_Total Общее количество записей, полученных из источника.
# TYPE ClickPipes_FetchedEvents_Total counter
ClickPipes_FetchedEvents_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 5535376

# HELP ClickPipes_SentEvents_Total Общее количество записей, отправленных в ClickHouse
# TYPE ClickPipes_SentEvents_Total counter
ClickPipes_SentEvents_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 5534250

# HELP ClickPipes_FetchedBytes_Total Общее количество несжатых байт, полученных из источника.
# TYPE ClickPipes_FetchedBytes_Total counter
ClickPipes_FetchedBytes_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 873286202

# HELP ClickPipes_SentBytes_Total Общее количество несжатых байт, отправленных в ClickHouse.
# TYPE ClickPipes_SentBytes_Total counter
ClickPipes_SentBytes_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 477187967

# HELP ClickPipes_Errors_Total Общее количество ошибок при приёме данных.
# TYPE ClickPipes_Errors_Total counter
ClickPipes_Errors_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 0

# HELP ClickPipes_Latency Время в миллисекундах между моментом создания записи и моментом её записи в ClickHouse.
# TYPE ClickPipes_Latency gauge
ClickPipes_Latency{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 340

Доступные метрики

Не все метрики доступны для каждого типа пайпа. В частности, CDC ClickPipes предоставляют другой набор метрик, чем ClickPipes для стриминга и объектного хранилища.

Стриминг, объектное хранилище — Kafka, Kinesis, Pub/Sub, S3 и GCS
CDC — Postgres, MySQL, MongoDB и BigQuery
Все — любой тип пайпа

Передача данных

Метрика	Тип	Доступно для	Описание
`ClickPipes_FetchedBytes_Total`	Counter	стриминг, Объектное хранилище	Общее количество несжатых байтов, полученных из источника.
`ClickPipes_FetchedBytesCompressed_Total`	Counter	Все	Общее количество байтов, полученных из источника в том виде, в котором они передаются по сети. Если данные источника не сжаты, значение эквивалентно `ClickPipes_FetchedBytes_Total`. Для CDC ClickPipes не включает байты, полученные на этапе первичной загрузки; они учитываются отдельно в `ClickPipes_FetchedBytesInitialLoad_Total`.
`ClickPipes_FetchedBytesInitialLoad_Total`	Counter	CDC	Общее количество байтов, полученных на этапе первичной загрузки, включая повторные синхронизации.
`ClickPipes_SentBytes_Total`	Counter	стриминг, Объектное хранилище	Общее количество несжатых байтов, отправленных в ClickHouse.
`ClickPipes_SentBytesCompressed_Total`	Counter	стриминг, Объектное хранилище	Общее количество сжатых байтов, отправленных в ClickHouse.

События и записи

Метрика	Тип	Доступно для	Описание
`ClickPipes_FetchedEvents_Total`	Counter	Стриминг, Объектное хранилище	Общее число записей, полученных из источника.
`ClickPipes_SentEvents_Total`	Counter	Стриминг, Объектное хранилище	Общее число записей, отправленных в ClickHouse.
`ClickPipes_FetchedEvents_PerTable`	Gauge	CDC	Число записей, полученных по каждой целевой таблице и типу события. Используются дополнительные метки `destination_table` и `event_type`.

Ошибки

Метрика	Тип	Доступно для	Описание
`ClickPipes_Errors_Total`	Counter	Все	Общее число ошибок, возникших в процессе ингестии.

Задержка

Метрика	Тип	Доступно для	Описание
`ClickPipes_Latency`	Gauge (avg)	Стриминг, Объектное хранилище	Время в миллисекундах между моментом, когда запись появилась в источнике, и моментом, когда она была записана в ClickHouse.
`ClickPipes_SourceReplicationLatency_MiB`	Gauge (avg)	CDC (только Postgres)	Отставание слота репликации на стороне источника, в МиБ. Эта метрика публикуется только для ClickPipes для Postgres.

Использование ресурсов

Метрики ClickPipes_Replica_* отражают использование ресурсов для стриминговых ClickPipes и ClickPipes для объектного хранилища. У каждого ClickPipe есть выделенные вычислительные ресурсы, поэтому эти значения отражают использование ресурсов отдельных ClickPipes.

Метрика	Тип	Доступно для	Описание
`ClickPipes_Replica_CPUUsage`	Gauge (avg)	Стриминг, объектное хранилище	Среднее использование CPU репликами, отвечающими за приём данных, в милликорах.
`ClickPipes_Replica_CPULimit`	Gauge (last)	Стриминг, объектное хранилище	Настроенный лимит CPU для реплик, отвечающих за приём данных, в милликорах.
`ClickPipes_Replica_MemoryUsage`	Gauge (avg)	Стриминг, объектное хранилище	Среднее использование памяти репликами, отвечающими за приём данных, в байтах.
`ClickPipes_Replica_MemoryLimit`	Gauge (last)	Стриминг, объектное хранилище	Настроенный лимит памяти для реплик, отвечающих за приём данных, в байтах.

Метрики ClickPipes_CDC_* отражают использование ресурсов для CDC ClickPipes. Все CDC ClickPipes в одном сервисе используют общие вычислительные ресурсы, поэтому эти значения отражают совокупное использование ресурсов всеми CDC ClickPipes сервиса.

Метрика	Тип	Доступно для	Описание
`ClickPipes_CDC_CPUUsage`	Gauge (avg)	CDC	Среднее использование CPU, в милликорах. Общее для всех CDC ClickPipes в сервисе.
`ClickPipes_CDC_CPULimit`	Gauge (last)	CDC	Настроенный лимит CPU, в милликорах. Общий для всех CDC ClickPipes в сервисе.
`ClickPipes_CDC_MemoryUsage`	Gauge (avg)	CDC	Среднее использование памяти, в байтах. Общее для всех CDC ClickPipes в сервисе.
`ClickPipes_CDC_MemoryLimit`	Gauge (last)	CDC	Настроенный лимит памяти, в байтах. Общий для всех CDC ClickPipes в сервисе.
`ClickPipes_CDC_NetworkReceiveBytes`	Gauge	CDC	Пропускная способность входящего сетевого трафика, в байтах (дельта за окно scrape). Общая для всех CDC ClickPipes в сервисе.

Состояние и прогресс

Метрика	Тип	Доступно для	Описание
`ClickPipes_Info`	Gauge	Все	Всегда равна `1`. Используйте метку `clickpipe_state`, чтобы фильтровать по состоянию пайпа или настраивать оповещения.
`ClickPipes_LastFetchedBatchId`	Gauge	CDC	ID последнего батча, полученного из источника.
`ClickPipes_LastSentBatchId`	Gauge	CDC	ID последнего батча, отправленного в ClickHouse.

Конечная точка Prometheus — Справка по конечной точке, аутентификации и настройке для внешних инструментов (например, Grafana, Datadog)
Отчёты об ошибках — Где хранятся ошибки записей и системные ошибки

ClickPipes для BigQuery

Программный доступ

Другое

Метки метрик

Пример ответа

Доступные метрики

Передача данных

События и записи

Ошибки

Задержка

Использование ресурсов

Состояние и прогресс

​Метки метрик

​Пример ответа

​Доступные метрики

​Передача данных

​События и записи

​Ошибки

​Задержка

​Использование ресурсов

​Состояние и прогресс

​Связанные страницы

Метки метрик

Пример ответа

Доступные метрики

Передача данных

События и записи

Ошибки

Задержка

Использование ресурсов

Состояние и прогресс

Связанные страницы