Surveillance de ClickPipes

En plus de la surveillance dans la Console, ClickPipes expose des métriques via un endpoint compatible Prometheus pour le scraping. Ces métriques sont publiées avec les autres métriques du service ClickHouse Cloud et vous permettent d’intégrer la surveillance de ClickPipes à votre stack d’observabilité existante (par ex. Grafana, Datadog).

Labels de métriques

Les métriques ClickPipes utilisent les labels standard de niveau service (clickhouse_org, clickhouse_service, clickhouse_service_name), ainsi que les labels spécifiques à ClickPipes suivants :

Label	Description
`clickpipe_id`	L’identifiant unique du ClickPipe
`clickpipe_name`	Le nom du ClickPipe
`clickpipe_source`	Le type de source (par ex. `kafka`, `postgres`, `s3`)
`clickpipe_state`	L’état du ClickPipe (par ex. `Stopped`, `Provisioning`, `Running`)

Exemple de réponse

Voici à quoi ressemblent les métriques ClickPipes dans une réponse de scraping Prometheus pour un Kafka ClickPipe. L’ensemble des métriques exposées varie selon le type de pipe — voir Available metrics pour connaître les métriques applicables à chaque type de pipe :

# HELP ClickPipes_Info Always equal to 1. Label "clickpipe_state" contains the current state of the pipe: Stopped/Provisioning/Running/Paused/Failed
# TYPE ClickPipes_Info gauge
ClickPipes_Info{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent",clickpipe_state="Running"} 1

# HELP ClickPipes_FetchedEvents_Total Total number of records fetched from the source.
# TYPE ClickPipes_FetchedEvents_Total counter
ClickPipes_FetchedEvents_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 5535376

# HELP ClickPipes_SentEvents_Total Total number of records sent to ClickHouse
# TYPE ClickPipes_SentEvents_Total counter
ClickPipes_SentEvents_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 5534250

# HELP ClickPipes_FetchedBytes_Total Total uncompressed bytes fetched from the source.
# TYPE ClickPipes_FetchedBytes_Total counter
ClickPipes_FetchedBytes_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 873286202

# HELP ClickPipes_SentBytes_Total Total uncompressed bytes sent to ClickHouse.
# TYPE ClickPipes_SentBytes_Total counter
ClickPipes_SentBytes_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 477187967

# HELP ClickPipes_Errors_Total Total errors ingesting data.
# TYPE ClickPipes_Errors_Total counter
ClickPipes_Errors_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 0

# HELP ClickPipes_Latency Time in milliseconds between when the record was produced to when it was written to ClickHouse.
# TYPE ClickPipes_Latency gauge
ClickPipes_Latency{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 340

Métriques disponibles

Toutes les métriques ne sont pas émises pour chaque type de pipe. En particulier, les ClickPipes CDC exposent un sous-ensemble de métriques différent de celui des ClickPipes de streaming et de stockage d’objets.

Streaming, stockage d’objets — Kafka, Kinesis, Pub/Sub, S3 et GCS
CDC — Postgres, MySQL, MongoDB et BigQuery
Tous — tous les types de pipe

Transfert de données

Métrique	Type	Disponible pour	Description
`ClickPipes_FetchedBytes_Total`	Compteur	Streaming, stockage d’objets	Nombre total d’octets non compressés récupérés depuis la source.
`ClickPipes_FetchedBytesCompressed_Total`	Compteur	Tous	Nombre total d’octets récupérés depuis la source, tels que lus sur le réseau. Si les données source ne sont pas compressées, cette métrique équivaut à `ClickPipes_FetchedBytes_Total`. Pour les ClickPipes CDC, cela exclut les octets récupérés lors du chargement initial, qui sont comptabilisés séparément dans `ClickPipes_FetchedBytesInitialLoad_Total`.
`ClickPipes_FetchedBytesInitialLoad_Total`	Compteur	CDC	Nombre total d’octets récupérés pendant la phase de chargement initial, y compris les resynchronisations.
`ClickPipes_SentBytes_Total`	Compteur	Streaming, stockage d’objets	Nombre total d’octets non compressés envoyés à ClickHouse.
`ClickPipes_SentBytesCompressed_Total`	Compteur	Streaming, stockage d’objets	Nombre total d’octets compressés envoyés à ClickHouse.

Événements et enregistrements

Métrique	Type	Disponible pour	Description
`ClickPipes_FetchedEvents_Total`	Compteur	Streaming, stockage d’objets	Nombre total d’enregistrements récupérés depuis la source.
`ClickPipes_SentEvents_Total`	Compteur	Streaming, stockage d’objets	Nombre total d’enregistrements envoyés à ClickHouse.
`ClickPipes_FetchedEvents_PerTable`	Gauge	CDC	Nombre d’enregistrements récupérés par table de destination et par type d’événement. Utilise des labels supplémentaires `destination_table` et `event_type`.

Erreurs

Métrique	Type	Disponible pour	Description
`ClickPipes_Errors_Total`	Compteur	Tous	Nombre total d’erreurs survenues lors de l’ingestion.

Latence

Métrique	Type	Disponible pour	Description
`ClickPipes_Latency`	Gauge (avg)	Streaming, stockage d’objets	Temps écoulé, en millisecondes, entre le moment où un enregistrement est produit à la source et celui où il est écrit dans ClickHouse.
`ClickPipes_SourceReplicationLatency_MiB`	Gauge (avg)	CDC (Postgres uniquement)	Retard du slot de réplication à la source, en Mio. Émis uniquement par les ClickPipes Postgres.

Utilisation des ressources

Les métriques ClickPipes_Replica_* indiquent l’utilisation des ressources pour les ClickPipes de streaming et de stockage d’objets. Chaque ClickPipe dispose de ressources de calcul dédiées ; ces valeurs reflètent donc l’utilisation de chaque ClickPipe individuellement.

Metric	Type	Available for	Description
`ClickPipes_Replica_CPUUsage`	Gauge (avg)	Streaming, stockage d’objets	Utilisation moyenne du CPU des répliques d’ingestion, en millicœurs.
`ClickPipes_Replica_CPULimit`	Gauge (last)	Streaming, stockage d’objets	Limite CPU configurée pour les répliques d’ingestion, en millicœurs.
`ClickPipes_Replica_MemoryUsage`	Gauge (avg)	Streaming, stockage d’objets	Utilisation moyenne de la mémoire des répliques d’ingestion, en octets.
`ClickPipes_Replica_MemoryLimit`	Gauge (last)	Streaming, stockage d’objets	Limite mémoire configurée pour les répliques d’ingestion, en octets.

Les métriques ClickPipes_CDC_* indiquent l’utilisation des ressources pour les ClickPipes CDC. Tous les ClickPipes CDC d’un même service partagent les ressources de calcul ; ces valeurs reflètent donc l’utilisation combinée de tous les ClickPipes CDC du service.

Metric	Type	Available for	Description
`ClickPipes_CDC_CPUUsage`	Gauge (avg)	CDC	Utilisation moyenne du CPU, en millicœurs. Partagée entre tous les ClickPipes CDC du service.
`ClickPipes_CDC_CPULimit`	Gauge (last)	CDC	Limite CPU configurée, en millicœurs. Partagée entre tous les ClickPipes CDC du service.
`ClickPipes_CDC_MemoryUsage`	Gauge (avg)	CDC	Utilisation moyenne de la mémoire, en octets. Partagée entre tous les ClickPipes CDC du service.
`ClickPipes_CDC_MemoryLimit`	Gauge (last)	CDC	Limite mémoire configurée, en octets. Partagée entre tous les ClickPipes CDC du service.
`ClickPipes_CDC_NetworkReceiveBytes`	Gauge	CDC	Débit réseau entrant, en octets (delta par intervalle de scrutation). Partagé entre tous les ClickPipes CDC du service.

État et progression

Métrique	Type	Disponible pour	Description
`ClickPipes_Info`	Gauge	Tous	Toujours égal à `1`. Utilisez le label `clickpipe_state` pour filtrer ou déclencher une alerte selon l’état du pipe.
`ClickPipes_LastFetchedBatchId`	Gauge	CDC	ID du dernier batch récupéré depuis la source.
`ClickPipes_LastSentBatchId`	Gauge	CDC	ID du dernier batch envoyé à ClickHouse.

Endpoint Prometheus — Référence de l’endpoint, authentification et configuration pour les outils externes (p. ex., Grafana, Datadog)
Signalement des erreurs — Emplacement de stockage des erreurs liées aux enregistrements et des erreurs système

ClickPipes for BigQuery

Accès programmatique

Autres

Labels de métriques

Exemple de réponse

Métriques disponibles

Transfert de données

Événements et enregistrements

Erreurs

Latence

Utilisation des ressources

État et progression

​Labels de métriques

​Exemple de réponse

​Métriques disponibles

​Transfert de données

​Événements et enregistrements

​Erreurs

​Latence

​Utilisation des ressources

​État et progression

​Pages connexes

Labels de métriques

Exemple de réponse

Métriques disponibles

Transfert de données

Événements et enregistrements

Erreurs

Latence

Utilisation des ressources

État et progression

Pages connexes