> ## Documentation Index
> Fetch the complete documentation index at: https://clickhouse.com/docs/llms.txt
> Use this file to discover all available pages before exploring further.
> 使用 Prometheus 指标监控 ClickPipes。
# 监控 ClickPipes
除了 Console 中的监控外，ClickPipes 还会将指标暴露到 [Prometheus 兼容端点](/docs/zh/products/cloud/features/monitoring/prometheus) 供抓取。这些指标会与其他 ClickHouse Cloud 服务指标一并发布，使你能够将 ClickPipes 监控集成到现有的可观测性技术栈中 (例如 [Grafana](/docs/zh/products/cloud/features/monitoring/prometheus#integrating-with-grafana) 和 [Datadog](/docs/zh/products/cloud/features/monitoring/prometheus#integrating-with-datadog)) 。
## 指标标记
ClickPipes 指标使用[标准服务级标记](/docs/zh/products/cloud/features/monitoring/prometheus#metric-labels) (`clickhouse_org`、`clickhouse_service`、`clickhouse_service_name`) ，以及以下 ClickPipes 专用标记：
| 标记 | 说明 |
| ------------------ | ----------------------------------------------------- |
| `clickpipe_id` | ClickPipe 的唯一标识符 |
| `clickpipe_name` | ClickPipe 的名称 |
| `clickpipe_source` | 源类型 (例如 `kafka`、`postgres`、`s3`) |
| `clickpipe_state` | ClickPipe 的状态 (例如 `Stopped`、`Provisioning`、`Running`) |
### 示例响应
以下展示了 Kafka ClickPipe 的 ClickPipes 指标在 Prometheus 抓取响应中的样子。暴露的指标因管道类型而异——请参阅[可用指标](#available-metrics)，了解哪些指标适用于哪些管道类型：
```response theme={null}
# HELP ClickPipes_Info 始终等于 1。标记 "clickpipe_state" 包含管道的当前状态：Stopped/Provisioning/Running/Paused/Failed
# TYPE ClickPipes_Info gauge
ClickPipes_Info{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent",clickpipe_state="Running"} 1
# HELP ClickPipes_FetchedEvents_Total 从数据源拉取的记录总数。
# TYPE ClickPipes_FetchedEvents_Total counter
ClickPipes_FetchedEvents_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 5535376
# HELP ClickPipes_SentEvents_Total 发送到 ClickHouse 的记录总数
# TYPE ClickPipes_SentEvents_Total counter
ClickPipes_SentEvents_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 5534250
# HELP ClickPipes_FetchedBytes_Total 从数据源拉取的未压缩字节总数。
# TYPE ClickPipes_FetchedBytes_Total counter
ClickPipes_FetchedBytes_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 873286202
# HELP ClickPipes_SentBytes_Total 发送到 ClickHouse 的未压缩字节总数。
# TYPE ClickPipes_SentBytes_Total counter
ClickPipes_SentBytes_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 477187967
# HELP ClickPipes_Errors_Total 数据摄取过程中的错误总数。
# TYPE ClickPipes_Errors_Total counter
ClickPipes_Errors_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 0
# HELP ClickPipes_Latency 从记录生成到写入 ClickHouse 之间的时间（毫秒）。
# TYPE ClickPipes_Latency gauge
ClickPipes_Latency{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 340
```
## 可用指标
并非每种管道类型都会产生所有指标。具体而言，CDC ClickPipes 提供的指标子集与流式和对象存储 ClickPipes 不同。
* **流式、对象存储** — Kafka、Kinesis、Pub/Sub、S3 和 GCS
* **CDC** — Postgres、MySQL、MongoDB 和 BigQuery
* **全部** — 所有管道类型
### 数据传输
| 指标 | 类型 | 适用于 | 描述 |
| ------------------------------------------ | --- | ------- | ------------------------------------------------------------------------------------------------------------------------------------------------------------ |
| `ClickPipes_FetchedBytes_Total` | 计数器 | 流式，对象存储 | 从源端拉取的未压缩字节总数。 |
| `ClickPipes_FetchedBytesCompressed_Total` | 计数器 | 全部 | 从源端拉取的字节总数，即通过传输读取的字节数。如果源数据未压缩，则等同于 `ClickPipes_FetchedBytes_Total`。对于 CDC ClickPipes，这不包括初始加载期间拉取的字节，这部分会单独记录到 `ClickPipes_FetchedBytesInitialLoad_Total`。 |
| `ClickPipes_FetchedBytesInitialLoad_Total` | 计数器 | CDC | 初始加载阶段拉取的字节总数，包括重新同步。 |
| `ClickPipes_SentBytes_Total` | 计数器 | 流式，对象存储 | 发送到 ClickHouse 的未压缩字节总数。 |
| `ClickPipes_SentBytesCompressed_Total` | 计数器 | 流式，对象存储 | 发送到 ClickHouse 的压缩字节总数。 |
### 事件和记录
| 指标 | 类型 | 适用范围 | 说明 |
| ----------------------------------- | ------- | ------- | --------------------------------------------------------------- |
| `ClickPipes_FetchedEvents_Total` | Counter | 流式，对象存储 | 从源端拉取的记录总数。 |
| `ClickPipes_SentEvents_Total` | Counter | 流式，对象存储 | 发送到 ClickHouse 的记录总数。 |
| `ClickPipes_FetchedEvents_PerTable` | Gauge | CDC | 按目标表和事件类型统计的已拉取记录数。使用额外的 `destination_table` 和 `event_type` 标记。 |
### 错误
| 指标 | 类型 | 适用于 | 描述 |
| ------------------------- | --- | --- | ----------------------------------------------------------------- |
| `ClickPipes_Errors_Total` | 计数器 | 全部 | 摄取过程中发生的[错误](/docs/zh/integrations/clickpipes/home#error-reporting)总数。 |
### 延迟
| 指标 | 类型 | 适用于 | 描述 |
| ----------------------------------------- | ------------- | ---------------- | ----------------------------------------------------------- |
| `ClickPipes_Latency` | Gauge (*avg*) | 流式、对象存储 | 从记录在源端生成到写入 ClickHouse 之间的时间，单位为毫秒。 |
| `ClickPipes_SourceReplicationLatency_MiB` | Gauge (*avg*) | CDC (仅 Postgres) | 源端的 replication slot 滞后量，单位为 MiB。仅由 Postgres ClickPipes 发出。 |
### 资源利用率
`ClickPipes_Replica_*` 指标报告流式和对象存储 ClickPipes 的资源利用率。每个 ClickPipe 都有**专用计算资源**，因此这些值反映的是各个 ClickPipe 自身的资源利用率。
| Metric | Type | Available for | Description |
| -------------------------------- | -------------- | ------------- | --------------------------------- |
| `ClickPipes_Replica_CPUUsage` | Gauge (*avg*) | 流式、对象存储 | 摄取副本的平均 CPU 使用量，以 millicores 为单位。 |
| `ClickPipes_Replica_CPULimit` | Gauge (*last*) | 流式、对象存储 | 摄取副本配置的 CPU 限制，以 millicores 为单位。 |
| `ClickPipes_Replica_MemoryUsage` | Gauge (*avg*) | 流式、对象存储 | 摄取副本的平均内存使用量，以字节为单位。 |
| `ClickPipes_Replica_MemoryLimit` | Gauge (*last*) | 流式、对象存储 | 摄取副本配置的内存限制，以字节为单位。 |
`ClickPipes_CDC_*` 指标报告 CDC ClickPipes 的资源利用率。同一服务中的所有 CDC ClickPipes **共享计算资源**，因此这些值反映的是该服务中所有 CDC ClickPipes 的合计使用情况。
| Metric | Type | Available for | Description |
| ------------------------------------ | -------------- | ------------- | -------------------------------------------------------- |
| `ClickPipes_CDC_CPUUsage` | Gauge (*avg*) | CDC | 平均 CPU 使用量，以 millicores 为单位。该服务中的所有 CDC ClickPipes 共享此值。 |
| `ClickPipes_CDC_CPULimit` | Gauge (*last*) | CDC | 配置的 CPU 限制，以 millicores 为单位。该服务中的所有 CDC ClickPipes 共享此值。 |
| `ClickPipes_CDC_MemoryUsage` | Gauge (*avg*) | CDC | 平均内存使用量，以字节为单位。该服务中的所有 CDC ClickPipes 共享此值。 |
| `ClickPipes_CDC_MemoryLimit` | Gauge (*last*) | CDC | 配置的内存限制，以字节为单位。该服务中的所有 CDC ClickPipes 共享此值。 |
| `ClickPipes_CDC_NetworkReceiveBytes` | Gauge | CDC | 入站网络带宽，以字节为单位 (每个抓取窗口的增量) 。该服务中的所有 CDC ClickPipes 共享此值。 |
### 状态和进度
| 指标 | 类型 | 适用范围 | 描述 |
| ------------------------------- | ----- | ---- | ------------------------------------------------ |
| `ClickPipes_Info` | Gauge | 全部 | 始终等于 `1`。使用 `clickpipe_state` 标记根据管道状态进行过滤或触发告警。 |
| `ClickPipes_LastFetchedBatchId` | Gauge | CDC | 从源拉取的最后一个批次的 ID。 |
| `ClickPipes_LastSentBatchId` | Gauge | CDC | 发送到 ClickHouse 的最后一个批次的 ID。 |
## 相关页面
* [Prometheus 端点](/docs/zh/products/cloud/features/monitoring/prometheus) — 面向外部工具 (如 Grafana、Datadog) 的端点参考、身份验证和设置
* [错误报告](/docs/zh/integrations/clickpipes/home#error-reporting) — 记录级错误和系统错误的存储位置