ClickPipes の監視

Console での監視に加えて、ClickPipes はスクレイピング用に Prometheus 互換エンドポイントへメトリクスを公開しています。これらのメトリクスは、他の ClickHouse Cloud サービスのメトリクスとあわせて公開されるため、既存のオブザーバビリティスタック (例: Grafana、Datadog) に ClickPipes の監視を統合できます。

メトリクスラベル

ClickPipes のメトリクスでは、標準のサービスレベルラベル (clickhouse_org、clickhouse_service、clickhouse_service_name) に加えて、以下の ClickPipes 固有のラベルを使用します。

Label	Description
`clickpipe_id`	ClickPipe の一意な識別子
`clickpipe_name`	ClickPipe の名前
`clickpipe_source`	ソースの種類 (例: `kafka`、`postgres`、`s3`)
`clickpipe_state`	ClickPipe の状態 (例: `Stopped`、`Provisioning`、`Running`)

レスポンス例

以下は、Kafka ClickPipe の Prometheus のスクレイプレスポンスにおける ClickPipes のメトリクスの例です。公開されるメトリクスはパイプタイプによって異なります。どのメトリクスがどのパイプタイプに適用されるかについては、利用可能なメトリクスを参照してください。

# HELP ClickPipes_Info 常に1に等しい。ラベル "clickpipe_state" にはパイプの現在の状態が含まれる: Stopped/Provisioning/Running/Paused/Failed
# TYPE ClickPipes_Info gauge
ClickPipes_Info{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent",clickpipe_state="Running"} 1

# HELP ClickPipes_FetchedEvents_Total ソースから取得したレコードの総数。
# TYPE ClickPipes_FetchedEvents_Total counter
ClickPipes_FetchedEvents_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 5535376

# HELP ClickPipes_SentEvents_Total ClickHouse に送信したレコードの総数
# TYPE ClickPipes_SentEvents_Total counter
ClickPipes_SentEvents_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 5534250

# HELP ClickPipes_FetchedBytes_Total ソースから取得した非圧縮バイトの総数。
# TYPE ClickPipes_FetchedBytes_Total counter
ClickPipes_FetchedBytes_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 873286202

# HELP ClickPipes_SentBytes_Total ClickHouse に送信した非圧縮バイトの総数。
# TYPE ClickPipes_SentBytes_Total counter
ClickPipes_SentBytes_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 477187967

# HELP ClickPipes_Errors_Total データ取り込み時のエラーの総数。
# TYPE ClickPipes_Errors_Total counter
ClickPipes_Errors_Total{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 0

# HELP ClickPipes_Latency レコードが生成されてから ClickHouse に書き込まれるまでの時間（ミリ秒）。
# TYPE ClickPipes_Latency gauge
ClickPipes_Latency{clickhouse_org="11dfa1ec-767d-43cb-bfad-618ce2aaf959",clickhouse_service="82b83b6a-5568-4a82-aa78-fed9239db83f",clickhouse_service_name="my service",clickpipe_id="642bb967-940b-459e-9f63-a2833f62ec44",clickpipe_name="my kafka pipe",clickpipe_source="confluent"} 340

利用可能なメトリクス

すべてのパイプタイプで、すべてのメトリクスが出力されるわけではありません。特に、CDC ClickPipes で公開されるメトリクスのサブセットは、ストリーミング、オブジェクトストレージ ClickPipes とは異なります。

ストリーミング、オブジェクトストレージ — Kafka, Kinesis, Pub/Sub, S3, and GCS
CDC — Postgres, MySQL, MongoDB and BigQuery
All — すべてのパイプタイプ

データ転送

メトリクス	種類	利用可能対象	説明
`ClickPipes_FetchedBytes_Total`	カウンター	ストリーミング、オブジェクトストレージ	ソースから取得した非圧縮バイト数の合計。
`ClickPipes_FetchedBytesCompressed_Total`	カウンター	すべて	ソースから取得したバイト数の合計です。通信上で読み取られた時点のバイト数を表します。ソースデータが非圧縮の場合は、`ClickPipes_FetchedBytes_Total` と同じです。CDC ClickPipes では、初期ロード中に取得したバイト数は含まれず、それらは `ClickPipes_FetchedBytesInitialLoad_Total` として別途出力されます。
`ClickPipes_FetchedBytesInitialLoad_Total`	カウンター	CDC	初期ロードフェーズ中に取得したバイト数の合計です。再同期も含まれます。
`ClickPipes_SentBytes_Total`	カウンター	ストリーミング、オブジェクトストレージ	ClickHouse に送信した非圧縮バイト数の合計。
`ClickPipes_SentBytesCompressed_Total`	カウンター	ストリーミング、オブジェクトストレージ	ClickHouse に送信した圧縮バイト数の合計。

イベントとレコード

メトリクス	タイプ	利用可能対象	説明
`ClickPipes_FetchedEvents_Total`	カウンター	ストリーミング、オブジェクトストレージ	ソースから取得したレコードの総数。
`ClickPipes_SentEvents_Total`	カウンター	ストリーミング、オブジェクトストレージ	ClickHouse に送信されたレコードの総数。
`ClickPipes_FetchedEvents_PerTable`	Gauge	CDC	宛先テーブルおよびイベントタイプごとに取得したレコード数。追加の `destination_table` と `event_type` ラベルを使用します。

エラー

メトリクス	型	利用対象	説明
`ClickPipes_Errors_Total`	カウンター	すべて	インジェスト中に発生したエラーの総数。

レイテンシ

メトリクス	型	利用可能対象	説明
`ClickPipes_Latency`	Gauge (avg)	ストリーミング、オブジェクトストレージ	レコードがソースで生成されてから ClickHouse に書き込まれるまでの時間 (ミリ秒) 。
`ClickPipes_SourceReplicationLatency_MiB`	Gauge (avg)	CDC (Postgres のみ)	ソース側のレプリケーションスロットのラグ (MiB) 。Postgres ClickPipes でのみ出力されます。

リソース使用状況

ClickPipes_Replica_* メトリクスは、ストリーミングおよびオブジェクトストレージ向け ClickPipes のリソース使用状況を示します。各 ClickPipe には専用のコンピュートが割り当てられているため、これらの値は個々の ClickPipes の使用状況を反映します。

Metric	Type	Available for	Description
`ClickPipes_Replica_CPUUsage`	Gauge (avg)	ストリーミング、オブジェクトストレージ	インジェスト用レプリカの平均 CPU 使用量 (ミリコア単位) 。
`ClickPipes_Replica_CPULimit`	Gauge (last)	ストリーミング、オブジェクトストレージ	インジェスト用レプリカの設定済み CPU 制限 (ミリコア単位) 。
`ClickPipes_Replica_MemoryUsage`	Gauge (avg)	ストリーミング、オブジェクトストレージ	インジェスト用レプリカの平均メモリ使用量 (バイト単位) 。
`ClickPipes_Replica_MemoryLimit`	Gauge (last)	ストリーミング、オブジェクトストレージ	インジェスト用レプリカの設定済みメモリ制限 (バイト単位) 。

ClickPipes_CDC_* メトリクスは、CDC ClickPipes のリソース使用状況を示します。同じサービス内のすべての CDC ClickPipes はコンピュートを共有するため、これらの値はそのサービス内のすべての CDC ClickPipe を合わせた使用状況を反映します。

Metric	Type	Available for	Description
`ClickPipes_CDC_CPUUsage`	Gauge (avg)	CDC	平均 CPU 使用量 (ミリコア単位) 。サービス内のすべての CDC ClickPipes で共有されます。
`ClickPipes_CDC_CPULimit`	Gauge (last)	CDC	設定済み CPU 制限 (ミリコア単位) 。サービス内のすべての CDC ClickPipes で共有されます。
`ClickPipes_CDC_MemoryUsage`	Gauge (avg)	CDC	平均メモリ使用量 (バイト単位) 。サービス内のすべての CDC ClickPipes で共有されます。
`ClickPipes_CDC_MemoryLimit`	Gauge (last)	CDC	設定済みメモリ制限 (バイト単位) 。サービス内のすべての CDC ClickPipes で共有されます。
`ClickPipes_CDC_NetworkReceiveBytes`	Gauge	CDC	受信ネットワーク帯域幅 (バイト単位、スクレイプウィンドウごとの差分) 。サービス内のすべての CDC ClickPipes で共有されます。

状態と進捗

メトリクス	型	利用可能対象	説明
`ClickPipes_Info`	Gauge	All	常に `1` です。`clickpipe_state` ラベルを使用して、パイプの状態に基づいて絞り込みやアラートを行います。
`ClickPipes_LastFetchedBatchId`	Gauge	CDC	ソースから最後に取得されたバッチの ID。
`ClickPipes_LastSentBatchId`	Gauge	CDC	ClickHouse に最後に送信されたバッチの ID。

Prometheus エンドポイント — 外部ツール (Grafana、Datadog など) 向けのエンドポイントリファレンス、認証、設定
エラー報告 — レコードエラーとシステムエラーの保存先

BigQuery 向け ClickPipes

プログラムによるアクセス

その他

メトリクスラベル

レスポンス例

利用可能なメトリクス

データ転送

イベントとレコード

エラー

レイテンシ

リソース使用状況

状態と進捗

​メトリクスラベル

​レスポンス例

​利用可能なメトリクス

​データ転送

​イベントとレコード

​エラー

​レイテンシ

​リソース使用状況

​状態と進捗

​関連ページ

メトリクスラベル

レスポンス例

利用可能なメトリクス

データ転送

イベントとレコード

エラー

レイテンシ

リソース使用状況

状態と進捗

関連ページ