MongoDB ClickPipe の同期の制御

このドキュメントでは、ClickPipe が CDC（Running）モード で動作している場合に、MongoDB ClickPipe の同期を制御する方法について説明します。

概要

Database ClickPipes のアーキテクチャは、ソースデータベースからのプルとターゲットデータベースへのプッシュという 2 つの並行プロセスで構成されています。プル処理は同期構成によって制御されており、どのくらいの頻度でデータをプルするか、また一度にどれだけのデータをプルするかが定義されます。ここで「一度に」とは 1 バッチを意味します。ClickPipe はデータをバッチ単位でプルおよびプッシュするためです。

MongoDB ClickPipe の同期を制御する主な方法は 2 つあります。以下のいずれかの設定条件を満たすと、ClickPipe はプッシュを開始します。

同期間隔

パイプの同期間隔は、ClickPipe がソースデータベースからレコードを取得する時間（秒）です。ClickHouse へデータをプッシュするのにかかる時間は、この間隔には含まれません。

デフォルトは 1 分 です。 同期間隔には任意の正の整数値を設定できますが、10 秒以上に保つことを推奨します。

プルバッチサイズ

プルバッチサイズは、ClickPipe がソースデータベースから 1 回のバッチで取得するレコード数です。ここでいうレコードとは、そのパイプに含まれるコレクションに対して実行された insert、update、delete を指します。

デフォルトは 100,000 レコードです。 安全な最大値は 1,000 万レコードです。

同期設定の構成

ClickPipe を作成する際、または既存の ClickPipe を編集する際に、同期間隔とプルのバッチサイズを設定できます。 ClickPipe を新規作成する場合は、以下のように作成ウィザードの 2 番目のステップでこれらの設定が表示されます。

既存の ClickPipe を編集する場合は、そのパイプの Settings タブを開き、パイプを一時停止してから、ここで Configure をクリックします。

すると同期設定用のフライアウトパネルが開き、同期間隔とプルのバッチサイズを変更できます。

同期制御の動作の監視

各バッチの処理にどれくらい時間がかかっているかは、ClickPipe の Metrics タブにある CDC Syncs テーブルで確認できます。ここでの時間にはデータのプッシュに要する時間も含まれており、新しい行が到着しない場合には ClickPipe が待機し、その待機時間も同様に含まれます。