こちらからプライベートプレビューのウェイトリストに登録できます。
APPENDS、CHANGES を利用できます。
BigQuery ClickPipes は、ClickPipes UI を使用して手動でデプロイおよび管理できるほか、OpenAPI や Terraform を使用してプログラムからデプロイおよび管理することもできます。
初期ロード
初期ロードでは、BigQuery の データセット から選択したテーブルを ClickHouse にコピーします。初期ロードだけを実行することも、初期ロード後に継続的なレプリケーションを行うこともできます。ロードには、ステージング用に指定した Google Cloud ストレージ (GCS) のバケットを使用します。初期ロードのみを行う ClickPipe は、ロードが完了すると停止します。ClickPipes は BigQuery の
EXPORT DATA クエリを使用して、データをステージング用のバケットにコピーします。これらのクエリの実行には BigQuery の料金がかかり、GCS のストレージ料金も発生します。継続的なレプリケーション
初期ロードの完了後、BigQuery ClickPipe は新しいデータをポーリングし、ClickHouse に反映できます。初期ロードを行わずに継続的なレプリケーションを開始することもできます。ソーステーブルでのデータの変更方法に応じて、レプリケーション方式を選択してください。以下の例はクエリの形式を示しています。実際には、ClickPipes が設定済みのカラムとイベントのメタデータを選択します。
クエリベースのレプリケーションでは、テーブルごとにウォーターマーク用のカラムを選択してください。このカラムは
TIMESTAMP 型で、レプリケーション対象のカラムに含まれている必要があります。行を挿入または更新する際に、このカラムの値を設定してください。行が変更されてもウォーターマークの値が新しくならなければ、ClickPipes はその変更を検出できません。削除もレプリケーションする必要がある場合は、CHANGES を使用してください。
イベントベースの方式はいずれも、通常の BigQuery テーブルが必要です。APPENDS では、変更履歴を有効にする必要はありません。CHANGES を使用する場合は、ClickPipe を作成する前に、各ソーステーブルで変更履歴を有効にしてください。
CHANGES を使用するには、BigQuery の主キー、または宛先テーブルに設定されたカスタムの sorting key も必要です。ClickPipes が更新や削除を対象の行に正しく適用できるよう、各行を識別できるカラムを選択してください。BigQuery は主キー制約を適用しないため、ソースデータ側でこれらの値の一意性を維持する必要があります。
APPENDS と CHANGES が読み取れる変更は、ソーステーブルの BigQuery タイムトラベルの保持期間内のものに限られます。この期間はデフォルトで 7 日間ですが、最短で 2 日間に設定できます。レプリケーションの遅延がこの期間を超えた場合は、完全なコピーを復元するために初期ロードをやり直してください。BigQuery では、3 つの方法のいずれで実行したクエリにも料金が発生します。CHANGES 用に変更履歴を有効にすると、BigQuery のストレージ費用も追加で発生します。サービスアカウントの認証情報
ClickPipes は、サービスアカウントキーを使用して Google Cloud プロジェクトに認証します。ClickPipes が BigQuery からデータをエクスポートし、ステージング用の GCS バケットにロードしてから ClickHouse に読み込めるように、必要最小限の権限のみを持つ専用のサービスアカウントを作成することを推奨します。
GCP workload identity (ベータ)
GCP workload identity ガイドの手順に従って、ClickPipes サービスのコンテキストからマネージド service account を取得します。次に、その service account に以下の BigQuery および GCS のロールを付与し、SERVICE_ACCOUNT_WORKLOAD_IDENTITY 認証でパイプを作成します。この認証方式を使用する場合は、service account の認証情報を指定しないでください。
BigQuery
ClickPipes が使用する service account (お客様が用意したものか、Workload Identity を通じて管理されるものかを問わず) には、次の BigQuery ロールが必要です。 継続的レプリケーションを行う場合は、Google Cloud プロジェクトに対してroles/bigquery.readSessionUser も付与してください。ClickPipes は BigQuery Storage Read API を使用して読み取りセッションを作成し、CDC (変更データキャプチャ) のクエリ結果を読み取ります。このロールはデータセットレベルでは付与できません。service account がデータを読み取れるよう、ソースのデータセットまたはテーブルに対する roles/bigquery.dataViewer は引き続き付与したままにしてください。
アクセス範囲をさらに絞り込むには、ロールがアクセスできるリソースを制限するために IAM 条件 を使用することを推奨します。たとえば、dataViewer ロールを、同期対象のテーブルを含む特定のデータセットのみに制限できます。
objectAdmin ロールと bucketViewer ロールを、ClickPipes の同期用に作成した専用バケットのみに制限できます。