メインコンテンツへスキップ
こちらからプライベートプレビューのウェイトリストに登録できます。
BigQuery ClickPipe は、BigQuery から ClickHouse Cloud へデータを取り込むための、フルマネージドで耐障害性に優れた仕組みです。プライベートプレビューでは、初期ロードのみ、初期ロードとそれに続く継続的レプリケーション、および初期ロードを行わない継続的レプリケーションをサポートしています。CDC の方式としては、クエリベースのレプリケーション、APPENDS、CHANGES を利用できます。 BigQuery ClickPipes は、ClickPipes UI を使用して手動でデプロイおよび管理できるほか、OpenAPI や Terraform を使用してプログラムからデプロイおよび管理することもできます。

前提条件

  • GCP プロジェクトで サービス アカウント と IAM ロール を管理する権限が必要です。権限がない場合は、管理者に支援を依頼してください。公式ドキュメントに従って、必要最小限の権限を付与した専用のサービス アカウントを作成することを推奨します。
  • 初期ロードでは、ステージング用の Google Cloud Storage (GCS) バケットが必要です。Google Cloud の手順に従って、ClickPipe 専用のバケットを作成することを推奨します。
  • 継続的なレプリケーションを行う場合は、プロジェクトでサービス アカウントに BigQuery Read Session User ロールを付与してください。テーブルを選択する前に、レプリケーション方式の要件を確認してください。
1

データソースを選択する

1. ClickHouse Cloud のメインナビゲーションメニューから データソース を選択し、ClickPipe を作成 をクリックします。
インポートを選択
2. BigQuery のタイルをクリックします。
BigQuery のタイルを選択
2

ClickPipe の接続を設定する

BigQuery プロジェクトへの接続に必要な情報を入力します。初期ロードを実行する場合は、ステージング用の GCS バケットも指定します。1. ClickPipes 用に作成した service account の .json キーをアップロードします。service account に最低限必要なアクセス許可が付与されていることを確認してください。
サービスアカウントキーをアップロード
2. レプリケーションモードとして、初期ロードのみ、初期ロード + CDC、または CDC のみを選択します。CDC モードを選択した場合は、クエリベースまたはイベントベースの方式を選びます。
BigQuery のレプリケーションモードの選択肢:初期ロードのみ、初期ロード + CDC、CDC のみ
3. 初期ロードを実行する場合は、データのステージングに使用する GCS バケットのパスを指定します。4. Next をクリックして入力内容を検証します。
3

ClickPipe を設定する

選択したフェーズについて、以下の値を設定してください。初期ロードの設定は ClickPipe が既存データをインポートするときにのみ、CDC の設定は変更のレプリケーションを継続するときにのみ適用されます。
同期間隔、初期ロード、CDC に関する BigQuery ClickPipe の設定
4

テーブルを設定する

1. BigQuery テーブルのレプリケーション先となる ClickHouse データベースを選択します。既存のデータベースを選ぶか、新しく作成できます。2. ソーステーブルを選択します。カラム設定では、宛先テーブルごとに名前を変更したり、レプリケーションするカラムを選んだりできます。一覧には、service account がアクセスできるデータセットのみが表示されます。
BigQuery のソーステーブルを選択し、宛先テーブル名、CDC ウォーターマーク、sorting key、詳細設定を指定する
3. テーブルごとに CDC オプションを設定します。スクリーンショットはクエリベースの設定を示しています。TIMESTAMP 型の CDC ウォーターマークカラムを選択し、レプリケーション対象のカラムに含めてください。また、行が変更されるたびに、そのカラムの値を更新してください。イベントベースのレプリケーションでは、代わりに APPENDS または CHANGES を選択します。CHANGES を使用する場合は、ソーステーブルで enable_change_history = TRUE を設定する必要があります。4. sorting key を確認します。行が更新または削除される可能性がある場合は、各行を識別でき、値が変わらないカラムを選択してください。CHANGES を使用するには、ソーステーブルに主キーがあるか、ここで sorting key を設定する必要があります。ClickHouse は sorting key を使ってデータを並べ、クエリに利用します。sorting key がない場合は tuple() が使用され、プライマリインデックスは作成されません。5. 詳細設定を開き、ClickHouse テーブルの エンジンを選択します。必要に応じて、初期ロード用のパーティション化キーも指定できます。このパーティション化キーは、宛先テーブルの PARTITION BY 式を設定するものではありません。
5

アクセス許可を設定する

最後に、ClickPipes の内部ユーザーに付与するアクセス許可を設定できます。アクセス許可: ClickPipes は、宛先テーブルにデータを書き込むための専用ユーザーを作成します。この内部ユーザーには、カスタムロールまたは事前定義されたロールのいずれかを割り当てられます。
  • Full access: クラスターへのフルアクセス。宛先テーブルで materialized view または Dictionary を使用する場合に必要です。
  • Only destination: 宛先テーブルへのデータの挿入のみを許可します。
6

セットアップを完了する

Create ClickPipe をクリックしてセットアップを完了します。概要ページに移動したら、初期ロードの進行状況を確認できます。さらに、クリックすると BigQuery ClickPipes の詳細を表示できます。
アクセス許可