メインコンテンツへスキップ
BigQuery から ClickHouse へのTemplateは、BigQuery テーブルから ClickHouse テーブルにデータを取り込むバッチパイプラインです。 このTemplateでは、テーブル全体を読み取ることも、指定したSQLクエリを使って特定のレコードをフィルタリングすることもできます。

パイプラインの要件

  • ソースとなる BigQuery テーブルが存在している必要があります。
  • ClickHouse のターゲットテーブルが存在している必要があります。
  • Dataflow のワーカーマシンから ClickHouse ホストにアクセスできる必要があります。

Template パラメータ



ClickHouseIO のすべてのパラメータのデフォルト値は、ClickHouseIO Apache Beam コネクタで確認できます。

ソーステーブルとターゲットテーブルのスキーマ

BigQuery のデータセットを ClickHouse に効率よくロードするために、このパイプラインでは次のフェーズでカラム推論を行います。
  1. Templateは、ClickHouse のターゲットテーブルに基づいてスキーマオブジェクトを構築します。
  2. Templateは BigQuery のデータセットを走査し、カラム名に基づいて一致を試みます。

ただし、BigQuery のデータセット (テーブルまたはクエリ) は、ClickHouse の ターゲットテーブルと完全に同じカラム名である必要があります。

データ型マッピング

BigQuery の型は、ClickHouse のテーブル定義に基づいて変換されます。したがって、上の表には、 (指定した BigQuery のテーブル/クエリに対して) ClickHouse のターゲットテーブルで推奨される型マッピングを示しています。

Templateの実行

BigQuery から ClickHouse へのTemplateは、Google Cloud CLI 経由で実行できます。
このドキュメント、特に上記の各セクションを確認し、Templateの設定要件と前提条件を十分に理解しておいてください。
Google Cloud Console にサインインし、DataFlow を検索します。
  1. CREATE JOB FROM TEMPLATE ボタンをクリックします
    DataFlow コンソール
  2. Templateフォームが開いたら、ジョブ名を入力し、目的のリージョンを選択します。
    DataFlow Templateの初期フォーム
  3. DataFlow Template の入力欄に ClickHouse または BigQuery と入力し、BigQuery to ClickHouse Templateを選択します
    BigQuery to ClickHouse Templateを選択
  4. 選択するとフォームが展開され、追加情報を入力できるようになります。
    • 次の形式の ClickHouse server JDBC URL: jdbc:clickhouse://host:port/schema
    • ClickHouse のユーザー名。
    • ClickHouse のターゲットテーブル名。

ClickHouse のパスワードオプションは、パスワードが設定されていないユースケース向けに任意項目として表示されます。 追加するには、下にスクロールして Password for ClickHouse Endpoint オプションを指定してください。
BigQuery to ClickHouse の拡張Templateフォーム
  1. Template パラメータ セクションの説明に従って、 BigQuery/ClickHouseIO 関連の設定を必要に応じてカスタマイズして追加します

ジョブを監視する

Google Cloud Console の Dataflow Jobs タブ に移動し、 ジョブのステータスを確認します。進行状況やエラーを含むジョブの詳細を確認できます。
実行中の BigQuery から ClickHouse へのジョブが表示された Dataflow コンソール

トラブルシューティング

メモリ制限 (合計) 超過エラー (コード 241)

このエラーは、大きなバッチデータの処理中に ClickHouse のメモリが不足すると発生します。この問題を解決するには、次の対応を行ってください。
  • インスタンスのリソースを増やす: より多くのメモリを搭載した大きなインスタンスに ClickHouse server をアップグレードし、データ処理の負荷に対応します。
  • バッチサイズを小さくする: Dataflow ジョブの設定でバッチサイズを調整し、より小さな chunk のデータを ClickHouse に送信することで、バッチごとのメモリ消費を抑えます。これらの変更は、データのインジェスト時にリソース使用量のバランスを取るのに役立ちます。

Template のソースコード

Template のソースコードは以下で公開されています。