メインコンテンツまでスキップ
メインコンテンツまでスキップ

Google Dataflow テンプレート

ClickHouse Supported

Google Dataflow テンプレートは、カスタムコードを書くことなく、事前構築されたデータパイプラインを簡単に実行する方法を提供します。これらのテンプレートは、一般的なデータ処理タスクを簡素化するように設計されており、ClickHouseIO のようなコネクタを利用して ClickHouse データベースとのシームレスな統合を実現するために Apache Beam を使用して構築されています。これらのテンプレートを Google Dataflow で実行することにより、最小限の労力で非常にスケーラブルで分散データ処理を実現できます。

Dataflow テンプレートを使用する理由​

  • 使いやすさ: テンプレートは、特定のユースケースに合わせた事前構成のパイプラインを提供することで、コーディングの必要性を排除します。
  • スケーラビリティ: Dataflow は、お客様のパイプラインが効率的にスケールし、大量のデータを分散処理できるようにします。
  • コスト効率: 消費したリソースに対してのみ支払い、パイプラインの実行コストを最適化する能力があります。

Dataflow テンプレートの実行方法​

現在、ClickHouse の公式テンプレートは Google Cloud Console、CLI、または Dataflow REST API を通じて利用可能です。詳細な手順については、Google Dataflow テンプレートからパイプラインを実行するガイド を参照してください。

ClickHouse テンプレートの一覧​