最初の GCS ClickPipe を作成する

データソースを選択

1. ClickHouse Cloud のメインナビゲーションメニューで データソース を選択し、Create ClickPipe をクリックします。

2. Google Cloud Storage のタイルをクリックします。

ClickPipe 接続を設定する

1. 新しい ClickPipe を設定するには、オブジェクトストレージサービスへの接続方法と認証方法の詳細を指定する必要があります。

• GCS ファイルパス: GCS ClickPipe は、相互運用性のために Cloud ストレージの XML API を使用します。このため、storage.googleapis.com エンドポイントが必要です。
  https://storage.googleapis.com/bucket-name/key-name
  
  POSIX ワイルドカードを使用して、複数のファイルやプレフィックスに一致させることができます。サポートされているパターンについては、リファレンスドキュメント を参照してください。

2. Incoming data をクリックします。ClickPipes が次のステップに向けて、バケットからメタデータを取得します。

データフォーマットを選択

UI に、指定した bucket 内のファイル一覧が表示されます。 データフォーマット (現在対応しているのは ClickHouse のフォーマットの一部です) と、継続的インジェストを有効にするかどうかを選択してください。 詳細は、概要ページの「continuous ingest」セクションを参照してください。

テーブル、スキーマ、設定を構成

次のステップでは、新しい ClickHouse テーブルにデータを取り込むか、既存のテーブルを再利用するかを選択できます。 画面の指示に従って、テーブル名、スキーマ、設定を変更してください。 上部のサンプルテーブルで、変更内容のリアルタイムプレビューを確認できます。

用意されているコントロールを使って、高度な設定をカスタマイズすることもできます。

または、既存の ClickHouse テーブルにデータを取り込むこともできます。 その場合、UI でソースのフィールドを、選択した宛先テーブル内の ClickHouse のフィールドにマッピングできます。

仮想カラム (_path や _size など) をフィールドにマッピングすることもできます。

権限を構成

最後に、内部 ClickPipes ユーザーの権限を構成できます。権限: ClickPipes は、宛先テーブルにデータを書き込むための専用ユーザーを作成します。カスタムロール、または事前定義されたロールのいずれかを使って、この内部ユーザーに割り当てるロールを選択できます。

• Full access: クラスターへのフルアクセス。宛先テーブルで materialized view または Dictionary を使用する場合に必要です。
• Only destination table: 宛先テーブルに対する INSERT 権限のみ。

セットアップを完了

「Complete Setup」をクリックすると、システムに ClickPipe が登録され、サマリーテーブルに表示されるようになります。

サマリーテーブルには、ソースまたは ClickHouse 内の宛先テーブルからサンプルデータを表示するためのコントロールがあります。

また、ClickPipe を削除したり、インジェストジョブの概要を表示したりするためのコントロールもあります。

おめでとうございます！ 最初の ClickPipe のセットアップが正常に完了しました。 この ClickPipe が継続的インジェスト用に構成されている場合は、継続的に稼働し、リモートのデータソースからデータをリアルタイムで取り込み続けます。 それ以外の場合は、Batch を取り込んで完了します。