最初の Amazon S3 ClickPipe を作成する
S3 ClickPipe は、Amazon S3 および S3 互換オブジェクトストレージから ClickHouse Cloud へデータをインジェストするための、フルマネージドで高い耐障害性を備えた手段を提供します。一度きりのインジェストと 継続的なインジェスト の両方を、厳密な exactly-once セマンティクスでサポートします。
S3 ClickPipes は、ClickPipes UI を使用して手動でデプロイおよび管理できるほか、OpenAPI や Terraform を使用してプログラム的にデプロイおよび管理することも可能です。
データソースを選択する
1. ClickHouse Cloud のメインナビゲーションメニューで Data sources を選択し、Create ClickPipe をクリックします。
2. Amazon S3 のタイルをクリックします。ClickPipes UI に表示されていないその他の S3 互換サービスにも、このタイルから接続できます。
オブジェクトストレージサービスプロバイダーごとに URL 形式や API 実装が異なるため、すべての S3 互換サービスが標準でサポートされているわけではありません。サポート対象のデータソース に記載されていないサービスで問題が発生している場合は、弊社チームまでお問い合わせください。
ClickPipe 接続をセットアップする
1. 新しい ClickPipe をセットアップするには、オブジェクトストレージサービスへの接続方法と認証方法の詳細を指定する必要があります。
2. Amazon S3 のタイルをクリックします。ClickPipes UI に表示されていないその他の S3 互換サービスにも、このタイルから接続できます。
オブジェクトストレージサービスプロバイダーごとに URL 形式や API 実装が異なるため、すべての S3 互換サービスが標準でサポートされているわけではありません。サポート対象のデータソース に記載されていないサービスで問題が発生している場合は、弊社チームまでお問い合わせください。
2. Incoming data をクリックします。ClickPipes が次のステップのためにバケットからメタデータを取得します。
データフォーマットを選択する
UI には、指定したバケット内のファイル一覧が表示されます。 データフォーマット（現在は ClickHouse フォーマットの一部のみをサポート）と、継続的なインジェストを有効にするかどうかを選択します。 詳細については、概要ページの「continuous ingest」セクションを参照してください。
テーブル、スキーマ、設定を構成する
次のステップでは、新しい ClickHouse テーブルにデータを取り込むか、既存のテーブルを再利用するかを選択できます。 画面上の指示に従って、テーブル名、スキーマ、および設定を変更します。 上部のサンプルテーブルで、変更内容をリアルタイムにプレビューできます。
また、用意されているコントロールを使用して詳細設定をカスタマイズすることもできます。
あるいは、既存の ClickHouse テーブルにデータを取り込むこともできます。 その場合、UI でソースのフィールドと、選択した宛先テーブル内の ClickHouse フィールドをマッピングできるようになります。
_path や _size などの仮想カラムをフィールドにマッピングすることもできます。
権限を構成する
最後に、内部 ClickPipes ユーザー用の権限を構成します。
Permissions: ClickPipes は、宛先テーブルにデータを書き込む専用ユーザーを作成します。カスタムロールまたは定義済みロールのいずれかを使用して、この内部ユーザーのロールを選択できます:
Full access: クラスターへのフルアクセス権を持ちます。宛先テーブルで materialized view または Dictionary を使用する場合に必要です。Only destination table: 宛先テーブルに対するINSERT権限のみを持ちます。
セットアップを完了する
"Complete Setup" をクリックすると、システムは ClickPipe を登録し、概要テーブルに表示されるようになります。
概要テーブルでは、ソースまたは ClickHouse の宛先テーブルからサンプルデータを表示するためのコントロールが提供されます。
また、ClickPipe を削除したり、インジェストジョブの概要を表示したりするためのコントロールも用意されています。
おめでとうございます！ これで最初の ClickPipe のセットアップが完了しました。 この ClickPipe が継続的なインジェスト用に構成されている場合は、リモートデータソースからリアルタイムでデータを継続的にインジェストし続けます。 それ以外の場合は、バッチをインジェストして完了します。
