セットアップガイド
- Estuary アカウント
- 目的のソースからデータを取り込む、Estuary の 1 つ以上の キャプチャ
- ClickPipe 権限を持つ ClickHouse Cloud アカウント
1
Estuary マテリアライゼーションを作成する
Estuary のソースコレクションから ClickHouse にデータを移行するには、まず マテリアライゼーションを作成する必要があります。
- Estuary ダッシュボードで、Destinations ページに移動します。
- + New Materialization をクリックします。
- ClickHouse Kafka API コネクタを選択します。
- Materialization、Endpoint、Source Collections の各セクションで詳細を入力します。
- Materialization Details: マテリアライゼーションに一意の名前を付け、データプレーン (クラウドプロバイダーとリージョン) を選択します
- Endpoint Config: 安全な Auth Token を指定します
- Source Collections: 既存の キャプチャをリンクするか、ClickHouse に公開するデータコレクションを選択します
- Next、Save and Publish の順にクリックします。
- マテリアライゼーションの詳細ページで、ClickHouse マテリアライゼーションの完全名を控えます。
your-tenant/your-unique-name/dekaf-clickhouseのような形式です。
2
Kafka 接続情報を入力する
ClickHouse で新しい Kafka ClickPipe を設定し、接続情報を入力します。
- ClickHouse Cloud ダッシュボードで、Data sources を選択します。
- 新しい ClickPipe を作成します。
- データソースとして Apache Kafka を選択します。
- Estuary のブローカーおよびレジストリ情報を使用して、Kafka 接続情報を入力します。
- ClickPipe の名前を指定します
- ブローカーには
dekaf.estuary-data.com:9092を使用します - 認証はデフォルトの
SASL/PLAINのままにします - ユーザーには、Estuary のマテリアライゼーションの完全名 (
your-tenant/your-unique-name/dekaf-clickhouseなど) を入力します - パスワードには、マテリアライゼーションに指定した認証トークンを入力します
- スキーマレジストリオプションを有効にします。
- スキーマ URL には
https://dekaf.estuary-data.comを使用します - スキーマキーはブローカーユーザー (マテリアライゼーション名) と同じです
- シークレットはブローカーパスワード (認証トークン) と同じです
- スキーマ URL には
3
受信データを設定する
- Kafka トピックの 1 つ (Estuary のデータコレクションの 1 つ) を選択します。
- オフセットを選択します。
- ClickHouse がトピックメッセージを検出します。Parse information セクションに進み、テーブル情報を設定できます。
- 新しいテーブルを作成するか、対応する既存のテーブルにデータを読み込むかを選択します。
- ソースフィールドをテーブルのカラムにマッピングし、カラム名、型、NULL 許容かどうかを確認します。
- 最後の Details and settings セクションで、専用データベースユーザーの権限を選択できます。
その他のリソース
- ClickPipes インテグレーションについては、Estuary の ClickHouse マテリアライゼーション ドキュメントを参照してください。
- Estuary は Dekaf を使用してデータを Kafka メッセージとして公開します。Dekaf の詳細については、Estuary ガイドを参照してください。