メインコンテンツへスキップ
メインコンテンツへスキップ

はじめての Kafka ClickPipe を作成する

このガイドでは、はじめての Kafka ClickPipe を作成する手順を説明します。

データソースに移動する​

左側のメニューで Data Sources ボタンを選択し、"Set up a ClickPipe" をクリックします。

インポートを選択

データソースを選択する​

一覧から Kafka データソースを選択します。

データソースの種類を選択

データソースを設定する​

ClickPipe の名前、説明 (任意) 、認証情報、その他の接続情報を入力します。

接続情報を入力

スキーマレジストリを設定する (任意)​

Avro ストリームでは有効な スキーマ が必要です。スキーマレジストリの設定方法の詳細については、スキーマレジストリ を参照してください。

Reverse Private Endpoint を設定する (任意)​

Reverse Private Endpoint を設定すると、ClickPipes が AWS PrivateLink を使って Kafka クラスタに接続できるようになります。 詳細については、AWS PrivateLink documentation を参照してください。

SSH トンネリングを設定する (任意)​

Kafka broker が公開されていない場合は、SSH トンネリングを使えます。ClickPipes は直接接続する代わりに bastion host (ネットワーク内にあり、外部からアクセス可能なサーバー) への SSH 接続を確立し、その経由でプライベートネットワーク上の Kafka broker にトラフィックを転送します。

  1. "SSH Tunnel" トグルを有効にします。
  2. SSH 接続の詳細を入力します。
    • SSH Host: bastion host のホスト名または IP アドレス。公開アクセス可能で、プライベートネットワークへのゲートウェイとして機能するサーバーです。
    • SSH Port: bastion host 上の SSH ポート (デフォルトは 22) 。
    • SSH User: bastion host で認証に使用するユーザー名。
SSH トンネルの設定
  1. 鍵ベース認証を使うには、"Revoke and regenerate key pair" をクリックして新しい鍵ペアを生成し、生成された公開鍵を SSH サーバーの ~/.ssh/authorized_keys にコピーします。
  2. "Verify Connection" をクリックして接続を確認します。
注記

ClickPipes が SSH トンネルを確立できるように、SSH bastion host のファイアウォールルールで ClickPipes IP addresses を必ず許可してください。

topic を選択する​

topic を選択すると、UI にその topic のサンプルドキュメントが表示されます。

topic を設定

宛先テーブルを設定する​

次の手順では、新しい ClickHouse テーブルにデータを取り込むか、既存のテーブルを再利用するかを選択できます。画面の指示に従って、テーブル名、スキーマ、設定を変更してください。上部のサンプルテーブルで、変更内容をリアルタイムでプレビューできます。

テーブル、スキーマ、設定を指定

用意されているコントロールを使って、詳細設定をカスタマイズすることもできます。

詳細コントロールを設定

権限を設定する​

ClickPipes は、宛先テーブルにデータを書き込むための専用ユーザーを作成します。この内部ユーザーには、カスタムロールまたは事前定義されたロールのいずれかを選択できます。

  • Full access: クラスタに対するフルアクセス権限を付与します。宛先テーブルで materialized view や Dictionary を使う場合に役立つことがあります。
  • Only destination table: 宛先テーブルに対する INSERT 権限のみを付与します。
権限

セットアップを完了する​

"Create ClickPipe" をクリックすると、ClickPipe が作成されて実行されます。作成後は データソース セクションに表示されます。

概要を表示