概要
このガイドでは、AWS PrivateLink VPC endpoint services を使って、Amazon MSK クラスターを ClickPipes から利用できるように公開する方法を説明します。 この方法は、MSK multi-VPC connectivity が利用できない場合や、それだけでは不十分な場合に使用します。たとえば、次のようなケースです。- ClickPipes から MSK へのクロスリージョン接続。
- MSK Express クラスター。
- プライベート接続でもブローカーのホスト名を維持する必要がある Kafka 構成。
セットアップの仕組み
Kafkaクライアントはまずブートストラップブローカーに接続してクラスターのメタデータを取得し、その後、そのメタデータで通知されたブローカーのホスト名に直接接続します。 そのため、すべてのブローカーの前段に単一のロードバランサーを配置するだけでは、信頼性の高い MSK PrivateLink のセットアップとしては不十分です。代わりに、ブローカーごとに 1 つの PrivateLink パスを作成してください:- 内部向け Network Load Balancer (NLB) 。
- ブローカーのプライベート IP を対象とする IP ターゲットグループ。
- その NLB をバックエンドとする VPC エンドポイントサービス。
- ClickPipes のリバースプライベートエンドポイント (RPE) 。
- そのブローカーのホスト名に一致するカスタム private DNS 名。
要件
- プライベートサブネット内の MSK クラスター。
- MSK クラスターの ブローカー のホスト名とプライベート IP アドレス。
- MSK VPC で NLB、ターゲットグループ、リスナー、VPC エンドポイントサービスを作成するための権限。
- 各 VPC エンドポイントサービスで許可される ClickPipes の AWS account principal:
arn:aws:iam::072088201116:root。
ブローカーのホスト名とプライベート IP を取得する
AWS CLI を使用して、MSK ブローカーノードを一覧表示します:9098 です。
ClickPipe は、これらの broker hostname を Kafka broker として使用します。この UI ベースのセットアップでは、MSK の bootstrap broker string は使用しないでください。
broker ごとに endpoint service を 1 つずつ作成する
MSK の各 broker に対して、以下の手順を繰り返します。内部 NLB を作成する
MSK VPC 内に内部向けの Network Load Balancer を作成します。NLB はプライベートサブネットを使用し、インターネット向けにしてはいけません。 NLB にセキュリティグループがアタッチされている場合は、Enforce Security Group Inbound Rules on Private Link Traffic を無効にします。これは、ClickPipes の VPC エンドポイントからのトラフィックが NLB に到達できるようにするために必要です。
IPターゲットグループを作成する
次の設定でターゲットグループを作成します。- ターゲットタイプ:
IP。 - プロトコル:
TCP。 - ポート: broker の Kafka ポート。たとえば、MSK IAM の場合は
9098。 - ターゲット: 1 つの broker のプライベート IP アドレスを指定します。
TCP リスナーを作成する
ブローカーの Kafka ポートに NLB リスナーを作成し、トラフィックをブローカー固有のターゲットグループに転送します。VPC エンドポイントサービスを作成する
ブローカー固有の NLB をバックエンドとする VPC エンドポイントサービスを作成します。 許可対象の principal に ClickPipes の AWS principal を追加します:ClickPipes のリバースプライベートエンドポイントを作成する
ClickHouse Cloud console で、各ブローカーの VPC エンドポイントサービスごとに 1 つのリバースプライベートエンドポイントを作成します。- 対象の ClickHouse Cloud サービスに移動します。
- ClickPipe の作成を開始します。
Reverse private endpointを選択します。- VPC エンドポイントのタイプとして
VPC endpoint serviceを選択します。 - ブローカー固有の VPC エンドポイントサービス名を入力します。
Custom private DNS nameに、そのブローカーの元の MSK ブローカー ホスト名 を入力します。- エンドポイントを作成します。
- エンドポイントが承認待ちの場合は、AWS の VPC エンドポイントサービス console でエンドポイントの接続リクエストを承認します。
type を VPC_ENDPOINT_SERVICE に設定したうえで、ブローカー固有の VPC エンドポイントサービス名と、そのブローカー ホスト名 用のカスタム private DNS マッピングを 1 つ指定します。
clickhouse_clickpipes_reverse_private_endpoint を使用し、ブローカーのホスト名マッピングの構成に clickhouse_clickpipes_reverse_private_endpoint_custom_private_dns を使用します。
Kafka ClickPipe を作成する
リバース プライベート エンドポイントを使用して ClickPipe を作成するには、ClickPipes AWS PrivateLink ガイド に従ってください。 Kafka ClickPipe を作成する際は、次の点に注意してください。- ブローカー一覧には、元の MSK ブローカーのホスト名を使用し、MSK リスナーと認証方式に対応するポートも含めてください。
- MSK の bootstrap broker string は使用しないでください。
- ブローカーごとのリバース プライベート エンドポイントをすべて選択またはアタッチしてください。
- IAM ロール認証など、MSK クラスターで必要な認証方式を設定してください。
9098、SASL/SCRAM では一般に 9096、TLS では一般に 9094 を使用します。正しいポートは、MSK クラスターの設定または bootstrap broker output で確認してください。
ブローカー一覧の例:
Custom private DNS nameと一致している必要があります。