開始前に、サポートされている AWS リージョンを確認してください。
サポートされる ClickPipes のデータソース
- Kafka
- Postgres
- MySQL
- MongoDB
Kafka では、ホスト名がエンドポイントのプライベート IP アドレスに解決される場合、Confluent 互換スキーマレジストリにもブローカーと同じリバースプライベートエンドポイント経由でアクセスできます。パブリックにアクセス可能である必要はありません。
サポートされる AWS PrivateLink エンドポイントの種類
VPC リソース
クロスリージョンはサポートされていません。
- リソースゲートウェイを作成する
- リソース設定を作成する
- リソース共有を作成する
1
リソースゲートウェイを作成する
リソースゲートウェイは、VPC 内の指定されたリソース宛てのトラフィックを受信するポイントです。リソースゲートウェイは、AWS コンソールまたは次のコマンドで作成できます。出力にはリソースゲートウェイ ID が含まれます。これは次の手順で必要になります。続行するには、リソースゲートウェイが
リソースゲートウェイにアタッチするサブネットには、十分な数の利用可能な IP アドレスを確保することを推奨します。
各サブネットには少なくとも
/26 のサブネットマスクを使用することを推奨します。各 VPC エンドポイント (各 Reverse Private Endpoint) には、AWS によりサブネットごとに連続した 16 個の IP アドレスブロックが必要です。(/28 のサブネットマスク)
この要件を満たさない場合、Reverse Private Endpoint は失敗状態に移行します。Active 状態になるまで待つ必要があります。次のコマンドを実行して状態を確認できます。2
VPC リソース構成を作成する
リソース設定をリソースゲートウェイに関連付けることで、リソースにアクセスできるようになります。リソース設定は、AWS コンソールまたは次のコマンドを使用して作成できます。最もシンプルなリソース設定タイプは、単一の Resource-Configuration です。ARN を直接指定するか、パブリックに名前解決できる IP アドレスまたはドメイン名を共有して設定できます。たとえば、RDS クラスターの ARN を指定して設定するには:出力には、次のステップで必要となる Resource-Configuration ARN が含まれます。また、VPC リソースを使用した ClickPipe connection の設定に必要な Resource-Configuration ID も含まれます。
パブリックアクセス可能なクラスターに対してリソース設定を作成することはできません。
クラスターがパブリックアクセス可能な場合は、リソース設定を作成する前に
クラスターを変更してプライベートにするか、代わりにIP allow listを使用する必要があります。
詳細については、AWS ドキュメントを参照してください。
MSK マルチ VPC 接続
MSK クラスターのポリシーを更新し、MSK クラスターで許可するプリンシパルに
072088201116 を追加してください。
詳細については、クラスター ポリシーのアタッチに関する AWS ガイドを参照してください。VPC エンドポイントサービス
- データソースのドメイン名を所有していないため、AWS で検証できない
- Confluent Cloud のように、プロバイダーがコンシューマー側で DNS 解決を管理することを求める
- プライベート DNS のサポートが必要なオンプレミスの Kafka セットアップ
- Confluent Cloud のプライベート接続
- Postgres CDC (変更データキャプチャ) のクロスリージョン接続
- MSK クラスターのクロスリージョン接続
ClickPipes アカウント ID
072088201116 を、VPC エンドポイントサービスの許可されたプリンシパルに追加してください。
詳細については、権限の管理に関する AWS ガイドを参照してください。ClickPipes 向けにクロスリージョンアクセス
を構成できます。VPC エンドポイントサービスの許可されたリージョンにClickPipe のリージョンを追加してください。
カスタム プライベート DNS
カスタム プライベート DNS はプライベートプレビューです。サービスで有効にするには、ClickHouse Supportまでお問い合わせください。
ClickHouse Cloud console は現在、リバース プライベート エンドポイントごとに 1 つのカスタム プライベート DNS 名をサポートしています。
同じエンドポイントで複数のカスタム プライベート DNS 名を管理する必要がある場合は、OpenAPI または Terraform を使用してください。
- 完全一致名 (
kafka.internal.example.com) とワイルドカード名 (*.example.com) が サポートされます。ワイルドカードは 1 つの DNS ラベルに一致します。たとえば、*.abcde12345.us-east-1.aws.confluent.cloudはb0-lkc123.abcde12345.us-east-1.aws.confluent.cloudに一致します。 - 名前は、ワイルドカード名と完全一致名の重複も含め、ClickHouse service のすべてのリバース プライベート エンドポイント間で一意である必要があります。
- 予約済み接尾辞 (例:
local、localhost、internal、corp、private) 配下の名前は拒否されます。
- ClickHouse Cloud console で、リバース プライベート エンドポイントを作成するときに
Custom private DNS nameフィールドに入力します。この フィールドは、サービスでこの機能が有効になると表示されます。 - OpenAPI では、リバース プライベート エンドポイントの作成時に
customPrivateDnsMappingsを設定するか、PATCHリクエストで既存の エンドポイントを更新します。更新するとマッピングのリスト全体が置き換えられます。空のリストを指定すると、すべてのカスタム名が 削除されます。 - Terraform では、
clickhouse_clickpipes_reverse_private_endpoint_custom_private_dnsリソースを使用して、既存のリバース プライベート エンドポイントのマッピングを管理します。
リバース プライベート エンドポイントを使用した ClickPipe の作成
- ClickHouse Cloud サービスの SQL Console にアクセスします。
- 左側のメニューで
Data Sourcesボタンを選択し、「ClickPipe をセットアップ」をクリックします。
- データソースとして Kafka または Postgres を選択します。
Reverse private endpointオプションを選択します。
- 既存のリバース プライベート エンドポイントを選択するか、新しいエンドポイントを作成します。
RDS へのクロスリージョンアクセスが必要な場合は、VPC エンドポイントサービスを作成する必要があります。セットアップの参考として、このガイドを参照してください。同一リージョン内でアクセスする場合は、VPC リソースを作成することを推奨します。
- 選択したエンドポイントタイプに必要なパラメータを指定します。
- VPC リソースの場合は、設定共有 ARN と設定 ID を指定します。
- MSK マルチ VPC の場合は、クラスター ARN と、作成したエンドポイントで使用する認証方法を指定します。
- VPC エンドポイントサービスの場合は、サービス名を指定します。
- 必要に応じて、カスタム プライベート DNS 名を指定します。
-
Createをクリックし、リバース プライベート エンドポイントの準備が完了するまで待ちます。 新しいエンドポイントを作成する場合、セットアップには時間がかかります。 エンドポイントの準備が完了すると、ページは自動的に更新されます。 VPC エンドポイントサービスでは、AWS コンソールで接続リクエストを承認する必要がある場合があります。
- エンドポイントの準備が完了すると、DNS 名を使用してデータソースに接続できます。 エンドポイントの一覧で、利用可能なエンドポイントの DNS 名を確認できます。 DNS 名には、ClickPipes によって内部的にプロビジョニングされたもの、PrivateLink サービスから提供されるプライベート DNS 名、 またはカスタム プライベート DNS 名を使用できます。 DNS 名は完全なネットワークアドレスではありません。 データソースに応じてポートを追加してください。 MSK の接続文字列は AWS コンソールで確認できます。 DNS 名の一覧全体を確認するには、Cloud サービスの設定にアクセスしてください。
リバースプライベートエンドポイントの管理
-
サイドバーで
Settingsボタンをクリックします。 -
ClickPipe reverse private endpointsセクションでReverse private endpointsをクリックします。 リバースプライベートエンドポイントの詳細情報がフライアウトに表示されます。 エンドポイントは作成後に編集できません。エンドポイントの×をクリックし、確認すると削除できます。削除は元に戻せず、そのエンドポイントを使用中の ClickPipe は機能しなくなります。
サポート対象の AWS リージョン
制限事項
非アクティブなエンドポイントの自動クリーンアップ
猶予期間が経過すると、エンドポイントと関連するすべてのリソースが自動的に削除されます。
自動削除を防ぐには、猶予期間が終了する前に根本原因を解決してください。
たとえば、AWS コンソールで保留中の接続リクエストを承認するか、
失敗状態になっているエンドポイントを再作成してください。