ClickPipes でサポートされているデータソース
- Kafka
- Postgres
- MySQL
- MongoDB
Kafka の場合、ホスト名がそのエンドポイントのプライベート IP アドレスに解決されるのであれば、スキーマレジストリ はブローカーと同じリバース プライベート エンドポイント経由でアクセスでき、パブリックに公開する必要はありません。
対応している AWS PrivateLink エンドポイントタイプ
VPC リソース
クロスリージョンはサポートされていません。
- リソースゲートウェイを作成する
- リソース設定を作成する
- リソース共有を作成する
1
リソースゲートウェイを作成する
リソースゲートウェイは、VPC 内で指定されたリソース宛てのトラフィックを受け取る受信ポイントです。リソースゲートウェイは、AWS コンソール から作成することも、次のコマンドを使用して作成することもできます。出力には resource gateway ID が含まれます。これは次の手順で必要になります。先に進むには、resource gateway が
リソースゲートウェイにアタッチするサブネットには、十分な数の利用可能な IP アドレスを確保しておくことを推奨します。
各サブネットには、少なくとも
/26 のサブネットマスクを使用することを推奨します。AWS では、各 VPC エンドポイント (各 Reverse Private Endpoint) について、サブネットごとに連続した 16 個の IP アドレスのブロックが必要です。(/28 サブネットマスク)
この要件を満たしていない場合、Reverse Private Endpoint は失敗状態に遷移します。Active 状態になるまで待つ必要があります。状態は、次のコマンドを実行して確認できます。2
VPC リソース設定を作成する
リソースにアクセスできるようにするには、Resource-Configuration を resource gateway に関連付けます。Resource-Configuration は、AWS コンソール または次のコマンドで作成できます。最もシンプルなresource configuration typeは、単一の Resource-Configuration です。ARN を直接指定して設定することも、パブリックに名前解決可能な IP アドレスまたはドメイン名を共有することもできます。たとえば、RDS クラスターの ARN を使って設定する場合は、次のようにします。出力には Resource-Configuration ARN が含まれ、これは次のステップで必要になります。また、Resource-Configuration ID も含まれ、これは VPC リソースで ClickPipe connection を設定する際に必要です。
パブリックアクセス可能なクラスターでは、resource configuration を作成できません。
クラスターがパブリックアクセス可能な場合は、resource configuration を作成する前に、
クラスターをプライベートに変更する必要があります。
または、代わりに IP allow list を使用してください。
詳しくは、AWS ドキュメント を参照してください。
MSK マルチ VPC 接続
MSK クラスターのポリシーを更新し、MSK クラスターで許可するプリンシパルに
072088201116 を追加してください。
詳細については、AWS ガイドのクラスター ポリシーのアタッチを参照してください。VPC エンドポイントサービス
- データソースのドメイン名を所有していないため、AWS で検証できない
- Confluent Cloud のように、プロバイダーがコンシューマー側で DNS 解決を管理することを求める このような場合は、カスタム プライベート DNSを参照してください。
- プライベート DNS のサポートが必要な、あらゆるオンプレミス環境の Kafka 構成
- Confluent Cloud のプライベート接続
- Postgres CDC (変更データキャプチャ) のクロスリージョン接続
- MSK クラスターのクロスリージョン接続
ClickPipes のアカウント ID
072088201116 を、VPC エンドポイントサービスの許可されたプリンシパルに追加してください。
詳細については、権限の管理に関する AWS ガイドを参照してください。ClickPipes では、クロスリージョンアクセス
を設定できます。VPC エンドポイントサービスの許可されたリージョンに、ClickPipe のリージョンを追加してください。
カスタム プライベート DNS
カスタム プライベート DNS はプライベートプレビューです。ご利用のサービスで有効にするには、ClickHouse Support にお問い合わせください。
ClickHouse Cloud console は現在、リバースプライベート エンドポイントごとに 1 つのカスタム プライベート DNS 名をサポートしています。
同じエンドポイントで複数のカスタム プライベート DNS 名を管理する必要がある場合は、OpenAPI または Terraform を使用してください。
- 完全一致の名前 (
kafka.internal.example.com) とワイルドカード名 (*.example.com) が サポートされます。ワイルドカードは単一の DNS ラベルに一致します。たとえば、*.abcde12345.us-east-1.aws.confluent.cloudはb0-lkc123.abcde12345.us-east-1.aws.confluent.cloudに一致します。 - 名前は、ワイルドカード名と完全一致名の重複も含めて、ClickHouse サービスのすべてのリバースプライベート エンドポイント間で一意である必要があります。
- 予約済みの接尾辞配下の名前 (例:
local,localhost,internal,corp,private) は拒否されます。
- ClickHouse Cloud console で、リバースプライベート エンドポイントを作成する際に
Custom private DNS nameフィールドに入力します。このフィールドは、 ご利用のサービスでこの機能が有効になると表示されます。 - OpenAPI では、
リバースプライベート エンドポイントの作成時に
customPrivateDnsMappingsを設定するか、既存の エンドポイントをPATCHリクエストで更新します。更新するとマッピングの一覧全体が置き換えられ、空の一覧を指定すると すべてのカスタム名が削除されます。 - Terraform では、
clickhouse_clickpipes_reverse_private_endpoint_custom_private_dnsリソースを使用して、既存のリバースプライベート エンドポイントのマッピングを管理します。
リバース プライベート エンドポイント を使用した ClickPipe の作成
- ClickHouse Cloud サービスの SQL Console にアクセスします。
- 左側のメニューで
Data Sourcesボタンを選択し、「ClickPipe をセットアップ」をクリックします。
- データソースとして Kafka または Postgres を選択します。
リバース プライベート エンドポイントオプションを選択します。
- 既存の リバース プライベート エンドポイント を選択するか、新規に作成します。
RDS で cross-region アクセスが必要な場合は、VPC エンドポイントサービスを作成する必要があります。
設定の出発点として、このガイドが役立ちます。同一 Region 内でアクセスする場合は、VPC リソースを作成する方法を推奨します。
- 選択した endpoint タイプに必要なパラメータを入力します。
- VPC リソースの場合は、configuration share ARN と configuration ID を入力します。
- MSK マルチ VPC の場合は、クラスター ARN と、作成した endpoint で使用する authentication method を入力します。
- VPC エンドポイントサービスの場合は、サービス名を入力します。
- 必要に応じて、カスタム プライベート DNS 名を入力します。
-
Createをクリックし、リバース プライベート エンドポイント の準備が完了するまで待ちます。 新しい endpoint を作成する場合は、セットアップに少し時間がかかります。 endpoint の準備が完了すると、ページは自動的に更新されます。 VPC エンドポイントサービスでは、AWS コンソールで接続リクエストを承認する必要がある場合があります。
- endpoint の準備ができたら、DNS 名を使用してデータソースに接続できます。 endpoint の一覧で、利用可能な endpoint の DNS 名を確認できます。 これは、ClickPipes が内部的にプロビジョニングした DNS 名、PrivateLink サービスが提供する プライベート DNS 名、 または カスタム プライベート DNS name のいずれかです。 DNS 名は完全なネットワークアドレスではありません。 データソースに応じてポートを追加してください。 MSK の接続文字列は AWS コンソールで確認できます。 DNS 名の完全な一覧を確認するには、Cloud サービスの設定にアクセスしてください。
既存のリバースプライベートエンドポイントの管理
-
サイドバーで
Settingsボタンを見つけてクリックします。 -
ClickPipe reverse private endpointsセクションでReverse private endpointsをクリックします。 リバースプライベートエンドポイントの詳細情報がフライアウトに表示されます。 ここからエンドポイントを削除することもできます。削除すると、このエンドポイントを使用しているすべての ClickPipes に影響します。
サポート対象の AWS リージョン
制限事項
非アクティブなエンドポイントの自動クリーンアップ
猶予期間が経過すると、エンドポイントと関連するすべてのリソースが自動的に削除されます。
自動削除を防ぐには、猶予期間が切れる前に根本的な問題を解消してください。
たとえば、AWS コンソールで保留中の接続リクエストを承認するか、
Failed 状態になっている場合はエンドポイントを再作成してください。