开始前,请查看支持的 AWS 区域。
支持的 ClickPipes 数据源
- Kafka
- Postgres
- MySQL
- MongoDB
对于 Kafka,与 Confluent 兼容的 Schema Registry 可通过与消息代理相同的反向专用终结点访问,无需暴露在公网;前提是其主机名解析为该端点的私网 IP 地址。
支持的 AWS PrivateLink 端点类型
VPC 资源
不支持跨区域。
- 创建资源网关
- 创建资源配置
- 创建资源共享
1
创建资源网关
资源网关是接收发往 VPC 中指定资源流量的入口。您可以通过 AWS 控制台或使用以下命令创建资源网关:输出中将包含资源网关 ID,下一步需要用到它。继续之前,您需要等待资源网关进入
建议为关联到资源网关的子网保留充足的可用 IP 地址。
建议每个子网的子网掩码至少为
/26。对于每个 VPC 端点 (即每个 Reverse Private Endpoint) ,AWS 要求每个子网提供一块由 16 个连续 IP 地址组成的地址块 (/28 子网掩码) 。
如果不满足此要求,Reverse Private Endpoint 将进入失败状态。Active 状态。您可以运行以下命令检查其状态:2
MSK multi-VPC connectivity
更新 MSK 集群策略,并将
072088201116 添加到允许的主体列表中。
有关详细信息,请参阅 AWS 的附加集群策略指南。VPC endpoint service
- 您不拥有数据源的域名,因此无法通过 AWS 进行验证
- 提供商要求消费者自行管理 DNS 解析,例如 Confluent Cloud 在这些情况下,请参阅自定义私有 DNS。
- 任何需要私有 DNS 支持的本地部署 Kafka 环境
- Confluent Cloud 私有连接
- Postgres CDC 的跨区域连接
- MSK 集群的跨区域连接
将 ClickPipes 账户 ID
072088201116 添加到 VPC endpoint service 的允许的主体中。
有关详细信息,请参阅 AWS 的权限管理指南。可为 ClickPipes 配置跨区域访问。
将您的 ClickPipe 区域添加到 VPC endpoint service 的允许区域中。
自定义私有 DNS
自定义私有 DNS 目前处于私有预览阶段。请联系 ClickHouse 支持团队,为您的服务启用此功能。
ClickHouse Cloud 控制台目前每个反向专用终结点仅支持一个自定义私有 DNS name。
如果需要在同一端点上管理多个自定义私有 DNS name,请使用 OpenAPI 或 Terraform。
- 支持精确名称 (
kafka.internal.example.com) 和通配符名称 (*.example.com) 。通配符可匹配单个 DNS 标签。例如,*.abcde12345.us-east-1.aws.confluent.cloud可匹配b0-lkc123.abcde12345.us-east-1.aws.confluent.cloud。 - 在一个 ClickHouse 服务的所有反向专用终结点中,名称必须唯一, 包括通配符名称与精确名称之间重叠的情况。
- 使用保留后缀的名称 (例如
local、localhost、internal、corp、private) 将被拒绝。
- 在 ClickHouse Cloud 控制台中,创建反向专用终结点时填写
Custom private DNS name字段。为您的 服务启用该功能后,此字段才会显示。 - 使用 OpenAPI 时,创建反向专用终结点时请设置
customPrivateDnsMappings,或通过PATCH请求更新现有 端点。更新会替换完整的映射列表;空列表 会删除所有自定义名称。 - 使用 Terraform 时,使用
clickhouse_clickpipes_reverse_private_endpoint_custom_private_dns资源管理现有反向专用终结点的映射。
使用反向专用终结点创建 ClickPipe
- 打开 ClickHouse Cloud 服务的 SQL 控制台。
- 在左侧菜单中选择
Data Sources按钮,然后点击“设置 ClickPipe”。
- 选择 Kafka 或 Postgres 作为数据源。
- 选择
Reverse private endpoint选项。
- 选择现有的任一反向专用终结点,或创建新的终结点。
如果 RDS 需要跨区域访问,则需要创建 VPC endpoint service,
本指南可作为设置的良好起点。对于同一区域访问,建议创建 VPC 资源。
- 为所选端点类型提供必需参数。
- 对于 VPC 资源,请提供配置共享 ARN 和配置 ID。
- 对于 MSK multi-VPC,请提供集群 ARN,以及已创建端点使用的身份验证方法。
- 对于 VPC endpoint service,请提供服务名称。
- 也可以选择提供自定义私有 DNS 名称。
-
点击
Create,然后等待反向专用终结点就绪。 如果要创建新的终结点,设置过程需要一些时间。 终结点就绪后,页面将自动刷新。 对于 VPC endpoint service,您可能需要在 AWS 控制台中接受连接请求。
- 终结点就绪后,您可以使用 DNS name 连接到数据源。 在端点列表中,您可以查看可用端点的 DNS name。 它可以是 ClickPipes 在内部预配的 DNS name、PrivateLink 服务提供的私有 DNS 名称, 或自定义私有 DNS 名称。 DNS name 不是完整的网络地址。 请根据数据源添加端口。 可在 AWS 控制台中获取 MSK connection string。 要查看完整的 DNS name 列表,请前往 Cloud 服务设置。
管理反向专用终结点
-
在侧边栏中找到并点击
Settings按钮。 -
在
ClickPipe reverse private endpoints部分中,点击Reverse private endpoints。 弹出面板中会显示反向专用终结点的详细信息。 端点创建后无法编辑。您可以点击端点上的×并确认删除。删除操作不可恢复,并会中断所有当前使用该端点的 ClickPipe。
支持的 AWS 区域
限制
非活动端点的自动清理
宽限期届满后,端点及其所有相关资源将被自动删除。
要避免被自动删除,请在宽限期届满前解决根本问题。
例如,在 AWS 控制台中接受待处理的连接请求,
或者在端点进入失败状态后重新创建端点。