支持的 ClickPipes 数据源
- Kafka
- Postgres
- MySQL
- MongoDB
对于 Kafka,Schema Registry 也可以通过与消息代理相同的反向专用终结点访问,无需通过公网开放,前提是其主机名解析到该端点的私有 IP 地址。
支持的 AWS PrivateLink 端点类型
VPC 资源
不支持跨区域。
- 创建资源网关
- 创建资源配置
- 创建资源共享
1
创建资源网关
资源网关是为 VPC 中指定资源接收流量的入口。您可以通过 AWS 控制台 创建资源网关,也可以使用以下命令:输出中将包含一个资源网关 ID,下一步会用到它。继续之前,您需要等待资源网关进入
建议与资源网关关联的子网具备充足的可用 IP 地址。
建议每个子网至少使用
/26 子网掩码。对于每个 VPC 端点 (即每个 Reverse Private Endpoint) ,AWS 要求每个子网提供一段连续的 16 个 IP 地址块。(/28 子网掩码)
如果不满足此要求,Reverse Private Endpoint 将转为 Failed 状态。Active 状态。您可以运行以下命令检查其状态:2
创建 VPC 资源配置
资源配置会与资源网关关联,以便您的资源可被访问。您可以在 AWS 控制台 中创建资源配置,或使用以下命令:最简单的资源配置类型是单个 Resource-Configuration。你可以直接使用 ARN 进行配置,也可以共享可公开解析的 IP 地址或域名。例如,要使用 RDS 集群的 ARN 进行配置:输出中会包含一个 Resource-Configuration ARN,你将在下一步中用到它。输出中还会包含一个 Resource-Configuration ID,你需要用它通过 VPC 资源设置 ClickPipe 连接。
你无法为可公开访问的集群创建资源配置。
如果你的集群可公开访问,则必须先将集群修改为私有,
然后才能创建资源配置,
或者改用 IP allow list。
更多信息,请参阅 AWS 文档。
MSK multi-VPC 连接
请更新您的 MSK 集群策略,并将
072088201116 添加到 MSK 集群允许的主体中。
更多详情,请参阅 AWS 关于附加集群策略的指南。VPC endpoint service
- 您不拥有数据源的域名,因此无法使用 AWS 对其进行验证
- 提供商要求消费者自行管理 DNS 解析,Confluent Cloud 就是如此 在这些情况下,请参阅自定义私有 DNS。
- 任何需要私有 DNS 支持的本地部署 Kafka 环境
- Confluent Cloud 私网连接
- Postgres CDC 的跨区域连接
- MSK 集群的跨区域连接
将 ClickPipes 账户 ID
072088201116 添加到您的 VPC endpoint service 的允许主体中。
更多详情,请参阅 AWS 关于管理权限的指南。跨区域访问
可以为 ClickPipes 配置。将您的 ClickPipe 区域添加到您的 VPC endpoint service 的允许区域列表中。
自定义私有 DNS
自定义私有 DNS 目前处于私有预览阶段。请联系 ClickHouse 支持团队 为您的服务启用此功能。
ClickHouse Cloud 控制台目前每个反向专用终结点仅支持一个自定义私有 DNS 名称。
如果您需要在同一个端点上管理多个自定义私有 DNS 名称,请使用 OpenAPI 或 Terraform。
- 支持精确名称 (
kafka.internal.example.com) 和通配符名称 (*.example.com) 。 通配符可匹配单个 DNS 标签——例如,*.abcde12345.us-east-1.aws.confluent.cloud可匹配b0-lkc123.abcde12345.us-east-1.aws.confluent.cloud。 - 在一个 ClickHouse 服务的所有反向专用终结点中,名称必须唯一, 包括通配符名称与精确名称之间的重叠。
- 位于保留后缀下的名称 (例如
local、localhost、internal、corp、private) 将被拒绝。
- 在 ClickHouse Cloud 控制台中,创建反向专用终结点时填写
Custom private DNS name字段。该字段会在为您的服务启用此 功能后显示。 - 使用 OpenAPI 时,在创建
反向专用终结点时设置
customPrivateDnsMappings,或者通过PATCH请求更新现有 端点。更新会替换整个映射列表;空列表会移除所有自定义名称。 - 使用 Terraform 时,可使用
clickhouse_clickpipes_reverse_private_endpoint_custom_private_dns资源来管理现有反向专用终结点上的映射。
使用反向专用终结点创建 ClickPipe
- 访问您的 ClickHouse Cloud 服务的 SQL 控制台。
- 在左侧菜单中选择
数据源按钮,然后点击“Set up a ClickPipe”
- 选择 Kafka 或 Postgres 作为数据源。
- 选择
Reverse private endpoint选项。
- 选择任意一个现有的反向专用终结点,或创建一个新的。
如果 RDS 需要跨区域访问,您需要创建一个 VPC endpoint service,
本指南可作为设置时的良好起点。对于同区域访问,推荐使用 VPC 资源方式。
- 提供所选端点类型所需的参数。
- 对于 VPC 资源,提供 configuration share ARN 和 configuration ID。
- 对于 MSK multi-VPC,提供 cluster ARN 以及已创建端点所使用的身份验证方法。
- 对于 VPC endpoint service,提供服务名称。
- 您也可以选择提供一个自定义私有 DNS 名称。
-
点击
Create,然后等待反向专用终结点就绪。 如果您正在创建新端点,完成设置需要一些时间。 端点就绪后,页面会自动刷新。 VPC endpoint service 可能还需要您在 AWS 控制台中接受连接请求。
- 端点就绪后,您可以使用 DNS name 连接到数据源。 在端点列表中,您可以看到可用端点的 DNS name。 它可以是 ClickPipes 内部预配的 DNS name、由 PrivateLink 服务提供的私有 DNS name, 或自定义私有 DNS name。 DNS name 不是完整的网络地址。 请根据数据源补充端口。 MSK connection string 可在 AWS 控制台中查看。 如需查看完整的 DNS name 列表,请前往 Cloud service settings。
管理现有反向专用终结点
-
在侧边栏中找到
Settings按钮并点击。 -
在
ClickPipe reverse private endpoints部分中,点击Reverse private endpoints。 弹出面板中会显示反向专用终结点的详细信息。 也可以在此处移除此端点。这会影响所有使用该端点的 ClickPipes。
支持的 AWS 区域
限制
自动清理非活动端点
宽限期结束后,端点及其所有关联资源都会被自动删除。
为防止被自动移除,请在宽限期到期前解决根本问题。
例如,在你的 AWS 控制台中接受待处理的连接请求,
或者如果端点已进入失败状态,则重新创建该端点。