Skip to main content
您可以使用 AWS PrivateLink 在 ClickPipes 与托管在 AWS 上的数据源之间建立安全连接。ClickPipes 会在其 VPC 中创建反向专用终结点 (RPE),并将其指向为您的数据源发布的专用终结点服务,确保流量不会暴露于公网。
开始前,请查看支持的 AWS 区域

支持的 ClickPipes 数据源

ClickPipes 反向专用终结点功能仅支持以下 数据源类型:
  • Kafka
  • Postgres
  • MySQL
  • MongoDB
对于 Kafka,与 Confluent 兼容的 Schema Registry 可通过与消息代理相同的反向专用终结点访问,无需暴露在公网;前提是其主机名解析为该端点的私网 IP 地址。
ClickPipes 反向专用终结点可配置为使用以下任一种 AWS PrivateLink 方式:

VPC 资源

不支持跨区域。
您可以通过 PrivateLink 在 ClickPipes 中访问 VPC 资源。此方法无需在数据源前部署负载均衡器。 资源配置可指定特定主机或 RDS 集群 ARN。 对于从 RDS 集群摄取数据的 Postgres CDC (变更数据捕获) ,这是首选方案。 要为 VPC 资源设置 PrivateLink:
  1. 创建资源网关
  2. 创建资源配置
  3. 创建资源共享
1

创建资源网关

资源网关是接收发往 VPC 中指定资源流量的入口。
建议为关联到资源网关的子网保留充足的可用 IP 地址。 建议每个子网的子网掩码至少为 /26对于每个 VPC 端点 (即每个 Reverse Private Endpoint) ,AWS 要求每个子网提供一块由 16 个连续 IP 地址组成的地址块 (/28 子网掩码) 。 如果不满足此要求,Reverse Private Endpoint 将进入失败状态。
您可以通过 AWS 控制台或使用以下命令创建资源网关:
输出中将包含资源网关 ID,下一步需要用到它。继续之前,您需要等待资源网关进入 Active 状态。您可以运行以下命令检查其状态:
2

创建 VPC 资源配置

资源配置与资源网关关联,使您的资源可被访问。您可以通过 AWS 控制台或使用以下命令创建资源配置:
最简单的资源配置类型是单个资源配置。您可以直接使用 ARN 进行配置,也可以共享可通过公网解析的 IP 地址或域名。例如,使用 RDS 集群的 ARN 进行配置:
无法为可通过公网访问的集群创建资源配置。 如果你的集群可通过公网访问,必须先将该集群修改为私网, 然后才能创建资源配置,或者改用 IP 允许列表。 有关详细信息,请参阅 AWS 文档
输出中将包含资源配置 ARN,下一步需要用到它。输出中还将包含资源配置 ID,用于通过 VPC 资源设置 ClickPipe 连接。
3

创建资源共享

共享资源需要创建 Resource-Share,可通过 Resource Access Manager (RAM) 创建。
一个 Resource-Share 只能用于一个 Reverse Private Endpoint,且不能重复使用。 如果需要将同一 Resource-Configuration 用于多个 Reverse Private Endpoint, 则必须为每个端点分别创建 Resource-Share。 删除 Reverse Private Endpoint 后,Resource-Share 仍会保留在您的 AWS 账户中; 如果不再需要,必须手动删除。
您可以通过 AWS 控制台 将 Resource-Configuration 添加到 Resource-Share,也可以使用 ClickPipes 账户 ID 072088201116 (arn:aws:iam::072088201116:root) 运行以下命令:
输出中会包含一个资源共享 ARN,使用 VPC 资源设置 ClickPipe 连接时需要用到该 ARN。现在,您可以使用 VPC 资源创建具有反向专用端点的 ClickPipe。您需要:
  • VPC endpoint type 设置为 VPC Resource
  • Resource configuration ID 设置为步骤 2 中创建的资源配置的 ID。
  • Resource share ARN 设置为步骤 3 中创建的资源共享的 ARN。
有关通过 VPC 资源使用 PrivateLink 的更多信息,请参阅 AWS 文档

MSK multi-VPC connectivity

Multi-VPC connectivity 是 AWS MSK 的内置功能,可将多个 VPC 连接到同一个 MSK 集群。 原生支持私有 DNS,无需进行额外配置。 不支持跨区域连接。 这是 ClickPipes for MSK 的推荐选项。 有关详细信息,请参阅入门指南。
更新 MSK 集群策略,并将 072088201116 添加到允许的主体列表中。 有关详细信息,请参阅 AWS 的附加集群策略指南。
请参阅我们的 ClickPipes MSK 设置指南,了解如何设置连接。

VPC endpoint service

VPC endpoint service 是与 ClickPipes 共享数据源的另一种方式。 这种方式需要在数据源前部署 NLB (Network Load Balancer) , 并将 VPC endpoint service 配置为使用该 NLB。 VPC endpoint service 可以配置私有 DNS,使其能够在 ClickPipes VPC 中访问。 AWS PrivateLink 托管的私有 DNS 并不总是可行:
  • 您不拥有数据源的域名,因此无法通过 AWS 进行验证
  • 提供商要求消费者自行管理 DNS 解析,例如 Confluent Cloud 在这些情况下,请参阅自定义私有 DNS
它是以下场景的首选方案: 有关详细信息,请参阅入门指南。
将 ClickPipes 账户 ID 072088201116 添加到 VPC endpoint service 的允许的主体中。 有关详细信息,请参阅 AWS 的权限管理指南。
可为 ClickPipes 配置跨区域访问。 将您的 ClickPipe 区域添加到 VPC endpoint service 的允许区域中。
对于 MSK 集群,请参阅 MSK 集群的 AWS PrivateLink VPC endpoint service, 了解使用自定义私有 DNS 名称、为每个 broker 配置一个 endpoint service 的设置。

自定义私有 DNS

自定义私有 DNS 目前处于私有预览阶段。请联系 ClickHouse 支持团队,为您的服务启用此功能。
AWS PrivateLink 可为具有已验证域名的 VPC endpoint service 提供托管私有 DNS。某些服务要求每个消费者在各自的 VPC 中管理 DNS 解析。例如,Confluent Cloud 要求消费者将 broker 主机名解析为 PrivateLink 端点。 对于此类情况,ClickPipes 支持将自定义私有 DNS name 附加到反向专用 终结点。ClickPipes 会将这些名称解析为该端点的私有地址,使您可通过私有连接使用数据 源自身的主机名访问数据源。 自定义私有 DNS 是对托管私有 DNS 的补充,而非替代。如果您的 PrivateLink 服务已提供私有 DNS name,则无需使用自定义名称。 VPC endpoint serviceVPC 资源端点类型支持自定义私有 DNS name。MSK multi-VPC 原生提供托管私有 DNS, 且不支持自定义名称。
ClickHouse Cloud 控制台目前每个反向专用终结点仅支持一个自定义私有 DNS name。 如果需要在同一端点上管理多个自定义私有 DNS name,请使用 OpenAPI 或 Terraform。
自定义私有 DNS name 需遵循以下规则:
  • 支持精确名称 (kafka.internal.example.com) 和通配符名称 (*.example.com) 。通配符可匹配单个 DNS 标签。例如, *.abcde12345.us-east-1.aws.confluent.cloud 可匹配 b0-lkc123.abcde12345.us-east-1.aws.confluent.cloud
  • 在一个 ClickHouse 服务的所有反向专用终结点中,名称必须唯一, 包括通配符名称与精确名称之间重叠的情况。
  • 使用保留后缀的名称 (例如 locallocalhostinternalcorpprivate) 将被拒绝。
要配置自定义私有 DNS name:
  • 在 ClickHouse Cloud 控制台中,创建反向专用终结点时填写 Custom private DNS name 字段。为您的 服务启用该功能后,此字段才会显示。
  • 使用 OpenAPI 时,创建反向专用终结点时请设置 customPrivateDnsMappings,或通过 PATCH 请求更新现有 端点。更新会替换完整的映射列表;空列表 会删除所有自定义名称。
  • 使用 Terraform 时,使用 clickhouse_clickpipes_reverse_private_endpoint_custom_private_dns 资源管理现有反向专用终结点的映射。

使用反向专用终结点创建 ClickPipe

  1. 打开 ClickHouse Cloud 服务的 SQL 控制台。
  1. 在左侧菜单中选择 Data Sources 按钮,然后点击“设置 ClickPipe”。
  1. 选择 Kafka 或 Postgres 作为数据源。
  1. 选择 Reverse private endpoint 选项。
  1. 选择现有的任一反向专用终结点,或创建新的终结点。
如果 RDS 需要跨区域访问,则需要创建 VPC endpoint service, 本指南可作为设置的良好起点。对于同一区域访问,建议创建 VPC 资源。
  1. 为所选端点类型提供必需参数。
  • 对于 VPC 资源,请提供配置共享 ARN 和配置 ID。
    • 对于 MSK multi-VPC,请提供集群 ARN,以及已创建端点使用的身份验证方法。
    • 对于 VPC endpoint service,请提供服务名称。
    • 也可以选择提供自定义私有 DNS 名称。
  1. 点击 Create,然后等待反向专用终结点就绪。 如果要创建新的终结点,设置过程需要一些时间。 终结点就绪后,页面将自动刷新。 对于 VPC endpoint service,您可能需要在 AWS 控制台中接受连接请求。
  1. 终结点就绪后,您可以使用 DNS name 连接到数据源。 在端点列表中,您可以查看可用端点的 DNS name。 它可以是 ClickPipes 在内部预配的 DNS name、PrivateLink 服务提供的私有 DNS 名称, 或自定义私有 DNS 名称。 DNS name 不是完整的网络地址。 请根据数据源添加端口。 可在 AWS 控制台中获取 MSK connection string。 要查看完整的 DNS name 列表,请前往 Cloud 服务设置。

管理反向专用终结点

您可以在 ClickHouse Cloud 服务设置中管理现有的反向专用终结点:
  1. 在侧边栏中找到并点击 Settings 按钮。
  2. ClickPipe reverse private endpoints 部分中,点击 Reverse private endpoints 弹出面板中会显示反向专用终结点的详细信息。 端点创建后无法编辑。您可以点击端点上的 × 并确认删除。删除操作不可恢复,并会中断所有当前使用该端点的 ClickPipe。
ClickPipes 对 AWS PrivateLink 的支持仅限于特定 AWS 区域。 请参阅 ClickPipes 区域列表,查看可用区域。 启用了跨区域连接的 PrivateLink VPC endpoint service 不受此限制。

限制

无法保证在 ClickHouse Cloud 中为 ClickPipes 创建的 AWS PrivateLink 端点 与 ClickHouse Cloud 服务位于同一 AWS 区域。 目前,只有 VPC endpoint service 支持 跨区域连接。 专用端点关联到特定的 ClickHouse 服务,无法在不同服务之间转移。 同一 ClickHouse 服务的多个 ClickPipes 可以复用同一端点。 对于每个 MSK 集群的每种身份验证类型 (SASL_IAM 或 SASL_SCRAM) ,AWS MSK 仅支持一个 PrivateLink (VPC 端点) 。因此,多个 ClickHouse Cloud 服务或组织无法使用相同的身份验证类型为同一 MSK 集群分别创建 PrivateLink 连接。

非活动端点的自动清理

处于终止状态的反向专用终结点会在规定的宽限期后自动删除。 这可确保未使用或配置不当的端点不会被无限期保留。 根据端点状态,适用以下宽限期: 宽限期届满后,端点及其所有相关资源将被自动删除。 要避免被自动删除,请在宽限期届满前解决根本问题。 例如,在 AWS 控制台中接受待处理的连接请求, 或者在端点进入失败状态后重新创建端点。
最后修改于 2026年8月14日