跳到主要内容
跳到主要内容

将 Amazon MSK 与 ClickHouse 集成

先决条件​

我们假设：

ClickHouse 的官方 Kafka 连接器与 Amazon MSK​

收集连接详细信息​

要通过 HTTP(S) 连接到 ClickHouse，您需要以下信息：

  • HOST 和 PORT：通常情况下，使用 TLS 时端口为 8443，不使用 TLS 时端口为 8123。

  • 数据库名称：默认情况下，有一个名为 default 的数据库，请使用您要连接的数据库名称。

  • 用户名和密码：默认情况下，用户名为 default。请使用适合您用例的用户名。

您的 ClickHouse Cloud 服务的详细信息可以在 ClickHouse Cloud 控制台中找到。选择您要连接的服务并点击 Connect：

选择 HTTPS，并且详细信息可以在一个示例 curl 命令中找到。

如果您使用自管理的 ClickHouse，连接详细信息由您的 ClickHouse 管理员设置。

步骤​

  1. 确保您熟悉 ClickHouse Connector Sink
  2. 创建一个 MSK 实例。
  3. 创建并分配 IAM 角色。
  4. 从 ClickHouse Connect Sink 的 发布页面 下载一个 jar 文件。
  5. 在 Amazon MSK 控制台的 自定义插件页面 上安装下载的 jar 文件。
  6. 如果连接器与公共 ClickHouse 实例通信，请 启用互联网访问。
  7. 在配置中提供主题名称、ClickHouse 实例主机名和密码。

性能调优​

提高性能的一种方法是通过在 worker 配置中添加以下内容来调整批处理大小和从 Kafka 获取的记录数量：

您使用的具体值将根据所需的记录数量和记录大小而有所不同。例如，默认值为：

您可以在官方的 Kafka 和 Amazon MSK 文档中找到更多细节（包括实施和其他考虑因素）。

有关 MSK Connect 的网络注意事项​

为了使 MSK Connect 能够连接到 ClickHouse，我们建议您的 MSK 集群位于一个具有连接互联网访问的私有子网中，并连接一个私有 NAT。以下是如何设置的说明。请注意，公共子网是支持的，但由于需要不断为您的 ENI 分配弹性 IP 地址，因此不建议使用，AWS 在这里提供了更多详情

  1. 创建一个私有子网： 在您的 VPC 中创建一个新子网，并将其指定为私有子网。此子网不应具有直接访问互联网的权限。
  2. 创建 NAT 网关： 在您 VPC 的公共子网中创建一个 NAT 网关。NAT 网关使私有子网中的实例能够连接到互联网或其他 AWS 服务，但防止互联网与这些实例建立连接。
  3. 更新路由表： 添加一条将互联网流量定向到 NAT 网关的路由。
  4. 确保安全组和网络 ACL 配置： 配置您的 安全组 和 网络 ACL（访问控制列表），以允许与 ClickHouse 实例之间的相关流量进出。
    1. 对于 ClickHouse Cloud，配置您的安全组以允许在端口 9440 和 8443 上的入站流量。
    2. 对于自托管 ClickHouse，配置您的安全组以允许在配置文件中的端口上进行入站流量（默认是 8123）。
  5. 将安全组附加到 MSK： 确保这些新的路由到 NAT 网关的安全组已附加到您的 MSK 集群。