跳到主要内容
跳到主要内容

RDS MySQL 源设置指南

本分步指南将指导您如何配置 Amazon RDS MySQL，以使用 MySQL ClickPipe 将数据复制到 ClickHouse Cloud。有关 MySQL CDC 的常见问题，请参阅 MySQL 常见问题页面。

启用二进制日志保留​

二进制日志是一组日志文件，包含对 MySQL 服务器实例进行的数据修改信息，二进制日志文件是进行复制所必需的。要在 RDS MySQL 中配置二进制日志保留，您必须 启用二进制日志 并 增加 binlog 保留时间间隔。

1. 通过自动备份启用二进制日志​

自动备份功能决定了 MySQL 是否启用二进制日志。可以通过 RDS 控制台为您的实例配置自动备份，步骤是导航到 修改 > 附加配置 > 备份，然后选中 启用自动备份 复选框（如果尚未选中）。

在 RDS 中启用自动备份

我们建议将 备份保留期 设置为一个相对较长的值，具体取决于复制的使用场景。

2. 增加 binlog 保留时间间隔​

警告

如果 ClickPipes 尝试恢复复制，而由于配置的 binlog 保留值导致所需的 binlog 文件被清除，ClickPipe 将进入错误状态，需进行重新同步。

默认情况下，Amazon RDS 尽快清除二进制日志（即 延迟清除）。我们建议将 binlog 保留时间间隔增加到至少 72 小时，以确保在故障场景下二进制日志文件的可用性。要设置二进制日志保留时间间隔 (binlog retention hours)，请使用 mysql.rds_set_configuration 存储过程：

mysql=> call mysql.rds_set_configuration('binlog retention hours', 72);

如果未设置此配置或设置为较低的时间间隔，可能会导致二进制日志中出现空白，从而影响 ClickPipes 恢复复制的能力。

配置 binlog 设置​

可以通过在 RDS 控制台中单击您的 MySQL 实例，然后导航到 配置 选项卡找到参数组。

提示

如果您有 MySQL 集群，以下参数可以在 DB 集群 参数组中找到，而不是在 DB 实例组中。

在 RDS 中找到参数组的位置

单击参数组链接，您将被带到该页面的专用部分。您应该在右上角看到一个 编辑 按钮。

编辑参数组

以下参数需要设置如下：

  1. 将 binlog_format 设置为 ROW。
将 Binlog 格式设置为 ROW
  1. 将 binlog_row_metadata 设置为 FULL
将 Binlog 行元数据设置为 FULL
  1. 将 binlog_row_image 设置为 FULL
将 Binlog 行图像设置为 FULL

然后，单击右上角的 保存更改。您可能需要重启实例以使更改生效 —— 确认的方法是查看 RDS 实例的 配置 选项卡中参数组链接旁是否显示 待重启。

启用 GTID 模式​

提示

MySQL ClickPipe 也支持在没有 GTID 模式的情况下进行复制。然而，建议启用 GTID 模式以获得更好的性能和更简单的故障排除。

全局事务标识符 (GTIDs) 是分配给 MySQL 中每个已提交事务的唯一 ID。它们简化了 binlog 复制并使故障排除更加直接。我们 建议 启用 GTID 模式，以便 MySQL ClickPipe 可以使用基于 GTID 的复制。

GTID 基于的复制支持 Amazon RDS 的 MySQL 版本 5.7、8.0 和 8.4。要为您的 Aurora MySQL 实例启用 GTID 模式，请按照以下步骤操作：

  1. 在 RDS 控制台中单击您的 MySQL 实例。
  2. 点击 配置 选项卡。
  3. 单击参数组链接。
  4. 单击右上角的 编辑 按钮。
  5. 将 enforce_gtid_consistency 设置为 ON。
  6. 将 gtid-mode 设置为 ON。
  7. 单击右上角的 保存更改。
  8. 重启您的实例以使更改生效。
GTID 启用

提示

MySQL ClickPipe 也支持在没有 GTID 模式的情况下进行复制。然而，建议启用 GTID 模式以获得更好的性能和更简单的故障排除。

配置数据库用户​

作为管理员用户连接到 RDS MySQL 实例并执行以下命令：

  1. 为 ClickPipes 创建一个专用用户：
CREATE USER 'clickpipes_user'@'host' IDENTIFIED BY 'some-password';
  1. 授予模式权限。以下示例显示了对 mysql 数据库的权限。对每个您要复制的数据库和主机重复这些命令：
GRANT SELECT ON `mysql`.* TO 'clickpipes_user'@'host';
  1. 授予用户复制权限：
GRANT REPLICATION CLIENT ON *.* TO 'clickpipes_user'@'%';
GRANT REPLICATION SLAVE ON *.* TO 'clickpipes_user'@'%';

配置网络访问​

基于 IP 的访问控制​

要限制流量到您的 Aurora MySQL 实例，请将 文档中的静态 NAT IP 添加到 RDS 安全组的 入站规则 中。

在 RDS MySQL 中找到安全组的位置？
编辑上述安全组的入站规则

要通过专用网络连接到您的 RDS 实例，可以使用 AWS PrivateLink。请按照 ClickPipes 的 AWS PrivateLink 设置指南 设置连接。

下一步骤​

现在您的 Amazon RDS MySQL 实例已配置为 binlog 复制并安全连接到 ClickHouse Cloud，您可以 创建您的第一个 MySQL ClickPipe。有关 MySQL CDC 的常见问题，请参阅 MySQL 常见问题页面。