控制 MySQL ClickPipe 的同步

这份文档描述了如何控制MySQL ClickPipe的同步，当ClickPipe处于CDC（运行中）模式时。

概述

数据库ClickPipes的架构由两个并行进程组成 - 从源数据库提取数据和将数据推送到目标数据库。提取过程由一个同步配置控制，该配置定义了数据应多久提取一次以及每次应提取多少数据。这里的“每次”指的是一个批次 - 因为ClickPipe是以批次的方式提取和推送数据。

有两种主要方式可以控制MySQL ClickPipe的同步。ClickPipe将在以下设置之一启动推送。

管道的同步间隔是ClickPipe从源数据库提取记录的时间（以秒为单位）。推送到ClickHouse的时间不包括在此间隔内。

默认值为1分钟。同步间隔可以设置为任何正整数值，但建议保持在10秒以上。

提取批次大小是ClickPipe在一个批次中从源数据库提取的记录数量。记录指的是对管道中所涉及表的插入、更新和删除操作。

默认值为100,000条记录。安全的最大值是1000万。

当源数据库上运行一个事务时，ClickPipe会等待直到收到该事务的COMMIT后才会继续。这会覆盖同步间隔和提取批次大小的设置。

您可以在创建ClickPipe时或编辑现有的ClickPipe时设置同步间隔和提取批次大小。在创建ClickPipe时，可以在创建向导的第二步看到它，如下所示：

在编辑现有ClickPipe时，您可以转到管道的设置选项卡，暂停管道，然后在此处点击配置：

这将打开一个飞出窗口，显示同步设置，您可以在这里更改同步间隔和提取批次大小：

您可以在ClickPipe的指标选项卡中的CDC Syncs表中查看每个批次所需的时间。请注意，这里的持续时间包括推送时间，如果没有行进入，ClickPipe会等待，等待时间也包括在持续时间内。