跳转到主内容
跳转到主内容

重新同步数据库 ClickPipe

重新同步 会执行什么操作?

重新同步 会按顺序执行以下操作:

  1. 现有的 ClickPipe 会被删除,并启动一个新的“重新同步” ClickPipe。因此,当你执行 重新同步 时,源表结构的变更也会一并同步。
  2. 重新同步 ClickPipe 会创建 (或替换) 一组新的目标表,这些表的名称与原始表相同,只是添加了 _resync 后缀。
  3. _resync 表执行初始导入。
  4. 随后会将 _resync 表与原始表交换。在交换之前,原始表中被软删除的行会转移到 _resync 表中。

原始 ClickPipe 的所有 settings 都会保留在 重新同步 ClickPipe 中。原始 ClickPipe 的 statistics 会在 UI 中清空。

重新同步 ClickPipe 的使用场景

以下是几个场景:

  1. 你可能需要对源表执行重大的 schema 变更,这会导致现有 ClickPipe 无法继续工作,并且需要重新开始。完成这些变更后,只需点击“重新同步”。
  2. 对于 ClickHouse,可能需要更改目标表的 ORDER BY 键。你可以通过重新同步将数据重新填充到具有正确排序键的新表中。
  3. ClickPipe 的复制 slot 已失效:重新同步会创建一个新的 ClickPipe,并在源数据库上创建一个新的 slot。
注意

你可以多次重新同步,但请注意重新同步对源数据库造成的负载, 因为每次都会执行带并行线程数量的初始导入。

重新同步 ClickPipe 指南

  1. Data Sources 选项卡中,点击要重新同步的 Postgres ClickPipe。
  2. 转到 Settings 选项卡。
  3. 点击 重新同步 按钮。
  1. 此时应会出现确认对话框。再次点击 重新同步
  2. 转到 Metrics 选项卡。
  3. 大约 5 秒后 (以及刷新页面后) ,管道状态应为 SetupSnapshot
  4. 可在 Tables 选项卡的 Initial Load Stats 部分查看重新同步的初始导入进度。
  5. 初始导入完成后,管道会以原子方式将 _resync 表与原始表进行交换。交换期间,状态将为 重新同步
  6. 交换完成后,管道将进入 Running 状态,并在启用时执行 CDC。