跳转到主内容
跳转到主内容

通过 ClickPipes 中的数据源迁移 PostgreSQL 数据

Beta

ClickHouse Cloud 现已提供 ClickPipes，可将外部 PostgreSQL 数据库迁移到 Managed Postgres 服务。此内置集成简化了整个流程，让您能够连接源数据库、导出 schema、将其导入 Managed Postgres，并设置持续复制。

前置条件​

迁移前注意事项​

  • DDL 传递：持续复制 (CDC) 会捕获 DML 操作以及 ADD COLUMN。其他 DDL 变更 (如 DROP COLUMN 和 ALTER COLUMN) 不会传递，必须在目标端手动执行。
注意

如果您在迁移过程中遇到问题，请查阅 Managed Postgres 迁移常见问题，了解常见错误及其解决方法。

第 1 步：连接到源数据库​

打开 ClickHouse Cloud 控制台，然后选择您的 Managed Postgres 服务。

ClickHouse Cloud 服务列表中的 Managed Postgres 服务卡片

在左侧边栏中，点击 数据源。

Managed Postgres 服务侧边栏中的数据源条目

点击 开始导入。

带有“开始导入”按钮的数据源页面

填写源 PostgreSQL 数据库的连接信息：主机、端口、用户名、密码和数据库名称。如果源数据库要求，请启用 TLS。

如果您需要通过私有连接访问源数据库，可以选择 SSH 隧道，并提供所需的 SSH 信息。这样，迁移过程就能安全地连接到无法公开访问的数据库。

选择一种摄取方式：

  • 初始加载 + CDC —— 复制现有数据，然后让目标持续与后续变更保持同步。
  • 仅初始加载 —— 一次性复制，不进行持续复制。
  • 仅 CDC —— 跳过初始复制，仅复制从此刻起产生的新变更。
第 1 步：包含摄取方式选项的源数据库连接表单

点击 下一步。

第 2 步：导出数据库 schema​

向导会显示一条已预先填入源连接信息的 pg_dump 命令。在终端中运行它：

第 2 步：用于导出 schema 的 pg_dump 命令
pg_dump \
  -h <source_host> \
  -U <source_user> \
  -d <source_database> \
  --schema-only \
  -f pg.sql

这会在当前目录中创建 pg.sql。

运行 pg_dump 后的终端输出

点击 下一步。

第 3 步：将 schema 导入您的 Managed Postgres 服务​

从下拉菜单中选择目标端数据库，或点击 Create a new database 创建一个新数据库。

向导会显示一条 psql 命令，用于将 schema 转储导入您的 Managed Postgres 服务。在终端中运行该命令：

第 3 步：用于导入 schema 的 psql 命令
psql \
  -h <target_host> \
  -p 5432 \
  -U <target_user> \
  -d <target_database> \
  -f pg.sql
运行 psql schema 导入后显示的终端输出

点击 下一步。

步骤 4：配置摄取设置​

指定用于逻辑复制的 publication。若留空，系统会自动创建一个 publication。

展开 高级复制设置 以调优吞吐量：

设置默认值描述
同步时间间隔 (秒)10轮询 replication slot 的频率
初始加载的并行线程数4批量复制阶段使用的线程数
拉取批次大小100,000每个复制批次拉取的行数
每个分区快照的行数100000大表快照的分区大小
并行快照的表数量1可并发创建快照的表数量
步骤 4：包含 publication 和高级复制选项的摄取设置表单

点击 下一步。

步骤 5：选择表​

选择要复制的表。表按 schema 归类。您可以选择单个表，也可以展开某个 schema 以选择其中的所有表。

步骤 5：按 schema 归类的表选择器，带有 Create migration 按钮

点击 Create migration。

监控迁移​

创建迁移后，你会在数据源中看到它，状态为 运行中。

数据源列表中显示一项正在运行的迁移

点击该迁移以打开详情视图。表选项卡会显示每个表的初始加载进度，包括已处理的行数、分区数以及每个分区的平均耗时。指标选项卡则会在 CDC 开始后显示复制延迟和吞吐量。

迁移详情视图中显示每个表的初始加载统计信息

迁移后任务​

完成初始加载后，如果使用了 CDC，且复制延迟已接近零：

验证行数。 在切换流量之前，对源端和目标端的关键表进行抽样检查：

SELECT COUNT(*) FROM public.orders;

停止向源端写入。 暂停应用写入。要在切换期间强制设为只读模式：

ALTER DATABASE <source_db> SET default_transaction_read_only = on;

确认复制已追上进度。 比较源端和目标端的最新一行：

-- Run on both source and target
SELECT MAX(id), MAX(updated_at) FROM public.orders;

重置序列。 使序列与每个表中的当前最大值保持一致：

DO $$
DECLARE r RECORD;
BEGIN
    FOR r IN
        SELECT
            n.nspname AS schema_name,
            c.relname AS table_name,
            a.attname AS column_name,
            pg_get_serial_sequence(format('%I.%I', n.nspname, c.relname), a.attname) AS seq_name
        FROM pg_class c
        JOIN pg_namespace n ON n.oid = c.relnamespace
        JOIN pg_attribute a ON a.attrelid = c.oid
        WHERE c.relkind = 'r'
            AND a.attnum > 0
            AND NOT a.attisdropped
            AND n.nspname NOT IN ('pg_catalog', 'information_schema')
    LOOP
        IF r.seq_name IS NOT NULL THEN
            EXECUTE format(
                'SELECT setval(%L, COALESCE((SELECT MAX(%I) FROM %I.%I), 0) + 1, false)',
                r.seq_name, r.column_name, r.schema_name, r.table_name
            );
        END IF;
    END LOOP;
END $$;

切换应用流量。 将读写流量切换到您的 Managed Postgres 服务，并监控错误、约束违规情况以及复制健康状态。

清理。 完成切换并确认新服务运行正常后，从数据源中删除此次迁移。如果您使用了 CDC，请从源端删除 replication slot 以释放资源：

SELECT pg_drop_replication_slot('<slot_name>');

后续步骤​