通用 Postgres 源设置指南
如果您使用的是支持的提供商(在侧边栏中),请参考该提供商的具体指南。
ClickPipes 支持 Postgres 版本 12 及更高版本。
启用逻辑复制
-
要在您的 Postgres 实例上启用复制,我们需要确保设置以下参数:
要检查这一点,您可以运行以下 SQL 命令:
输出应为
logical
。如果不是,请运行: -
此外,建议在 Postgres 实例上设置以下参数:
要检查这一点,您可以运行以下 SQL 命令:
如果这些值与推荐值不匹配,您可以运行以下 SQL 命令来设置它们:
-
如果您对配置进行了上述更改,您需要重新启动 Postgres 实例以使更改生效。
创建具有权限和发布的用户
让我们为 ClickPipes 创建一个新用户,赋予其适合 CDC 的必要权限,并创建一个将用于复制的发布。
为此,您可以连接到您的 Postgres 实例并运行以下 SQL 命令:
请确保将 clickpipes_user
和 clickpipes_password
替换为您想要的用户名和密码。
在 pg_hba.conf 中启用对 ClickPipes 用户的连接
如果您是自管理的,您需要按照以下步骤允许来自 ClickPipes IP 地址的对 ClickPipes 用户的连接。如果您使用的是托管服务,可以按照提供商的文档进行相同的操作。
-
对
pg_hba.conf
文件进行必要的更改,以允许来自 ClickPipes IP 地址的对 ClickPipes 用户的连接。pg_hba.conf
文件中的示例条目如下: -
重新加载 PostgreSQL 实例以使更改生效:
增加 max_slot_wal_keep_size
这是一个推荐的配置更改,以确保大事务/提交不会导致复制槽被丢弃。
您可以通过更新 postgresql.conf
文件将 PostgreSQL 实例的 max_slot_wal_keep_size
参数增加到更高的值(至少 100GB 或 102400
)。
您可以重新加载 Postgres 实例以使更改生效:
如需更好的值推荐,您可以联系 ClickPipes 团队。
接下来要做什么?
您现在可以 创建您的 ClickPipe 并开始将数据从 Postgres 实例导入到 ClickHouse Cloud。 请务必记下您在设置 Postgres 实例时使用的连接详细信息,因为您在创建 ClickPipe 过程中将需要这些信息。