跳到主要内容
跳到主要内容

处理 TOAST 列

当从 PostgreSQL 复制数据到 ClickHouse 时,了解 TOAST (超大属性存储技术) 列的限制和特殊考虑非常重要。本指南将帮助您识别并正确处理复制过程中的 TOAST 列。

PostgreSQL 中的 TOAST 列是什么?

TOAST (超大属性存储技术) 是 PostgreSQL 用于处理大字段值的机制。当一行超过最大行大小(通常为 2KB,但这可能会根据 PostgreSQL 版本和确切设置有所不同)时,PostgreSQL 会自动将大字段值移动到单独的 TOAST 表中,并仅在主表中存储一个指针。

需要注意的是,在变更数据捕获 (CDC) 过程中,未更改的 TOAST 列不会包含在复制流中。如果处理不当,这可能导致数据复制不完整。

在初始加载(快照)期间,所有列的值,包括 TOAST 列,将正确复制,而不考虑它们的大小。本指南中描述的限制主要影响在初始加载后的持续 CDC 过程。

您可以在此处阅读有关 TOAST 及其在 PostgreSQL 中实现的更多信息:https://www.postgresql.org/docs/current/storage-toast.html

在表中识别 TOAST 列

要识别一个表是否具有 TOAST 列,您可以使用以下 SQL 查询:

SELECT a.attname, pg_catalog.format_type(a.atttypid, a.atttypmod) AS data_type
FROM pg_attribute a
JOIN pg_class c ON a.attrelid = c.oid
WHERE c.relname = 'your_table_name'
  AND a.attlen = -1
  AND a.attstorage != 'p'
  AND a.attnum > 0;

该查询将返回可能被 TOAST 存储的列的名称和数据类型。然而,需要注意的是,此查询仅识别根据其数据类型和存储属性符合 TOAST 存储条件的列。要确定这些列是否实际包含 TOAST 数据,您需要考虑这些列中的值是否超过了大小。数据的实际 TOAST化取决于存储在这些列中的具体内容。

确保正确处理 TOAST 列

为了确保在复制过程中正确处理 TOAST 列,您应该将表的 REPLICA IDENTITY 设置为 FULL。这告诉 PostgreSQL 在 UPDATE 和 DELETE 操作中将完整的旧行包含在 WAL 中,确保所有列值(包括 TOAST 列)可用于复制。

您可以使用以下 SQL 命令将 REPLICA IDENTITY 设置为 FULL

ALTER TABLE your_table_name REPLICA IDENTITY FULL;

有关设置 REPLICA IDENTITY FULL 时性能考虑的更多信息,请参考 这篇博客文章

当未设置 REPLICA IDENTITY FULL 时的复制行为

如果对于具有 TOAST 列的表未设置 REPLICA IDENTITY FULL,在复制到 ClickHouse 时,您可能会遇到以下问题:

  1. 对于 INSERT 操作,所有列(包括 TOAST 列)将被正确复制。

  2. 对于 UPDATE 操作:

    • 如果 TOAST 列未被修改,其值将在 ClickHouse 中显示为 NULL 或空。
    • 如果 TOAST 列被修改,它将被正确复制。
  3. 对于 DELETE 操作,TOAST 列的值将在 ClickHouse 中显示为 NULL 或空。

这些行为可能导致 PostgreSQL 源和 ClickHouse 目标之间的数据不一致。因此,对于具有 TOAST 列的表,设置 REPLICA IDENTITY FULL 以确保准确和完整的数据复制至关重要。

结论

正确处理 TOAST 列对于在从 PostgreSQL 复制到 ClickHouse 时维护数据完整性至关重要。通过识别 TOAST 列并设置适当的 REPLICA IDENTITY,您可以确保数据准确完整地复制。