跳转到主要内容
这些设置可在 system.merge_tree_settings 中查看,且由 ClickHouse 源代码自动生成。

max_bytes_to_buffer_for_packed_part

打包式数据分片在由插入、合并或变更写入期间,其已缓冲数据可占用的最大内存量。打包式分片会将其所有文件的数据保留在内存中,直到该分片完成写入。 一旦已缓冲数据超过此限制,其中最大的若干文件的数据会被 移至服务器临时存储 (tmp_path、tmp_policy 或 temporary_data_in_cache) 中的临时 File,并在完成写入时读回。这些临时 File 计入 max_temporary_data_on_disk_size_for_query 和 max_temporary_data_on_disk_size_for_user 的统计。 每个仍在写入的文件的最后一个块 (最多 64 KiB) 无法移出,因此同时写入大量文件的分片 (例如包含大量列的宽格式分片) 可能会占用更多内存。 一个分片的数据会被移至同一个临时 File 中,其写入缓冲区 (使用默认的 temporary_files_buffer_size 时约为 2 MiB) 会一直驻留在内存中,直到该分片完成写入。 该限制分别作用于分片本身及其每个投影。0 表示不限制。

max_bytes_to_merge_at_max_space_in_pool

在资源充足的情况下,可合并为一个 part 的最大总 parts 大小 (以字节为单位) 。这大致对应于自动后台合并所能生成的最大 part 大小。 (0 表示禁用合并) 可能的值:
  • 任意非负整数。
合并调度器会定期分析各个分区中 parts 的大小和数量;如果池中有足够的空闲资源,就会启动后台合并。合并会持续进行,直到源 parts 的总大小超过 max_bytes_to_merge_at_max_space_in_pool。 由 OPTIMIZE FINAL 发起的合并会忽略 max_bytes_to_merge_at_max_space_in_pool (仅考虑可用的磁盘空间) 。

max_bytes_to_merge_at_min_space_in_pool

在后台池可用资源最少时,可合并为一个 part 的最大总 part 大小 (以字节为单位) 。 可能的值:
  • 任意正整数。
max_bytes_to_merge_at_min_space_in_pool 定义了在可用磁盘空间不足 (在池中) 的情况下,仍可参与合并的 parts 的最大总大小。 这对于减少小 part 的数量以及降低出现 Too many parts 错误的概率是必要的。 合并会按待合并 parts 总大小的两倍预留磁盘空间。 因此,在磁盘可用空间较少时,可能会出现这样的情况: 虽然仍有可用空间,但这部分空间已经被正在进行的大型合并预留, 导致其他合并无法启动,而小 part 的数量会随着每次插入不断增加。