max_bytes_to_buffer_for_packed_part
打包式数据分片在由插入、合并或变更写入期间,其已缓冲数据可占用的最大内存量。打包式分片会将其所有文件的数据保留在内存中,直到该分片完成写入。 一旦已缓冲数据超过此限制,其中最大的若干文件的数据会被 移至服务器临时存储 (tmp_path、tmp_policy 或
temporary_data_in_cache) 中的临时 File,并在完成写入时读回。这些临时 File 计入
max_temporary_data_on_disk_size_for_query 和 max_temporary_data_on_disk_size_for_user 的统计。
每个仍在写入的文件的最后一个块 (最多 64 KiB) 无法移出,因此同时写入大量文件的分片
(例如包含大量列的宽格式分片) 可能会占用更多内存。
一个分片的数据会被移至同一个临时 File 中,其写入缓冲区 (使用默认的
temporary_files_buffer_size 时约为 2 MiB) 会一直驻留在内存中,直到该分片完成写入。
该限制分别作用于分片本身及其每个投影。0 表示不限制。
max_bytes_to_merge_at_max_space_in_pool
在资源充足的情况下,可合并为一个 part 的最大总 parts 大小 (以字节为单位) 。这大致对应于自动后台合并所能生成的最大 part 大小。 (0 表示禁用合并) 可能的值:- 任意非负整数。
max_bytes_to_merge_at_max_space_in_pool。
由 OPTIMIZE FINAL 发起的合并会忽略 max_bytes_to_merge_at_max_space_in_pool (仅考虑可用的磁盘空间) 。
max_bytes_to_merge_at_min_space_in_pool
在后台池可用资源最少时,可合并为一个 part 的最大总 part 大小 (以字节为单位) 。 可能的值:- 任意正整数。
max_bytes_to_merge_at_min_space_in_pool 定义了在可用磁盘空间不足 (在池中) 的情况下,仍可参与合并的 parts 的最大总大小。
这对于减少小 part 的数量以及降低出现
Too many parts 错误的概率是必要的。
合并会按待合并 parts 总大小的两倍预留磁盘空间。
因此,在磁盘可用空间较少时,可能会出现这样的情况:
虽然仍有可用空间,但这部分空间已经被正在进行的大型合并预留,
导致其他合并无法启动,而小 part 的数量会随着每次插入不断增加。