distributed_plan_default_reader_bucket_count
用于分布式查询并行读取的默认任务数。任务会分配到各个副本之间。 由基于规则的分布式查询计划器使用。基于成本的优化器会根据估算成本选择读取扇出,不使用此设置。distributed_plan_default_shuffle_join_bucket_count
分布式 shuffle-hash join 的默认桶数。 由基于规则的分布式查询计划器使用。基于成本的优化器会根据估算成本选择扇出,不使用此设置。distributed_plan_exchange_compression_method
指定分布式查询计划中各任务之间进行流式数据 exchange 时,用于压缩数据包的编解码器。通过临时 File 进行的 exchange 则使用服务器的默认编解码器。 可选值:''— 使用 network_compression_method 所指定的编解码器。NONE— 不压缩。LZ4— 使用 LZ4 编解码器。LZ4HC— 使用 LZ4HC 编解码器,采用其默认级别 9。压缩速度比LZ4慢数倍。ZSTD— 使用 ZSTD 编解码器,压缩级别由 distributed_plan_exchange_zstd_compression_level 指定。
distributed_plan_exchange_zstd_compression_level
分布式查询计划中流式数据 exchange 所使用的 ZSTD 压缩级别。仅当 distributed_plan_exchange_compression_method 设置为ZSTD 时生效。
可选值:
- 1 到 22 之间的整数。级别越高,压缩率越高,但压缩速度越慢。
distributed_plan_execute_locally
在本地运行分布式查询计划的所有任务。适用于测试和调试。distributed_plan_fallback_to_local_execution
当查询计划中包含不支持分布式执行的步骤时,记录原因并在 initiator 上执行该查询,而不是抛出异常。禁用后则会抛出异常。 仅在启用make_distributed_plan (私有预览) 时生效。
distributed_plan_force_exchange_kind
强制在分布式查询各阶段之间使用指定类型的 Exchange 算子。 可能的值:- ” - 不强制使用任何类型的 Exchange 算子,由优化器自行选择,
- ‘Persisted’ - 使用对象存储中的临时 File,
- ‘Streaming’ - 通过网络流式传输 Exchange 数据。
distributed_plan_force_shuffle_aggregation
在分布式查询计划中,采用 Shuffle 聚合策略,而不是 PartialAggregation + Merge。 在 Shuffle 策略无法产生正确结果的场景下会被忽略,例如GROUPING SETS,或者聚合必须按桶顺序产生结果时。
distributed_plan_join_runtime_filters
在启用make_distributed_plan 时,将某个阶段构建的 JOIN 运行时过滤器发送到读取探测侧的各个阶段,使这些阶段在发送行之前先完成过滤。如果过滤器未能送达,行将不经过滤直接传递。需要同时启用 enable_join_runtime_filters。
distributed_plan_max_buffered_log_rows
当send_logs_level 将无状态工作线程任务的日志转发给协调器时,每个工作线程任务在两次状态轮询之间最多缓冲该数量的日志行。超出上限的行将被丢弃,丢弃的行数会报告给客户端。0 表示不设上限 (不会丢弃任何日志,但如果状态轮询停滞,缓冲区可能会无限增长) 。
distributed_plan_max_rows_to_broadcast
在分布式查询计划中,使用 broadcast join 而非 shuffle join 的最大行数。 这是基于规则的分布式查询计划器使用的启发式规则。启用基于成本的优化器后,broadcast 与 shuffle 的选择由估算成本决定,此设置不起作用。distributed_plan_optimize_exchanges
移除分布式查询计划中不必要的 exchange。调试时请禁用此设置。distributed_plan_partial_aggregation_before_shuffle
在分布式聚合按GROUP BY 键对数据进行 shuffle 之前,先在读取数据的节点上执行部分聚合。这样,shuffle 时每个节点对每个分组只发送一个聚合状态,而无需发送全部输入行;之后每个桶再合并各自键对应的状态。
如果列统计信息表明部分聚合无法将数据量至少减半,基于规则的查询规划器仍会对输入行进行 shuffle。启用 enable_cascades_optimizer 时,该设置允许优化器根据代价决定是否在每个桶中采用这种合并方式。
仅在同时设置 make_distributed_plan = 1 时生效;若启用了 distributed_plan_force_shuffle_aggregation (该设置会对输入行进行 shuffle) ,则此设置不生效。
distributed_plan_prefer_replicas_over_workers
将分布式查询计划序列化后在副本上执行。distributed_plan_read_in_order
允许在分布式查询计划中为ORDER BY 启用 read-in-order 优化,使按表 sorting key 进行的有序读取可以跳过排序并提前结束,而无需先扫描再排序。
默认关闭:将排序分布式化的 rewrite 假定其所包裹的排序不依赖输入本身已经有序,而这类依赖有序输入的排序有可能通过不保序的 exchange 获取行。目前仅当读取与排序之间不残留 exchange 的形态下才是安全的。
distributed_plan_worker_cluster
指定用于执行此查询分布式查询计划的 stateless-worker 集群名称。默认值为空,表示使用预配置的默认集群;其他集群可在stateless_worker_client.clusters 下配置。