distributed_plan_default_reader_bucket_count
分散クエリで並列読み取りを行う際のデフォルトのタスク数です。タスクはレプリカ間に分散されます。 ルールベースの分散プランナーで使用されます。コストベースのオプティマイザは推定コストに基づいて読み取りのファンアウトを選択するため、この設定は使用しません。distributed_plan_default_shuffle_join_bucket_count
分散 shuffle-hash-join のデフォルトのバケット数。 ルールベースの分散プランナーで使用されます。コストベースのオプティマイザは推定コストに基づいてファンアウトを選択するため、この設定は使用しません。distributed_plan_exchange_compression_method
分散クエリプランのタスク間で行われる streaming エクスチェンジ において、パケットの圧縮に使用するコーデックです。一時ファイルを介したエクスチェンジには、サーバーのデフォルトコーデックが使用されます。 設定可能な値:''— network_compression_method のコーデックを使用します。NONE— 圧縮しません。LZ4— LZ4 コーデックを使用します。LZ4HC— LZ4HC コーデックをデフォルトのレベル 9 で使用します。圧縮速度はLZ4の数倍以上遅くなります。ZSTD— distributed_plan_exchange_zstd_compression_level で指定したレベルで ZSTD コーデックを使用します。
distributed_plan_exchange_zstd_compression_level
分散クエリプランの streaming exchange で使用する ZSTD 圧縮のレベルです。distributed_plan_exchange_compression_method がZSTD に設定されている場合にのみ使用されます。
設定可能な値:
- 1 から 22 までの整数。レベルが高いほど圧縮率は高くなりますが、処理速度は低下します。
distributed_plan_execute_locally
分散クエリプランのすべてのタスクをローカルで実行します。テストやデバッグに有用です。distributed_plan_fallback_to_local_execution
クエリプランに分散実行に対応していないステップが含まれている場合、例外をスローするのではなく、その理由をログに記録してイニシエーター上でクエリを実行します。無効にすると、代わりに例外がスローされます。make_distributed_plan (プライベートプレビュー) が有効な場合にのみ有効になります。
distributed_plan_force_exchange_kind
分散クエリのステージ間で、指定した種類の Exchange 演算子を強制します。 設定可能な値:- ” - どの種類の Exchange 演算子も強制せず、オプティマイザに選択させます。
- ‘Persisted’ - オブジェクトストレージ内の一時ファイルを使用します。
- ‘Streaming’ - Exchange データをネットワーク経由でストリーミングします。
distributed_plan_force_shuffle_aggregation
分散クエリプランでは、PartialAggregation + Merge の代わりに Shuffle 集約戦略を使用します。 Shuffle 戦略が正しい結果を生成できない場合、たとえばGROUPING SETS の場合や、集約が bucket 順で結果を生成しなければならない場合には無視されます。
distributed_plan_join_runtime_filters
make_distributed_plan 使用時に、あるステージで構築された JOINランタイムフィルタを、プローブ側を読み取るステージへ送信します。これにより、それらのステージは行を送信する前にフィルタリングできます。フィルタが届かなかった場合、行はフィルタリングされずにそのまま渡されます。enable_join_runtime_filters を有効にする必要があります。
distributed_plan_max_buffered_log_rows
send_logs_level によってステートレスワーカーのタスクログがコーディネーターへ転送される場合、各workerタスクがステータスポーリングの合間にバッファリングするログ行数は、この値が上限となります。上限を超えた行は破棄され、その件数がクライアントに報告されます。0 は無制限を意味します (行が破棄されることはありませんが、ステータスポーリングが停滞するとバッファが際限なく増大する可能性があります)。
distributed_plan_max_rows_to_broadcast
分散クエリプランで、shuffle join の代わりに broadcast join を使用する際の最大行数。 ルールベースの分散プランナーにおけるヒューリスティックです。コストベースのオプティマイザが有効な場合、broadcast と shuffle の選択は推定コストに基づいて行われるため、この設定は効果がありません。distributed_plan_optimize_exchanges
分散クエリプラン内の不要な Exchange を削除します。デバッグ時は無効にしてください。distributed_plan_partial_aggregation_before_shuffle
分散集約がGROUP BY キーに基づいてデータをshuffleする前に、データを読み取るノード上で部分集約を行います。これにより、shuffle時にはすべての入力行ではなく、各ノードからグループごとに 1 つの集約状態のみが送信され、各バケットは担当するキーの状態をマージします。
ルールベースのプランナーは、カラム STATISTICS に基づき、部分集約を行ってもデータ量が半分以下にならないと判断した場合は、従来どおり入力行をshuffleします。enable_cascades_optimizer が有効な場合、この設定により、オプティマイザはバケットごとにこのマージを行うかどうかをコストに基づいて選択できます。
この設定は make_distributed_plan = 1 と併用した場合にのみ有効です。入力行をshuffleする distributed_plan_force_shuffle_aggregation と併用した場合は効果がありません。
distributed_plan_prefer_replicas_over_workers
レプリカで実行できるよう、分散クエリプランをシリアライズします。distributed_plan_read_in_order
分散クエリプランにおけるORDER BY の read-in-order 最適化を許可します。これにより、スキャンしてソートする代わりに、テーブルのソーティングキー順に読み取ることでソートを省略し、早期に処理を打ち切れます。
デフォルトでは無効です。ソートを分散させる rewrite は、対象のソートが「入力が既に順序付けられていること」に依存しないことを前提としていますが、実際に依存するソートに対しては、順序を保持しない exchange を経由して行が供給される可能性があります。現時点で安全なのは、読み取りとソートの間に exchange が残らない shape のみです。
distributed_plan_worker_cluster
このクエリの分散実行計画を実行するステートレスワーカークラスターの名前です。デフォルト値 (空文字列) の場合は、設定済みのデフォルトクラスターが選択されます。その他のクラスターはstateless_worker_client.clusters で設定します。