SELECT
o.o_orderkey,
o.o_orderdate,
c.c_name,
c.c_address,
c.c_comment
FROM orders AS o
INNER JOIN customer AS c
ON o.o_custkey = c.c_custkey;
論理的には、結果は次のようになります。
概念上、これは正しい結果です。一致する各注文の横に同じ顧客の値が表示されます。
負荷が大きいのは物理的な複製です。ClickHouse が結合されたすべての行に c_address や c_comment などの幅の広い値をコピーすると、JOIN 処理は同じデータの複製を繰り返すために CPU サイクルとメモリ帯域幅を消費します。そして、集約などの後続のオペレーターがそれらの行の大半を破棄する場合、そのコピー処理の多くは無駄になります。
#### 遅延カラム複製による先行コピーの回避
結合中に重複する値を物理的に複製する代わりに、ClickHouse は元の値を小さな辞書データ構造に 1 回だけ保持し、結合されたカラムをそれらを参照するコンパクトなインデックス値として表現します。
後続のクエリステップで完全に実体化されたカラムが必要になった場合でも、ClickHouse はそれを生成できます。しかし、多くの分析処理はコンパクトな表現のまま直接処理できるため、重複する値を物理的にコピーする必要はまったくありません。
これは、文字列などの幅の広いカラムを複製する JOIN において特に有効です。
#### ベンチマーク: 物理的な複製の回避
ベンチマークでは、`orders` に対する自己結合を使用して多数の重複した `o_comment` 値を生成し、それを直後に `cityHash64` で消費します。
まず、遅延複製を無効にした状態で、以下の結合例を実行しました。
SELECT sum(cityHash64(t1.o_comment))
FROM orders AS t1
INNER JOIN orders AS t2
ON t1.o_custkey = t2.o_custkey
SETTINGS
enable_lazy_columns_replication = 0,
allow_special_serialization_kinds_in_output_formats = 0;
3 回の実行のうち最も速かった結果:
1 row in set. Elapsed: 5.419 sec. Processed 300.00 million rows, 8.89 GB (55.36 million rows/s., 1.64 GB/s.)
Peak memory usage: 5.27 GiB.
SELECT sum(cityHash64(t1.o_comment))
FROM orders AS t1
INNER JOIN orders AS t2
ON t1.o_custkey = t2.o_custkey
SETTINGS
enable_lazy_columns_replication = 1,
allow_special_serialization_kinds_in_output_formats = 1;
3 回の実行のうち最も速かった結果:
1 row in set. Elapsed: 2.847 sec. Processed 300.00 million rows, 8.89 GB (105.36 million rows/s., 3.12 GB/s.)
Peak memory usage: 5.22 GiB.
EXPLAIN plan
SELECT *
FROM orders, customer
WHERE o_custkey = c_custkey
SETTINGS enable_join_runtime_filters = 0;
...
Join
...
ReadFromMergeTree (default.orders)
ReadFromMergeTree (default.customer)
EXPLAIN plan
SELECT *
FROM orders, customer
WHERE o_custkey = c_custkey
SETTINGS enable_join_runtime_filters = 1;
プランの該当部分は次のようになります。
...
Join
...
Prewhere filter column: __filterContains(_runtime_filter_14211390369232515712_0, __table1.o_custkey)
...
BuildRuntimeFilter (Build runtime join filter on __table2.c_custkey (_runtime_filter_14211390369232515712_0))
...
SELECT avg(o_totalprice)
FROM orders, customer, nation
WHERE (c_custkey = o_custkey) AND (c_nationkey = n_nationkey) AND (n_name = 'FRANCE')
SETTINGS enable_join_runtime_filters = 0;
┌──avg(o_totalprice)─┐
│ 151149.41468432106 │
└────────────────────┘
1 row in set. Elapsed: 1.005 sec. Processed 165.00 million rows, 1.92 GB (164.25 million rows/s., 1.91 GB/s.)
Peak memory usage: 1.24 GiB.
SELECT avg(o_totalprice)
FROM orders, customer, nation
WHERE (c_custkey = o_custkey) AND (c_nationkey = n_nationkey) AND (n_name = 'FRANCE')
SETTINGS enable_join_runtime_filters = 1;
┌──avg(o_totalprice)─┐
│ 151149.41468432106 │
└────────────────────┘
1 row in set. Elapsed: 0.471 sec. Processed 165.00 million rows, 1.92 GB (350.64 million rows/s., 4.08 GB/s.)
Peak memory usage: 185.18 MiB.
SELECT
n_name,
sum(l_extendedprice * (1 - l_discount)) AS revenue
FROM
customer,
orders,
lineitem,
supplier,
nation,
region
WHERE
c_custkey = o_custkey
AND l_orderkey = o_orderkey
AND l_suppkey = s_suppkey
AND c_nationkey = s_nationkey
AND s_nationkey = n_nationkey
AND n_regionkey = r_regionkey
AND r_name = 'ASIA'
AND o_orderdate >= DATE '1994-01-01'
AND o_orderdate < DATE '1994-01-01' + INTERVAL '1' year
GROUP BY
n_name
ORDER BY
revenue DESC;
まず、**統計情報なし**のテーブルでクエリを実行しました。
USE tpch_no_stats;
SET query_plan_optimize_join_order_limit = 10;
SET allow_statistics_optimize = 1;
┌─n_name────┬─────────revenue─┐
│ VIETNAM │ 5310749966.867 │
│ INDIA │ 5296094837.7503 │
│ JAPAN │ 5282184528.8254 │
│ CHINA │ 5270934901.5602 │
│ INDONESIA │ 5270340980.4608 │
└───────────┴─────────────────┘
5 rows in set. Elapsed: 3903.678 sec. Processed 766.04 million rows, 16.03 GB (196.23 thousand rows/s., 4.11 MB/s.)
Peak memory usage: 99.12 GiB.
1 時間以上かかりました！ 🐌 しかも 99 GiB のメインメモリを使用しました。
次に、**統計情報あり**のテーブルで同じクエリを再実行しました。
USE tpch_stats;
SET query_plan_optimize_join_order_limit = 10;
SET allow_statistics_optimize = 1;
┌─n_name────┬─────────revenue─┐
│ VIETNAM │ 5310749966.867 │
│ INDIA │ 5296094837.7503 │
│ JAPAN │ 5282184528.8254 │
│ CHINA │ 5270934901.5602 │
│ INDONESIA │ 5270340980.4608 │
└───────────┴─────────────────┘
5 rows in set. Elapsed: 2.702 sec. Processed 638.85 million rows, 14.76 GB (236.44 million rows/s., 5.46 GB/s.)
Peak memory usage: 3.94 GiB.