GROUP BY で減らせる以上に多くの行を作っているなら、それは materialized view ではなく、高コストな索引を作っているだけです。
このクエリは、materialized view を作成する前に、それがデータを圧縮するのか、逆に膨れ上がらせるのかを予測するのに役立ちます。実際のテーブルとカラムに対して実行し、「190GBに膨れ上がる」ような事態を避けてください。
確認できる内容:
- 低い集約率 (<10%) = 良い MV、大幅な圧縮
- 高い集約率 (>70%) = 悪い MV、ストレージ肥大化のリスク
- ストレージ倍率 = MV のサイズがどれだけ大きく/小さくなるか
- insertのレイテンシが増加する (10msで完了していたクエリが100ms以上かかるようになる)
- “パーツが多すぎる” エラーの発生頻度が高くなる
- insert処理中にCPUスパイクが発生する
- 以前は発生していなかったinsertのタイムアウトが起きる
system.query_log を使ってクエリ実行時間の傾向を追跡すると、MV追加前後のinsertパフォーマンスを比較できます。
- ClickHouse at CommonRoom - Kirill Sapchuk - 「materialized view への過度な熱意」と「20GB→190GBへの爆発的増加」の事例の出典