- 30 秒または 200MB をしきい値としてデータをバッチ化する
- 自動バッチ化のために async_insert を有効にする
- サーバー側でバッチ化するために buffer table を使用する
- バッチサイズを制御できるように Kafka を設定する
ALTER 操作は、多くのリソースを消費し、場合によってはデータベースをロックしてしまうことがあります。コミュニティで共有されたある事例では、14TB のデータで Integer を Float に変更した結果、データベース全体がロックされ、バックアップから再構築する必要が生じました。
負荷の高いミューテーションを監視する:
max_bytes_before_external_group_by を使用します。これは、大規模な GROUP BY 操作でメモリ不足によるクラッシュを防ぐのに役立ちます。この設定の詳細はこちらをご覧ください。
insert_distributed_sync を有効にします。
分散テーブルを使用する際は、一時データの蓄積を監視してください。
コミュニティで推奨される監視しきい値:
- パーティションあたりのパーツ数: できれば 100 未満
- 挿入遅延: 0 を維持すること
- 挿入レート: 最適なパフォーマンスのため、1 秒あたりおよそ 1 回までに抑える