replicated_deduplication_window_* MergeTree テーブル設定

これらの設定は system.merge_tree_settings で確認でき、ClickHouse のソースコードから自動生成されています。

replicated_deduplication_window

ClickHouse Keeper が重複チェックのためにハッシュサムを保存する、直近に挿入されたブロック数。設定可能な値:

任意の正の整数。
0 (重複排除を無効化)

挿入の重複排除では、レプリケートテーブルへの書き込み時に、ClickHouse は重複排除用のハッシュサムを ClickHouse Keeper に書き込みます。ハッシュサムが保存されるのは直近の replicated_deduplication_window ブロックのみです。最も古いハッシュサムは ClickHouse Keeper から削除されます。ハッシュサムは挿入されたブロック全体を対象とするため、insert が重複排除されるのは、個々の part 単位ではなく、データ全体が以前の insert (再試行) と一致する場合のみです。 replicated_deduplication_window に大きな値を指定すると、比較が必要なエントリが増えるため、Inserts は遅くなります。

replicated_deduplication_window_for_async_inserts

異なるバージョンが混在するローリングアップグレードのために維持されているレガシー設定です。新しい insert は replicated_deduplication_window によって管理される統一ハッシュで重複排除されます。現在この設定が制限するのは、ClickHouse Keeper の async_blocks ディレクトリに保持されるレガシー非同期 INSERT ハッシュの数だけです。これらはローリングアップグレード中も古いレプリカによって引き続き書き込まれ、リーダーによってクリーンアップされます。値を 0 にすると 1 つも保持されず、次回のクリーンアップで全エントリが削除されます。そのため、アップグレード中にレガシー async の重複排除ウィンドウを維持するには、デフォルト値 (またはそれ以上の値) のままにしてください。

replicated_deduplication_window_seconds

挿入されたブロックのハッシュサムが ClickHouse Keeper から削除されるまでの秒数です。設定可能な値:

任意の正の整数。

replicated_deduplication_window と同様に、replicated_deduplication_window_seconds は挿入の重複排除のためにブロックのハッシュサムをどのくらいの期間保存するかを指定します。replicated_deduplication_window_seconds より古いハッシュサムは、 replicated_deduplication_window 未満であっても ClickHouse Keeper から削除されます。この時間は実時間ではなく、最新のレコードの時刻を基準とした相対時間です。そのレコードしか存在しない場合は、永久に保存されます。

replicated_deduplication_window_seconds_for_async_inserts

混在バージョンでのローリングアップグレード向けに維持されているレガシー設定です。 replicated_deduplication_window_for_async_inserts とあわせて、従来の非同期 INSERT ハッシュを ClickHouse Keeper 内の async_blocks ディレクトリに保持する期間を制限します (これらのハッシュは、ローリングアップグレード中に古いレプリカによって書き込まれ、リーダーによってクリーンアップされます) 。新しい INSERT では replicated_deduplication_window_seconds を使用します。