replicated_deduplication_window_* настройки таблиц семейства MergeTree

Эти настройки доступны в system.merge_tree_settings и автоматически создаются на основе исходного кода ClickHouse.

replicated_deduplication_window

Количество последних вставленных блоков, для которых ClickHouse Keeper хранит хеш-суммы для проверки дубликатов. Возможные значения:

Любое положительное целое число.
0 (отключает дедупликацию)

Для дедупликации при вставке при записи в реплицируемые таблицы ClickHouse сохраняет в ClickHouse Keeper хеш-суммы для дедупликации. Хеш-суммы хранятся только для последних replicated_deduplication_window блоков. Самые старые хеш-суммы удаляются из ClickHouse Keeper. Хеш-сумма охватывает весь вставляемый блок, поэтому дедупликация выполняется только тогда, когда все его данные совпадают с предыдущей вставкой (повторной попыткой), а не для каждой отдельной части. Большое значение replicated_deduplication_window замедляет Inserts, поскольку нужно сравнивать больше записей.

replicated_deduplication_window_for_async_inserts

Устаревшая настройка, сохраняемая для поэтапных обновлений в среде со смешанными версиями. Для новых вставок дедупликация выполняется с использованием унифицированного хеша, которым управляет replicated_deduplication_window; теперь эта настройка лишь ограничивает, сколько устаревших хешей async-insert хранится в каталоге async_blocks в ClickHouse Keeper, в который старые реплики по-прежнему записывают данные во время поэтапного обновления и который очищает текущий лидер. Значение 0 не сохраняет ни одного из них — при следующем проходе очистки будут удалены все записи — поэтому оставьте значение по умолчанию (или большее), чтобы сохранить устаревшее окно async-дедупликации во время обновления.

replicated_deduplication_window_seconds

Количество секунд, по истечении которых хеш-суммы вставленных блоков удаляются из ClickHouse Keeper. Возможные значения:

Любое положительное целое число.

Подобно replicated_deduplication_window, replicated_deduplication_window_seconds задаёт, как долго хранить хеш- суммы блоков для дедупликации при вставке. Хеш-суммы старше replicated_deduplication_window_seconds удаляются из ClickHouse Keeper, даже если их меньше, чем replicated_deduplication_window. Время отсчитывается относительно времени самой последней записи, а не от текущего времени. Если запись только одна, она будет храниться вечно.

replicated_deduplication_window_seconds_for_async_inserts

Устаревшая настройка, сохранённая для поэтапных обновлений в среде со смешанными версиями. Вместе с replicated_deduplication_window_for_async_inserts она ограничивает, как долго хеши legacy async-insert хранятся в каталоге async_blocks в ClickHouse Keeper (они записываются старыми репликами во время поэтапного обновления и очищаются текущим лидером). Для новых вставок используется replicated_deduplication_window_seconds.