replicated_deduplication_window_* MergeTree 테이블 설정

이 설정은 system.merge_tree_settings에서 사용할 수 있으며, ClickHouse 소스에서 자동 생성됩니다.

replicated_deduplication_window

ClickHouse Keeper가 중복 여부를 확인하기 위해 해시 합을 저장하는 가장 최근에 삽입된 블록의 개수입니다. 가능한 값:

모든 양의 정수
0 (중복 제거 비활성화)

삽입 중복 제거의 경우, 복제된 테이블(Replicated Table)에 쓸 때 ClickHouse는 중복 제거용 해시 합을 ClickHouse Keeper에 기록합니다. 해시 합은 가장 최근의 replicated_deduplication_window개 블록에 대해서만 저장됩니다. 가장 오래된 해시 합은 ClickHouse Keeper에서 제거됩니다. 해시 합은 삽입된 블록 전체를 기준으로 계산되므로, 삽입은 전체 데이터가 이전 삽입(재시도)과 완전히 일치할 때만 중복 제거되며, 개별 파트 단위로는 처리되지 않습니다. replicated_deduplication_window 값을 크게 설정하면 비교해야 하는 항목이 많아지므로 Inserts가 느려집니다.

replicated_deduplication_window_for_async_inserts

혼합 버전 롤링 업그레이드를 위해 유지되는 레거시 설정입니다. 새 삽입은 replicated_deduplication_window가 제어하는 통합 해시로 중복 제거되며, 이제 이 설정은 ClickHouse Keeper의 async_blocks 디렉터리에 유지되는 레거시 비동기 삽입 해시의 개수만 제한합니다. 이 디렉터리는 롤링 업그레이드 중에도 이전 레플리카가 계속 기록하고 현재 리더가 정리합니다. 값이 0이면 이 해시를 전혀 유지하지 않으며, 다음 정리 단계에서 모든 항목이 제거됩니다. 따라서 업그레이드 중 레거시 비동기 중복 제거 윈도우를 유지하려면 기본값(또는 그보다 큰 값)을 사용하십시오.

replicated_deduplication_window_seconds

삽입된 블록의 해시 합이 ClickHouse Keeper에서 제거되기까지의 시간(초)입니다. 가능한 값:

모든 양의 정수.

replicated_deduplication_window와 마찬가지로, replicated_deduplication_window_seconds는 삽입 중복 제거를 위해 블록의 해시 합을 얼마 동안 저장할지 지정합니다. replicated_deduplication_window_seconds보다 오래된 해시 합은 replicated_deduplication_window보다 작더라도 ClickHouse Keeper에서 제거됩니다. 이 시간은 실제 시각이 아니라 가장 최근 레코드의 시각을 기준으로 계산됩니다. 레코드가 하나뿐인 경우에는 영구적으로 저장됩니다.

replicated_deduplication_window_seconds_for_async_inserts

혼합 버전 롤링 업그레이드를 위해 유지되는 레거시 설정입니다. 이 설정은 replicated_deduplication_window_for_async_inserts와 함께 레거시 비동기 삽입 해시가 ClickHouse Keeper의 async_blocks 디렉터리에 얼마나 오래 유지되는지의 상한을 정합니다 (롤링 업그레이드 중 이전 레플리카가 기록하고 현재 리더가 정리함). 새로운 삽입에는 replicated_deduplication_window_seconds를 사용합니다.