손상된 Keeper 스냅샷에서 복구하는 방법

• 스냅샷이 무엇이고 어디에서 찾을 수 있는지
• 문제가 어떻게 나타나는지
• 가능한 복구 전략과 각 전략의 의미

​

Keeper 스냅샷 개요

​

스냅샷이란 무엇입니까?

​

스냅샷은 어디에서 찾을 수 있습니까?

​

손상된 Keeper 스냅샷의 주요 증상과 징후

​

손상된 Keeper 스냅샷에서 복구하기

1. 추가 손상을 방지하기 위해 모든 Keeper 노드를 중지합니다
2. 전체 coordination 디렉터리를 안전한 위치에 복사해 모두 백업합니다
3. 클러스터 정족수(quorum)를 확인하여 최소 1개의 노드에 정상 데이터가 있는지 검증합니다

​

1. 기존 Backup에서 복원

• Keeper 메타데이터(metadata) 또는 스냅샷 손상으로 인해 현재 데이터를 복구할 수 없습니다.
• 정상 상태로 확인된 Keeper 상태가 포함된 Backup이 있습니다.

1. 메타데이터 일관성을 기준으로 가장 최신 Backup을 찾아 검증합니다.
2. ClickHouse 및 Keeper 서비스를 종료합니다.
3. Backup 디렉터리의 스냅샷 및 로그로 손상된 항목을 대체합니다.
4. Keeper 클러스터를 다시 시작하고 메타데이터 동기화가 정상인지 검증합니다.

​

2. 이전 스냅샷으로 롤백

• 최근 스냅샷이 손상되었지만, 이전 스냅샷은 여전히 사용할 수 있습니다.
• 일관된 복구에 필요한 증분 로그가 온전하게 유지되어 있습니다.

1. Keeper 디렉터리에서 유효한 이전 스냅샷(예: snapshot.19)을 찾아 선택합니다.
2. 더 최신 스냅샷과 로그를 제거합니다.
3. Keeper를 다시 시작하여 로그를 재생하고 메타데이터 상태를 복구합니다.

​

3. SYSTEM RESTORE REPLICA를 사용해 메타데이터 복원

• Keeper 메타데이터가 유실되었거나 손상되었지만 테이블 데이터는 여전히 디스크에 남아 있는 경우
• ZooKeeper/Keeper 메타데이터가 없어 테이블이 읽기 전용 모드로 전환된 경우
• 로컬에서 사용 가능한 데이터 파트를 기반으로 Keeper 메타데이터를 재생성해야 하는 경우

1. 구성의 <path>로 설정된 clickHouse-server 데이터 경로에 테이블 데이터가 로컬에 존재하는지 확인하십시오. (기본값: /var/lib/clickhouse/data/)
2. 영향을 받는 각 테이블에 대해 다음을 실행하십시오:

SYSTEM RESTART REPLICA [db.]table_name;
SYSTEM RESTORE REPLICA [db.]table_name;

3. 데이터베이스 수준 복구를 수행하는 경우(Replicated 데이터베이스 엔진 사용 시):

SYSTEM RESTORE DATABASE REPLICA db_name;

4. 동기화가 완료될 때까지 기다리십시오:

SYSTEM SYNC REPLICA [db.]table_name;

5. system.replicas에서 is_readonly = 0인지 확인하고 system.detached_parts를 모니터링하여 복구를 검증합니다

​

4. Keeper에서 레플리카 메타데이터 삭제 및 재생성

• 오류가 클러스터의 단일 레플리카에서 발생했고, Keeper의 메타데이터가 손상되었거나 일관되지 않은 경우
• “Part XXXXX intersects previous part YYYYY”와 같은 오류가 발생하는 경우
• 로컬 데이터는 유지하면서 레플리카의 Keeper 메타데이터를 완전히 재설정해야 하는 경우

1. 영향을 받은 레플리카에서 테이블을 detach합니다:

DETACH TABLE [db.]table_name;

2. Keeper에서 레플리카의 메타데이터를 제거합니다(임의의 레플리카에서 실행):

SYSTEM DROP REPLICA 'replica_name' FROM ZKPATH '/clickhouse/tables/{shard}/table_name';

SELECT zookeeper_path, replica_name FROM system.replicas WHERE table = 'table_name';

3. 테이블을 다시 ATTACH합니다(읽기 전용 모드로 전환됩니다):

ATTACH TABLE [db.]table_name;

4. 레플리카 메타데이터를 복원합니다:

SYSTEM RESTORE REPLICA [db.]table_name;

5. 다른 레플리카와 동기화:

SYSTEM SYNC REPLICA [db.]table_name;

6. 복구 후 모든 레플리카에서 system.detached_parts를 확인합니다

1. ClickHouse 서버를 중지합니다
2. 복구 플래그를 생성합니다:

sudo -u clickhouse touch /var/lib/clickhouse/flags/force_restore_data

3. ClickHouse 서버를 시작합니다
4. 서버가 자동으로 플래그를 삭제하고 모든 복제된 테이블을 복원합니다
5. 로그를 확인하여 복구 진행 상황을 모니터링합니다

​

5. Keeper 클러스터 재구축

• 복구에 사용할 수 있는 유효한 스냅샷, 로그 또는 Backup이 없습니다.
• 전체 Keeper 클러스터와 해당 메타데이터를 다시 생성해야 합니다.

1. ClickHouse 클러스터와 Keeper 클러스터를 완전히 중지합니다.
2. 스냅샷 및 로그 디렉터리를 정리하여 각 Keeper 노드를 초기화합니다.
3. Keeper 노드 하나를 리더로 초기화한 다음, 다른 노드를 순차적으로 추가합니다.
4. 외부 기록이 있는 경우 메타데이터를 다시 가져옵니다.

​

6. 시작 시 스냅샷에서 고아 노드 제거하기

• 스냅샷이 정확히 이러한 방식으로 구조적 손상을 입었고,
• 유효한 Backup이나 이전 스냅샷을 사용할 수 없는 경우(전략 1과 2를 적용할 수 있다면 항상 해당 전략을 우선 사용하는 것이 좋습니다).

<keeper_server>
    <remove_orphaned_nodes_on_startup>true</remove_orphaned_nodes_on_startup>
    <digest_enabled>false</digest_enabled>
</keeper_server>