破損した Keeper スナップショットから復旧する方法

• スナップショットとは何か、またどこで見つけられるか
• 問題がどのように現れるか
• 考えられる復旧戦略 と、それぞれが何を意味するのか

​

Keeper スナップショットの概要

​

スナップショットとは？

​

スナップショットはどこにありますか？

​

破損した Keeper スナップショットの主な症状と兆候

​

破損した Keeper スナップショットからの復旧

1. さらなる破損を防ぐため、すべての Keeper ノードを停止する
2. 協調ディレクトリ全体を安全な場所にコピーし、完全にバックアップを取る
3. 少なくとも 1 つのノードに正常なデータがあることを確認するため、クラスターのクォーラムを確認する

​

1. 既存のバックアップから復元する

• Keeper のメタデータまたはスナップショットの破損により、現在のデータを復旧できない。
• 正常な Keeper の状態を含むバックアップがある。

1. 最新のバックアップを特定し、メタデータの整合性を確認します。
2. ClickHouse と Keeper のサービスを停止します。
3. 問題のあるスナップショットとログを、バックアップディレクトリ内のものに置き換えます。
4. Keeper クラスターを再起動し、メタデータが同期されていることを確認します。

​

2. 古いスナップショットへのロールバック

• 最新のスナップショットは破損しているが、古いスナップショットは引き続き使用できる。
• 整合性のある復旧に必要なインクリメンタルログが無傷で残っている。

1. Keeper ディレクトリから有効な古いスナップショット (例: snapshot.19) を特定して選択します。
2. より新しいスナップショットとログを削除します。
3. Keeper を再起動し、ログを再生してメタデータの状態を再構築させます。

​

3. SYSTEM RESTORE REPLICA を使用したメタデータの復元

• Keeper のメタデータが失われている、または破損している一方で、テーブルデータは引き続きディスク上に存在している
• ZooKeeper/Keeper のメタデータが欠落しているため、テーブルが読み取り専用モードに切り替わっている
• ローカルで利用可能なデータパーツに基づいて、Keeper 内のメタデータを再作成する必要がある

1. テーブルデータが、config の <path> で設定されたローカルの clickHouse-server データパスに存在することを確認します (デフォルトは /var/lib/clickhouse/data/) 。
2. 影響を受ける各テーブルに対して、次を実行します。

SYSTEM RESTART REPLICA [db.]table_name;
SYSTEM RESTORE REPLICA [db.]table_name;

3. データベースレベルで復旧する場合 (Replicated データベースエンジンを使用している場合) :

SYSTEM RESTORE DATABASE REPLICA db_name;

4. 同期が完了するまで待ちます:

SYSTEM SYNC REPLICA [db.]table_name;

5. is_readonly = 0 になっていることを system.replicas で確認し、system.detached_parts を監視して復旧を検証します

​

4. Keeper 内のレプリカのメタデータを削除して再作成する

• エラーがクラスター内の単一のレプリカで発生しており、そのレプリカの Keeper 内のメタデータが破損している、または不整合が生じている
• “Part XXXXX intersects previous part YYYYY” のようなエラーが発生する
• ローカルデータを保持したまま、レプリカの Keeper メタデータを完全にリセットする必要がある

1. 影響を受けているレプリカで、テーブルをデタッチします。

DETACH TABLE [db.]table_name;

2. Keeper からレプリカのメタデータを削除します (任意のレプリカで実行) :

SYSTEM DROP REPLICA 'replica_name' FROM ZKPATH '/clickhouse/tables/{shard}/table_name';

SELECT zookeeper_path, replica_name FROM system.replicas WHERE table = 'table_name';

3. テーブルを再アタッチします (読み取り専用モードになります) :

ATTACH TABLE [db.]table_name;

4. レプリカのメタデータを復元します:

SYSTEM RESTORE REPLICA [db.]table_name;

5. 他のレプリカと同期します：

SYSTEM SYNC REPLICA [db.]table_name;

6. 復旧後、すべてのレプリカで system.detached_parts を確認します

1. ClickHouseサーバー を停止します
2. 復旧フラグを作成します:

sudo -u clickhouse touch /var/lib/clickhouse/flags/force_restore_data

3. ClickHouseサーバーを起動します
4. サーバーは自動的にフラグを削除し、すべてのレプリケートテーブルを復元します
5. ログで復旧の進行状況を監視します

​

5. Keeper クラスターを再構築する

• 復旧に使用できる有効なスナップショット、ログ、またはバックアップがない。
• Keeper クラスター全体とそのメタデータを再作成する必要がある。

1. ClickHouse クラスターと Keeper クラスターを完全に停止します。
2. スナップショットとログのディレクトリをクリーンアップして、各 Keeper ノードをリセットします。
3. 1 つの Keeper ノードをリーダーとして初期化し、他のノードを段階的に追加します。
4. 外部の記録が利用できる場合は、メタデータを再インポートします。

​

6. 起動時にスナップショットから孤立したノードを削除する

• スナップショットがまさにこの形で構造的に破損している
• 有効なバックアップや古いスナップショットが利用できない (戦略 1 および 2 を適用できる場合は、常にそちらを優先してください)

<keeper_server>
    <remove_orphaned_nodes_on_startup>true</remove_orphaned_nodes_on_startup>
    <digest_enabled>false</digest_enabled>
</keeper_server>