ストレージ障害後にレプリカを復旧する方法

このガイドでは、config.xml ファイル内の <path> パラメータが次のように設定されていることを前提としています。

<path>/var/lib/clickhouse/</path>

別の data path を設定している場合は、以下のコマンド内にある /var/lib/clickhouse をすべて、実際の <path> の設定値に置き換えてください。

正常なレプリカから access 設定をコピーする

ローカルユーザーを含む access フォルダの内容を、正常なレプリカからコピーします。

/var/lib/clickhouse/access

正常なレプリカから metadata フォルダをバックアップする

ClickHouse の data directory に移動します。

cd /var/lib/clickhouse

metadata フォルダのバックアップを作成します (symbolic link を含む) 。metadata directory にはデータベースおよびテーブルの DDLs が含まれています。 database directory には /var/lib/clickhouse/store/.. への symlink があり、そこにすべてのテーブル DDLs が格納されています。

{ find metadata -type f; find metadata -type l; find metadata -type l | xargs readlink -f; } | tar -cPf backup.tar --files-from=-

このコマンドにより、metadata files と symlink の構造の両方がバックアップ内に保持されます。

障害のあるレプリカで metadata を復元する

生成された backup.tar ファイルを障害のあるレプリカにコピーします。
それを ClickHouse の data directory に展開します。

cd /var/lib/clickhouse/
tar -xvPf backup.tar

force restore フラグを作成する

他のレプリカからの自動データ同期をトリガーするには、次のフラグを作成します。

sudo -u clickhouse touch /var/lib/clickhouse/flags/force_restore_data

障害のあるレプリカを再起動する

障害のある node 上の ClickHouse server を再起動します。
server logs を確認すると、正常なレプリカからパーツがダウンロードされていることを確認できるはずです。

11.02 00:00:04.047097 [ 682 ] {} <Debug> analytics.events_local (...) (Fetcher): Downloading files 23
11.02 00:00:04.055542 [ 682 ] {} <Debug> analytics.events_local (...) (Fetcher): Download of part 202511_0_0_0 onto disk disk2 finished.
11.02 00:00:04.101888 [ 687 ] {} <Debug> warehouse.customers_local (...) (Fetcher): Downloading part 2025_0_0_1 onto disk default.
11.02 00:00:04.102005 [ 687 ] {} <Debug> warehouse.customers_local (...) (Fetcher): Downloading files 11
11.02 00:00:04.102210 [ 690 ] {} <Debug> warehouse.customers_local (...) (Fetcher): Downloading part 2022_0_0_1 onto disk disk1.
11.02 00:00:04.102247 [ 688 ] {} <Debug> warehouse.customers_local (...) (Fetcher): Downloading part 2021_0_0_1 onto disk disk2.
11.02 00:00:04.102331 [ 690 ] {} <Debug> warehouse.customers_local (...) (Fetcher): Downloading files 11