Как восстановить реплику после сбоя хранилища

Это руководство предполагает, что параметр <path> в файле config.xml задан следующим образом:

<path>/var/lib/clickhouse/</path>

Если у вас настроен другой путь к данным, замените все вхождения /var/lib/clickhouse в приведенных ниже командах на фактическое значение параметра <path>.

Скопируйте настройки доступа с исправной реплики

Скопируйте содержимое каталога access, в котором хранятся локальные пользователи, с исправной реплики:

/var/lib/clickhouse/access

Сделайте резервную копию каталога metadata с исправной реплики

Перейдите в каталог данных ClickHouse:

cd /var/lib/clickhouse

Создайте резервную копию каталога metadata (включая символические ссылки): каталог metadata содержит DDL-запросы для баз данных и таблиц. Каталог базы данных содержит символические ссылки на /var/lib/clickhouse/store/.., где находятся все DDL-запросы таблиц.

{ find metadata -type f; find metadata -type l; find metadata -type l | xargs readlink -f; } | tar -cPf backup.tar --files-from=-

Эта команда гарантирует, что в резервной копии будут сохранены и файлы metadata, и структура символических ссылок.

Восстановите metadata на неисправной реплике

Скопируйте созданный файл backup.tar на неисправную реплику.
Распакуйте его в каталог данных ClickHouse:

cd /var/lib/clickhouse/
tar -xvPf backup.tar

Создайте флаг принудительного восстановления

Чтобы запустить автоматическую синхронизацию данных с других реплик, создайте следующий флаг:

sudo -u clickhouse touch /var/lib/clickhouse/flags/force_restore_data

Перезапустите неисправную реплику

Перезапустите сервер ClickHouse на неисправном узле.
Проверьте серверный журнал: вы должны увидеть, что части загружаются с исправных реплик:

11.02 00:00:04.047097 [ 682 ] {} <Debug> analytics.events_local (...) (Fetcher): Downloading files 23
11.02 00:00:04.055542 [ 682 ] {} <Debug> analytics.events_local (...) (Fetcher): Download of part 202511_0_0_0 onto disk disk2 finished.
11.02 00:00:04.101888 [ 687 ] {} <Debug> warehouse.customers_local (...) (Fetcher): Downloading part 2025_0_0_1 onto disk default.
11.02 00:00:04.102005 [ 687 ] {} <Debug> warehouse.customers_local (...) (Fetcher): Downloading files 11
11.02 00:00:04.102210 [ 690 ] {} <Debug> warehouse.customers_local (...) (Fetcher): Downloading part 2022_0_0_1 onto disk disk1.
11.02 00:00:04.102247 [ 688 ] {} <Debug> warehouse.customers_local (...) (Fetcher): Downloading part 2021_0_0_1 onto disk disk2.
11.02 00:00:04.102331 [ 690 ] {} <Debug> warehouse.customers_local (...) (Fetcher): Downloading files 11