Как восстановиться после поврежденного снимка Keeper

• Что такое снимки и где их найти
• Как проявляется проблема
• Возможные стратегии восстановления и что означает каждая из них

​

Обзор снимков Keeper

​

Что такое снимок?

​

Где найти снимки?

​

Основные симптомы и проявления поврежденных снимков Keeper

​

Восстановление после повреждения снимков Keeper

1. Остановите все узлы Keeper, чтобы предотвратить дальнейшее повреждение данных
2. Сделайте резервную копию всего содержимого, скопировав весь каталог coordination в безопасное место
3. Проверьте кворум кластера, чтобы убедиться, что хотя бы на одном узле сохранились корректные данные

​

1. Восстановление из существующей резервной копии

• Повреждение метаданных Keeper или снимков делает текущие данные невосстановимыми.
• Существует резервная копия с заведомо корректным состоянием Keeper.

1. Найдите и проверьте самую новую резервную копию на согласованность метаданных.
2. Остановите сервисы ClickHouse и Keeper.
3. Замените повреждённые снимки и журналы версиями из каталога резервной копии.
4. Перезапустите кластер Keeper и проверьте синхронизацию метаданных.

​

2. Откат к более старому снимку

• Недавние снимки повреждены, но более старые всё ещё пригодны к использованию.
• Инкрементальные журналы не повреждены, что позволяет выполнить согласованное восстановление.

1. Найдите и выберите корректный старый снимок (например, snapshot.19) в каталоге Keeper.
2. Удалите более новые снимки и журналы.
3. Перезапустите Keeper, чтобы он заново воспроизвёл журналы и восстановил состояние метаданных.

​

3. Восстановление метаданных с помощью SYSTEM RESTORE REPLICA

• метаданные Keeper утрачены или повреждены, но данные таблицы по-прежнему есть на диске
• таблицы перешли в режим только для чтения из-за отсутствия метаданных ZooKeeper/Keeper
• вам нужно заново создать метаданные в Keeper на основе локально доступных частей данных

1. Убедитесь, что данные таблицы локально присутствуют в пути к данным вашего clickhouse-server, заданном параметром <path> в конфигурации. (по умолчанию /var/lib/clickhouse/data/)
2. Для каждой затронутой таблицы выполните:

SYSTEM RESTART REPLICA [db.]table_name;
SYSTEM RESTORE REPLICA [db.]table_name;

3. Для восстановления на уровне базы данных (если используется движок базы данных Replicated):

SYSTEM RESTORE DATABASE REPLICA db_name;

4. Дождитесь завершения синхронизации:

SYSTEM SYNC REPLICA [db.]table_name;

5. Проверьте восстановление: убедитесь, что в system.replicas значение is_readonly = 0, и следите за system.detached_parts

​

4. Удаление и повторное создание метаданных реплики в Keeper

• Ошибка возникает только на одной реплике кластера, и её метаданные в Keeper повреждены или несогласованы
• Вы сталкиваетесь с ошибками вида “Part XXXXX intersects previous part YYYYY”
• Вам нужно полностью сбросить метаданные реплики в Keeper, сохранив локальные данные

1. На затронутой реплике отсоедините таблицу:

DETACH TABLE [db.]table_name;

2. Удалите метаданные реплики из Keeper (выполните на любой реплике):

SYSTEM DROP REPLICA 'replica_name' FROM ZKPATH '/clickhouse/tables/{shard}/table_name';

SELECT zookeeper_path, replica_name FROM system.replicas WHERE table = 'table_name';

3. Повторно выполните ATTACH таблицы (она будет в режиме только для чтения):

ATTACH TABLE [db.]table_name;

4. Восстановите метаданные реплики:

SYSTEM RESTORE REPLICA [db.]table_name;

5. Синхронизируйтесь с другими репликами:

SYSTEM SYNC REPLICA [db.]table_name;

6. Проверьте system.detached_parts на всех репликах после восстановления

1. Остановите сервер ClickHouse
2. Создайте флаг восстановления:

sudo -u clickhouse touch /var/lib/clickhouse/flags/force_restore_data

3. Запустите сервер ClickHouse
4. Сервер автоматически удалит флаг и восстановит все реплицированные таблицы
5. Следите за ходом восстановления в журналах

​

5. Пересборка кластера Keeper

• Для восстановления недоступны пригодные снимки, Log или резервные копии.
• Необходимо заново создать весь кластер Keeper и его метаданные.

1. Полностью остановите кластеры ClickHouse и Keeper.
2. Сбросьте каждый узел Keeper, очистив каталоги снимков и Log.
3. Инициализируйте один узел Keeper в качестве лидера и постепенно добавляйте остальные узлы.
4. Повторно импортируйте метаданные, если они доступны из внешних записей.

​

6. Удаление осиротевших узлов из снимка при запуске

• снимок повреждён именно таким образом и
• нет ни корректной резервной копии, ни более старого снимка (если применимы стратегии 1 и 2, лучше воспользоваться ими).

<keeper_server>
    <remove_orphaned_nodes_on_startup>true</remove_orphaned_nodes_on_startup>
    <digest_enabled>false</digest_enabled>
</keeper_server>