Что делает Resync?
- Существующий ClickPipe удаляется, и запускается новый ClickPipe для ресинхронизации. Поэтому при повторной синхронизации будут учтены изменения в структурах исходных таблиц.
- ClickPipe ресинхронизации создаёт (или заменяет) новый набор целевых таблиц с теми же именами, что и у исходных, но с суффиксом
_resync. - Для таблиц
_resyncвыполняется начальная загрузка. - Затем таблицы
_resyncменяются местами с исходными таблицами. Перед этим строки, помеченные как удалённые, переносятся из исходных таблиц в таблицы_resync.
Сценарии, в которых может понадобиться ресинхронизация ClickPipe
- Вам может понадобиться внести существенные изменения в схему исходных таблиц, из-за которых существующий ClickPipe перестанет работать и его придется перезапустить. После внесения изменений можно просто нажать Resync.
- В частности, в ClickHouse вам может понадобиться обновить значения в столбцах ORDER BY в целевых таблицах. В этом случае можно выполнить Resync, чтобы заново загрузить данные в новую таблицу с правильным ключом сортировки.
Ресинхронизацию можно выполнять несколько раз, однако при этом учитывайте нагрузку на исходную базу данных при выполнении ресинхронизации,
поскольку каждый раз выполняется начальная загрузка с параллельными потоками.
Руководство по ресинхронизации ClickPipe
- На вкладке Data Sources выберите MySQL ClickPipe, для которого нужно выполнить ресинхронизацию.
- Перейдите на вкладку Settings.
- Нажмите кнопку Ресинхронизация.
- Появится диалоговое окно подтверждения. Нажмите Ресинхронизация ещё раз.
- Перейдите на вкладку Metrics.
- Примерно через 5 секунд (а также после обновления страницы) статус пайпа должен быть Setup или Snapshot.
- За начальной загрузкой ресинхронизации можно следить на вкладке Tables в разделе Initial Load Stats.
- Когда начальная загрузка завершится, пайп атомарно выполнит swap таблиц
_resyncс исходными таблицами. Во время swap статус будет Ресинхронизация. - После завершения swap пайп перейдёт в состояние Running и будет выполнять CDC, если оно включено.