Перейти к основному содержанию
Перейти к основному содержанию

Повторная синхронизация ClickPipe для базы данных

Что делает Resync?​

Resync выполняет следующие операции по порядку:

  1. Существующий ClickPipe удаляется, и запускается новый ClickPipe «resync». Таким образом, изменения в структурах исходных таблиц будут учтены при повторной синхронизации.
  2. ClickPipe resync создает (или заменяет) новый набор целевых таблиц с теми же именами, что и исходные таблицы, но с суффиксом _resync.
  3. Для таблиц _resync выполняется начальная загрузка.
  4. Таблицы _resync затем атомарно меняются местами с исходными таблицами. Строки, помеченные как удаленные (soft delete), перед обменом переносятся из исходных таблиц в таблицы _resync.

Все настройки исходного ClickPipe сохраняются в ClickPipe resync. Статистика исходного ClickPipe очищается в UI.

Примеры использования повторной синхронизации ClickPipe​

Вот несколько сценариев:

  1. Вам может понадобиться выполнить значительные изменения схемы в исходных таблицах, которые поломают существующий ClickPipe, и его пришлось бы перезапускать. В этом случае вы можете просто нажать Resync после внесения изменений.
  2. В частности, для ClickHouse, возможно, вам нужно было изменить ключи ORDER BY в целевых таблицах. Вы можете выполнить Resync, чтобы заново заполнить данные в новой таблице с правильным ключом сортировки.
  3. Репликационный слот ClickPipe был аннулирован: Resync создаст новый ClickPipe и новый слот в исходной базе данных.
Примечание

Вы можете выполнять resync многократно, однако учитывайте нагрузку на исходную базу данных при повторной синхронизации, поскольку каждый раз задействуется начальная загрузка с параллельными потоками.

Руководство по Resync ClickPipe​

  1. На вкладке Data Sources нажмите на Postgres ClickPipe, который вы хотите синхронизировать заново.
  2. Перейдите на вкладку Settings.
  3. Нажмите кнопку Resync.
  1. Появится диалоговое окно для подтверждения. Нажмите Resync еще раз.
  2. Перейдите на вкладку Metrics.
  3. Примерно через 5 секунд (а также после обновления страницы) статус конвейера должен стать Setup или Snapshot.
  4. Ход начальной загрузки resync можно отслеживать на вкладке Tables — в разделе Initial Load Stats.
  5. После завершения начальной загрузки конвейер атомарно поменяет местами таблицы _resync и исходные таблицы. Во время обмена статус будет Resync.
  6. После завершения обмена конвейер перейдет в состояние Running и будет выполнять CDC (фиксацию изменений данных), если она включена.