Прежде чем продолжить, убедитесь, что ваш сервис Postgres доступен для сервиса ClickPipes. По умолчанию это так, но если вы ограничили доступ по IP, может потребоваться открыть доступ некоторым исходным IP-адресам из этого списка — в зависимости от региона, в котором расположен ваш сервис ClickHouse Cloud.
1
Настройка сервиса репликации
Заполните параметры репликации:
- Integration name: имя этого ClickPipe
- ClickHouse service: выберите существующий сервис ClickHouse Cloud или создайте новый
- Postgres database: исходная база данных, из которой выполняется репликация
- Replication method: выберите один из вариантов:
- первоначальная загрузка + CDC (фиксация изменений данных): импортировать существующие данные и поддерживать таблицы в актуальном состоянии по мере поступления изменений (рекомендуется)
- первоначальная загрузка only: разовый снимок существующих данных без дальнейших обновлений
- CDC (фиксация изменений данных) only: пропустить первоначальный снимок и фиксировать только новые изменения
2
Настройка параметров репликации
Точно настройте, как выполняется репликация данных:
- Sync interval (seconds): как часто изменения забираются из Postgres (по умолчанию: 60)
- Parallel threads for initial load: количество потоков, используемых при первоначальном снимке (по умолчанию: 4)
- Pull batch size: количество строк, считываемых за один батч при репликации (по умолчанию: 100000)
- Snapshot number of rows per partition: количество строк по каждой партиции при первоначальном снимке (по умолчанию: 100000)
- Snapshot number of tables in parallel: сколько таблиц обрабатывается снимком одновременно (по умолчанию: 1)
3
Выбор таблиц для репликации
Выберите целевую базу данных и укажите, какие таблицы реплицировать:
- Destination database: выберите существующую базу данных ClickHouse или создайте новую
- Prefix default destination table names with schema name: добавляет имя схемы Postgres в качестве префикса, чтобы избежать конфликтов имён
- Preserve NULL values from source: сохраняет значения NULL вместо преобразования их в значения по умолчанию для типа. Этот параметр применяется ко всем таблицам пайпа и не может быть изменён после его создания.
- Remove deleted rows during merges: для таблиц ReplacingMergeTree физически удаляет удалённые строки во время фоновых слияний
4
Мониторинг вашего ClickPipe
После запуска ClickPipe он появится в том же меню. Первоначальный снимок всех данных может занять некоторое время — в зависимости от размера ваших таблиц.Нажмите на имя интеграции, чтобы просмотреть подробный статус, отследить прогресс, увидеть ошибки и управлять ClickPipe. См. Жизненный цикл ClickPipe для Postgres, чтобы разобраться в различных состояниях, в которых может находиться ваш ClickPipe.