Интеграция с ClickHouse
Каждый экземпляр Managed Postgres поставляется со встроенными возможностями CDC для любых ваших сервисов ClickHouse. Это позволяет перенести часть или все данные из вашего экземпляра Postgres в ClickHouse и обеспечить, чтобы изменения данных в Postgres практически непрерывно и почти в режиме реального времени отражались в ClickHouse. Под капотом для этого используется ClickPipes.
Чтобы воспользоваться этой возможностью, нажмите ClickHouse Integration в боковой панели вашего экземпляра Postgres.
Прежде чем продолжить, убедитесь, что ваш сервис Postgres доступен для сервиса ClickPipes. Так должно быть по умолчанию, но если вы ограничили доступ по IP, возможно, вам потребуется предоставить доступ некоторым исходным IP‑адресам из этого списка в зависимости от региона, где находится ваш сервис ClickHouse.
Нажмите Replicate data in ClickHouse, чтобы начать настройку вашего ClickPipe.
Настройка сервиса репликации
Заполните параметры репликации:
- Integration name: имя для этого ClickPipe
- ClickHouse service: выберите существующий сервис ClickHouse Cloud или создайте новый
- Postgres database: исходная база данных, из которой выполняется репликация
- Replication method: выберите один из вариантов:
- Initial load + CDC: импортировать существующие данные и поддерживать таблицы в актуальном состоянии при появлении новых изменений (рекомендуется)
- Initial load only: одноразовый снимок существующих данных без последующих обновлений
- CDC only: пропустить начальный снимок и фиксировать только новые изменения в дальнейшем
Нажмите Next, чтобы продолжить.
Выбор таблиц для репликации
Выберите целевую базу данных и укажите, какие таблицы реплицировать:
- Destination database: выберите существующую базу данных ClickHouse или создайте новую
- Prefix default destination table names with schema name: добавляет схему Postgres в качестве префикса, чтобы избежать конфликтов имён
- Preserve NULL values from source: сохраняет значения NULL вместо преобразования их в значения по умолчанию
- Remove deleted rows during merges: для таблиц ReplacingMergeTree физически удаляет помеченные как удалённые строки во время фоновых слияний
Разверните схемы и выберите отдельные таблицы для репликации. Вы также можете настроить имена целевых таблиц и параметры столбцов.
Нажмите Replicate data to ClickHouse, чтобы запустить репликацию.
Мониторинг вашего ClickPipe
После запуска ClickPipe вы увидите его в том же меню. Начальный снимок всех данных может занять некоторое время в зависимости от размера ваших таблиц.
Нажмите на имя интеграции, чтобы просмотреть подробный статус, отслеживать прогресс, просматривать ошибки и управлять ClickPipe. См. раздел Lifecycle of a Postgres ClickPipe, чтобы понять различные состояния, в которых может находиться ваш ClickPipe.
