Руководство по настройке источника Generative Postgres
Если вы используете одного из поддерживаемых провайдеров (в боковой панели), пожалуйста, обратитесь к специфическому руководству для этого провайдера.
ClickPipes поддерживает версии Postgres 12 и выше.
Включение логической репликации
-
Чтобы включить репликацию на вашем экземпляре Postgres, необходимо убедиться, что установлены следующие параметры:
Чтобы проверить это, вы можете выполнить следующую SQL-команду:
Вывод должен быть
logical
. Если это не так, выполните: -
Дополнительно рекомендуется установить следующие параметры на экземпляре Postgres:
Чтобы проверить это, вы можете выполнить следующие SQL-команды:
Если значения не соответствуют рекомендуемым, вы можете выполнить следующие SQL-команды для их установки:
-
Если вы внесли какие-либо изменения в конфигурацию, как указано выше, вам НУЖНО ПЕРЕЗАПУСТИТЬ экземпляр Postgres, чтобы изменения вступили в силу.
Создание пользователя с разрешениями и публикацией
Давайте создадим нового пользователя для ClickPipes с необходимыми разрешениями, подходящими для CDC, и также создадим публикацию, которую мы будем использовать для репликации.
Для этого подключитесь к вашему экземпляру Postgres и выполните следующие SQL-команды:
Убедитесь, что вы заменили clickpipes_user
и clickpipes_password
на желаемое имя пользователя и пароль.
Включение подключений в pg_hba.conf к пользователю ClickPipes
Если вы управляете самостоятельно, вам необходимо разрешить подключения к пользователю ClickPipes из IP-адресов ClickPipes, следуя указанным ниже шагам. Если вы используете управляемый сервис, вы можете сделать то же самое, следуя документации провайдера.
-
Внесите необходимые изменения в файл
pg_hba.conf
, чтобы разрешить подключения к пользователю ClickPipes из IP-адресов ClickPipes. Пример записи в файлеpg_hba.conf
будет выглядеть так: -
Перезагрузите экземпляр PostgreSQL, чтобы изменения вступили в силу:
Увеличение max_slot_wal_keep_size
Это рекомендуемое изменение конфигурации, чтобы гарантировать, что большие транзакции/коммиты не вызовут удаление слота репликации.
Вы можете увеличить параметр max_slot_wal_keep_size
для вашего экземпляра PostgreSQL до более высокого значения (не менее 100 ГБ или 102400
), обновив файл postgresql.conf
.
Вы можете перезагрузить экземпляр Postgres, чтобы изменения вступили в силу:
Для лучшей рекомендации этого значения вы можете обратиться в команду ClickPipes.
Что дальше?
Теперь вы можете создать свой ClickPipe и начать интеграцию данных из вашего экземпляра Postgres в ClickHouse Cloud. Не забудьте зафиксировать данные подключения, которые вы использовали при настройке вашего экземпляра Postgres, так как они понадобятся вам в процессе создания ClickPipe.