Перейти к основному содержимому
Перейти к основному содержимому

Настройка источника RDS Postgres

Поддерживаемые версии Postgres​

ClickPipes поддерживает версии Postgres 12 и новее.

Включение логической репликации​

Вы можете пропустить этот раздел, если ваша RDS инстанция уже имеет следующие настройки:

  • rds.logical_replication = 1
  • wal_sender_timeout = 0

Эти настройки обычно предварительно сконфигурированы, если вы ранее использовали другой инструмент репликации данных.

Если они еще не настроены, выполните следующие шаги:

  1. Создайте новую группу параметров для вашей версии Postgres с необходимыми настройками:
    • Установите rds.logical_replication в 1
    • Установите wal_sender_timeout в 0
Где найти группы парам�етров в RDS? Изменение rds.logical_replication Изменение wal_sender_timeout
  1. Примените новую группу параметров к вашей базе данных RDS Postgres
Модификация RDS Postgres с новыми группами параметров
  1. Перезагрузите вашу RDS инстанцию, чтобы применить изменения
Перезагрузить RDS Postgres

Настройка пользователя базы данных​

Подключитесь к вашей RDS Postgres инстанции как администратор и выполните следующие команды:

  1. Создайте выделенного пользователя для ClickPipes:

  2. Предоставьте права на схемы. Приведенный ниже пример показывает права для схемы public. Повторите эти команды для каждой схемы, которую вы хотите реплицировать:

  3. Предоставьте права на репликацию:

  4. Создайте публикацию для репликации:

Настройка сетевого доступа​

Управление доступом на основе IP​

Если вы хотите ограничить трафик к вашей RDS инстанции, добавьте документированные статические NAT IP-адреса в Правила для входящих подключений вашей группы безопасности RDS.

Где найти группу безопасности в RDS Postgres? Изменить правила для входящих подключений для вышеупомянутой группы безопасности

Чтобы подключиться к вашей RDS инстанции через частную сеть, вы можете использовать AWS PrivateLink. Следуйте нашему руководству по настройке AWS PrivateLink для ClickPipes, чтобы установить соединение.

Обходные решения для RDS Proxy​

RDS Proxy не поддерживает соединения для логической репликации. Если у вас динамические IP-адреса в RDS и вы не можете использовать DNS-имя или AWS Lambda, вот несколько альтернатив:

  1. Используя cron-работу, периодически разрешайте IP-адрес конечной точки RDS и обновляйте NLB, если он изменился.
  2. Используйте уведомления событий RDS с EventBridge/SNS: автоматически запускайте обновления с помощью уведомлений событий AWS RDS.
  3. Стабильный EC2: разверните экземпляр EC2, чтобы он acted как служба опроса или прокси на основе IP.
  4. Автоматизируйте управление IP-адресами с помощью инструментов, таких как Terraform или CloudFormation.

Что дальше?​

Теперь вы можете создать свой ClickPipe и начать загружать данные из вашего экземпляра Postgres в ClickHouse Cloud. Не забудьте записать данные подключения, которые вы использовали при настройке вашего экземпляра Postgres, так как они понадобятся вам во время процесса создания ClickPipe.