Перейти к основному содержимому
Перейти к основному содержимому

Руководство по настройке источника RDS Postgres

Поддерживаемые версии Postgres​

ClickPipes поддерживает Postgres версии 12 и выше.

Включить логическую репликацию​

Вы можете пропустить этот раздел, если ваша RDS-инстанция уже имеет следующие настройки:

  • rds.logical_replication = 1
  • wal_sender_timeout = 0

Эти настройки обычно преднастроены, если вы ранее использовали другой инструмент репликации данных.

Если они еще не настроены, выполните следующие шаги:

  1. Создайте новую группу параметров для вашей версии Postgres с необходимыми настройками:
    • Установите rds.logical_replication в 1
    • Установите wal_sender_timeout в 0
  1. Примените новую группу параметров к вашей базе данных RDS Postgres
  1. Перезагрузите вашу RDS-инстанцию, чтобы применить изменения

Настроить пользователя базы данных​

Подключитесь к вашей RDS Postgres-инстанции как администратор и выполните следующие команды:

  1. Создайте специального пользователя для ClickPipes:

  2. Предоставьте права на схему. Пример ниже показывает права для схемы public. Повторите эти команды для каждой схемы, которую вы хотите реплицировать:

  3. Предоставьте права на репликацию:

  4. Создайте публикацию для репликации:

Настроить сетевой доступ​

Контроль доступа по IP​

Если вы хотите ограничить трафик к вашей RDS-инстанции, добавьте документированные статические NAT IP-адреса в Inbound rules вашей группы безопасности RDS.

Чтобы подключиться к вашей RDS-инстанции через частную сеть, вы можете использовать AWS PrivateLink. Следуйте нашему руководству по настройке AWS PrivateLink для ClickPipes, чтобы настроить соединение.

Обходные пути для RDS Proxy​

RDS Proxy не поддерживает соединения логической репликации. Если у вас динамические IP-адреса в RDS и вы не можете использовать DNS-имя или лямбда, вот несколько альтернатив:

  1. Используя cron-задачу, периодически определяйте IP-адрес конечной точки RDS и обновляйте NLB, если он изменился.
  2. Используя уведомления событий RDS с EventBridge/SNS: автоматически инициируйте обновления с помощью уведомлений событий AWS RDS.
  3. Стабильный EC2: разверните экземпляр EC2, чтобы он служил службой опроса или прокси на основе IP.
  4. Автоматизируйте управление IP-адресами с помощью инструментов, таких как Terraform или CloudFormation.

Что дальше?​

Теперь вы можете создать ваш ClickPipe и начать прием данных из вашей инстанции Postgres в ClickHouse Cloud. Не забудьте записать детали соединения, которые вы использовали при настройке вашей инстанции Postgres, так как они понадобятся вам во время создания ClickPipe.