Guía de configuración del origen RDS Postgres

Versiones compatibles de Postgres

ClickPipes es compatible con Postgres 12 y versiones posteriores.

Habilitar la replicación lógica

Puedes omitir esta sección si tu instancia de RDS ya tiene configurada la siguiente opción:

rds.logical_replication = 1

Esta opción suele venir preconfigurada si antes usaste otra herramienta de replicación de datos.

postgres=> SHOW rds.logical_replication ;
 rds.logical_replication
-------------------------
 on
(1 row)

Si aún no está configurado, sigue estos pasos:

Crea un nuevo grupo de parámetros para tu versión de Postgres con la configuración requerida:
- Establece rds.logical_replication en 1

Aplica el nuevo grupo de parámetros a tu base de datos de RDS Postgres

Reinicia tu instancia de RDS para aplicar los cambios

Configurar el usuario de base de datos

Conéctese a su instancia de RDS Postgres como usuario administrador y ejecute los siguientes comandos:

Cree un usuario dedicado para ClickPipes:

CREATE USER clickpipes_user PASSWORD 'some-password';

Conceda acceso de solo lectura a nivel de esquema al usuario que creó en el paso anterior. El siguiente ejemplo muestra los permisos para el esquema public. Repita estos comandos para cada esquema que contenga tablas que quiera replicar:
GRANT USAGE ON SCHEMA "public" TO clickpipes_user; GRANT SELECT ON ALL TABLES IN SCHEMA "public" TO clickpipes_user; ALTER DEFAULT PRIVILEGES IN SCHEMA "public" GRANT SELECT ON TABLES TO clickpipes_user;
Conceda privilegios de replicación al usuario:
GRANT rds_replication TO clickpipes_user;
Cree una publicación con las tablas que quiera replicar. Recomendamos encarecidamente incluir en la publicación solo las tablas que necesite para evitar una sobrecarga de rendimiento.

Cualquier tabla incluida en la publicación debe tener una clave primaria definida o tener su identidad de réplica configurada como FULL. Consulte las Preguntas frecuentes de Postgres para obtener orientación sobre cómo delimitar el alcance.

Para crear una publicación para tablas específicas:

CREATE PUBLICATION clickpipes FOR TABLE table_to_replicate, table_to_replicate2;

Para crear una publicación para todas las tablas de un esquema específico:
CREATE PUBLICATION clickpipes FOR TABLES IN SCHEMA "public";

La publicación clickpipes define el conjunto de tablas cuyos eventos de cambio se transmitirán a ClickPipes. Recomendamos no usar FOR ALL TABLES a menos que tenga la intención de replicar todas las tablas, ya que incluir tablas innecesarias incrementa el tráfico de WAL desde Postgres hacia ClickPipes y reduce la eficiencia general de la replicación.

Uso de autenticación con IAM (opcional)

En lugar de una contraseña, puede autenticar al usuario de ClickPipes mediante el acceso basado en roles de AWS IAM. Cree el usuario de la siguiente manera y luego concédale los mismos privilegios de esquema y replicación que se muestran arriba:

CREATE USER clickpipes_iam_user;
GRANT rds_iam TO clickpipes_iam_user;

La autenticación con IAM para la replicación requiere que el parámetro rds.iam_auth_for_replication esté configurado en 1. Esta función es compatible a partir de PostgreSQL 11; en versiones anteriores, solo puede ejecutar ClickPipes en modo Initial Load Only.

Consulte autenticación de base de datos con IAM de AWS (RDS/Aurora) para ver todos los pasos necesarios para configurar el rol de IAM y la política que ClickPipes necesita para autenticarse de esta manera.

Configurar el acceso de red

Control de acceso basado en IP

Si desea restringir el tráfico a su instancia de RDS, añada las IPs NAT estáticas documentadas a las reglas de entrada del grupo de seguridad de su RDS.

Acceso privado mediante AWS PrivateLink

Para conectarse a su instancia de RDS a través de una red privada, puede usar AWS PrivateLink. Siga nuestra guía de configuración de AWS PrivateLink para ClickPipes para establecer la conexión.

Soluciones alternativas para RDS Proxy

RDS Proxy no admite conexiones de replicación lógica. Si tienes direcciones IP dinámicas en RDS y no puedes usar un nombre DNS ni una función Lambda, aquí tienes algunas alternativas:

Con una tarea cron, resuelve periódicamente la IP del endpoint de RDS y actualiza el NLB si cambia.
Usando notificaciones de eventos de RDS con EventBridge/SNS: desencadena actualizaciones automáticamente mediante las notificaciones de eventos de AWS RDS.
EC2 fija: despliega una instancia de EC2 para que actúe como servicio de sondeo o proxy basado en IP.
Automatiza la gestión de direcciones IP con herramientas como Terraform o CloudFormation.

¿Qué sigue?

Ahora puedes crear tu ClickPipe y empezar a ingestar datos desde tu instancia de Postgres hacia ClickHouse Cloud. Asegúrate de anotar los datos de conexión que usaste al configurar tu instancia de Postgres, ya que los necesitarás durante el proceso de creación de ClickPipe.

ClickPipes para BigQuery

Acceso programático

Otros

Guía de configuración del origen RDS Postgres

Versiones compatibles de Postgres

Habilitar la replicación lógica

Configurar el usuario de base de datos

Uso de autenticación con IAM (opcional)

Configurar el acceso de red

Control de acceso basado en IP

Acceso privado mediante AWS PrivateLink

Soluciones alternativas para RDS Proxy

¿Qué sigue?

​Versiones compatibles de Postgres

​Habilitar la replicación lógica

​Configurar el usuario de base de datos

​Uso de autenticación con IAM (opcional)

​Configurar el acceso de red

​Control de acceso basado en IP

​Acceso privado mediante AWS PrivateLink

​Soluciones alternativas para RDS Proxy

​¿Qué sigue?

Versiones compatibles de Postgres

Habilitar la replicación lógica

Configurar el usuario de base de datos

Uso de autenticación con IAM (opcional)

Configurar el acceso de red

Control de acceso basado en IP

Acceso privado mediante AWS PrivateLink

Soluciones alternativas para RDS Proxy

¿Qué sigue?