Guia de configuração da origem RDS Postgres

Versões compatíveis do Postgres

O ClickPipes oferece suporte ao Postgres versão 12 e posteriores.

Habilite a replicação lógica

Você pode pular esta seção se a sua instância do RDS já tiver a seguinte configuração definida:

rds.logical_replication = 1

Essa configuração geralmente já vem pré-configurada se você já usou outra ferramenta de replicação de dados.

postgres=> SHOW rds.logical_replication ;
 rds.logical_replication
-------------------------
 on
(1 row)

Caso ainda não esteja configurado, siga estas etapas:

Crie um novo grupo de parâmetros para a sua versão do Postgres com as configurações necessárias:
- Defina rds.logical_replication como 1

Aplique o novo grupo de parâmetros ao seu banco de dados RDS Postgres

Reinicie a sua instância do RDS para aplicar as alterações

Configurar o usuário do banco de dados

Conecte-se à sua instância do RDS Postgres como usuário administrador e execute os seguintes comandos:

Crie um usuário dedicado para o ClickPipes:

CREATE USER clickpipes_user PASSWORD 'some-password';

Conceda acesso somente leitura no nível do schema ao usuário criado na etapa anterior. O exemplo abaixo mostra as permissões para o schema public. Repita esses comandos para cada schema que contenha tabelas que você deseja replicar:
GRANT USAGE ON SCHEMA "public" TO clickpipes_user; GRANT SELECT ON ALL TABLES IN SCHEMA "public" TO clickpipes_user; ALTER DEFAULT PRIVILEGES IN SCHEMA "public" GRANT SELECT ON TABLES TO clickpipes_user;
Conceda privilégios de replicação ao usuário:
GRANT rds_replication TO clickpipes_user;
Crie uma publicação com as tabelas que você deseja replicar. Recomendamos fortemente incluir na publicação apenas as tabelas necessárias para evitar sobrecarga de desempenho.

Qualquer tabela incluída na publicação deve ter uma chave primária definida ou ter a identidade de réplica configurada como FULL. Consulte as FAQs do Postgres para ver orientações sobre escopo.

Para criar uma publicação para tabelas específicas:

CREATE PUBLICATION clickpipes FOR TABLE table_to_replicate, table_to_replicate2;

Para criar uma publicação para todas as tabelas em um schema específico:
CREATE PUBLICATION clickpipes FOR TABLES IN SCHEMA "public";

A publicação clickpipes define o conjunto de tabelas cujos eventos de alteração serão transmitidos ao ClickPipes. Recomendamos não usar FOR ALL TABLES, a menos que você pretenda replicar todas as tabelas, pois incluir tabelas desnecessárias aumenta o tráfego de WAL do Postgres para o ClickPipes e reduz a eficiência geral da replicação.

Usando autenticação IAM (opcional)

Em vez de uma senha, você pode autenticar o usuário do ClickPipes usando acesso baseado em funções do AWS IAM. Crie o usuário da seguinte forma e, em seguida, conceda a ele os mesmos privilégios de schema e replicação mostrados acima:

CREATE USER clickpipes_iam_user;
GRANT rds_iam TO clickpipes_iam_user;

A autenticação IAM para replicação exige que o parâmetro rds.iam_auth_for_replication esteja definido como 1. Há suporte para isso a partir do PostgreSQL 11; em versões anteriores, só é possível executar Initial Load Only no ClickPipes.

Consulte autenticação de banco de dados do AWS IAM (RDS/Aurora) para ver as etapas completas de configuração da função e da política do IAM necessárias para que o ClickPipes possa se autenticar dessa forma.

Configurar o acesso à rede

Controle de acesso por IP

Se você quiser restringir o tráfego para sua instância do RDS, adicione os IPs NAT estáticos documentados às Inbound rules do grupo de segurança do RDS.

Acesso privado via AWS PrivateLink

Para se conectar à sua instância do RDS por uma rede privada, você pode usar o AWS PrivateLink. Siga nosso guia de configuração do AWS PrivateLink para ClickPipes para configurar a conexão.

Soluções alternativas para o RDS Proxy

O RDS Proxy não oferece suporte a conexões de replicação lógica. Se você tiver endereços IP dinâmicos no RDS e não puder usar um nome DNS ou uma função Lambda, aqui estão algumas alternativas:

Usando um cron job, resolva periodicamente o IP do endpoint do RDS e atualize o NLB se ele tiver mudado.
Usando notificações de eventos do RDS com EventBridge/SNS: acione atualizações automaticamente com notificações de eventos do AWS RDS.
EC2 estável: implante uma instância do EC2 para atuar como um serviço de polling ou proxy baseado em IP.
Automatize o gerenciamento de endereços IP usando ferramentas como Terraform ou CloudFormation.

Próximos passos

Agora você pode criar seu ClickPipe e começar a fazer a ingestão de dados da sua instância do Postgres para o ClickHouse Cloud. Anote os detalhes da conexão que você usou ao configurar sua instância do Postgres, pois precisará deles durante o processo de criação do ClickPipe.

ClickPipes para BigQuery

Acesso programático

Outros

Guia de configuração da origem RDS Postgres

Versões compatíveis do Postgres

Habilite a replicação lógica

Configurar o usuário do banco de dados

Usando autenticação IAM (opcional)

Configurar o acesso à rede

Controle de acesso por IP

Acesso privado via AWS PrivateLink

Soluções alternativas para o RDS Proxy

Próximos passos

​Versões compatíveis do Postgres

​Habilite a replicação lógica

​Configurar o usuário do banco de dados

​Usando autenticação IAM (opcional)

​Configurar o acesso à rede

​Controle de acesso por IP

​Acesso privado via AWS PrivateLink

​Soluções alternativas para o RDS Proxy

​Próximos passos

Versões compatíveis do Postgres

Habilite a replicação lógica

Configurar o usuário do banco de dados

Usando autenticação IAM (opcional)

Configurar o acesso à rede

Controle de acesso por IP

Acesso privado via AWS PrivateLink

Soluções alternativas para o RDS Proxy

Próximos passos