Antes de prosseguir, verifique se o seu serviço Postgres está acessível ao serviço ClickPipes. Esse é o comportamento padrão, mas, se você restringiu o acesso por IP, talvez seja necessário liberar o acesso a alguns IPs de origem desta lista, de acordo com a região onde o seu serviço do ClickHouse está localizado.
1
Configure o serviço de replicação
Preencha as configurações de replicação:
- Integration name: um nome para este ClickPipe
- ClickHouse service: selecione um serviço do ClickHouse Cloud existente ou crie um novo
- Postgres database: o banco de dados de origem a ser replicado
- Replication method: escolha uma das opções:
- Initial load + CDC: importa os dados existentes e mantém as tabelas atualizadas com as novas alterações (recomendado)
- Initial load only: snapshot único dos dados existentes, sem atualizações contínuas
- CDC only: ignora o snapshot inicial e captura apenas as novas alterações daí em diante
2
Defina as configurações de replicação
Ajuste em detalhes como os dados são replicados:
- Sync interval (seconds): com que frequência as alterações são extraídas do Postgres (padrão: 60)
- Parallel threads for initial load: número de threads usadas durante o snapshot inicial (padrão: 4)
- Pull batch size: número de linhas obtidas por lote durante a replicação (padrão: 100000)
- Snapshot number of rows per partition: linhas por partição durante o snapshot inicial (padrão: 100000)
- Snapshot number of tables in parallel: quantas tabelas têm snapshot feito simultaneamente (padrão: 1)
3
Selecione as tabelas a replicar
Escolha um banco de dados de destino e selecione quais tabelas replicar:
- Destination database: selecione um banco de dados ClickHouse existente ou crie um novo
- Prefix default destination table names with schema name: adiciona o schema do Postgres como prefixo para evitar conflitos de nomes
- Preserve NULL values from source: mantém os valores NULL em vez de convertê-los para os padrões do tipo. Essa configuração se aplica a todas as tabelas do pipe e não pode ser alterada depois que o pipe é criado.
- Remove deleted rows during merges: para tabelas ReplacingMergeTree, remove fisicamente as linhas excluídas durante os merges em segundo plano
4
Monitore seu ClickPipe
Assim que o ClickPipe iniciar, ele aparecerá listado no mesmo menu. O snapshot inicial de todos os dados pode levar algum tempo, dependendo do tamanho das suas tabelas.Clique no nome da integração para ver o status detalhado, monitorar o progresso, visualizar erros e gerenciar o ClickPipe. Consulte Ciclo de vida de um ClickPipe do Postgres para entender os diferentes estados em que seu ClickPipe pode estar.