Antes de prosseguir, certifique-se de que seu serviço Postgres esteja acessível ao serviço ClickPipes. Isso deve ocorrer por padrão, mas, se você tiver restringido o acesso por IP, talvez precise conceder acesso a alguns IPs de origem desta lista aqui, com base na região em que seu serviço ClickHouse está localizado.
1
Configure o serviço de replicação
Preencha as configurações de replicação:
- Integration name: Um nome para este ClickPipe
- serviço ClickHouse: Selecione um serviço do ClickHouse Cloud existente ou crie um novo
- Postgres database: O banco de dados de origem a partir do qual replicar
- Replication method: Escolha uma das:
- Initial load + CDC: Importe os dados existentes e mantenha as tabelas atualizadas com novas alterações (recomendado)
- Initial load only: Snapshot único dos dados existentes, sem atualizações contínuas
- CDC only: Ignore o snapshot inicial e capture apenas novas alterações daqui em diante
2
Configure replication settings
Ajuste como os dados são replicados:
- Sync interval (seconds): Com que frequência as alterações são extraídas do Postgres (padrão: 60)
- Parallel threads for initial load: Número de threads usadas durante o snapshot inicial (padrão: 4)
- Pull batch size: Número de linhas buscadas por batch durante a replicação (padrão: 100000)
- Snapshot number of rows per partition: Número de linhas por partição durante o snapshot inicial (padrão: 100000)
- Snapshot number of tables in parallel: Quantas tabelas têm snapshot feito em paralelo (padrão: 1)
3
Selecione as tabelas a serem replicadas
Escolha um banco de dados de destino e selecione quais tabelas replicar:
- Destination database: Selecione um banco de dados ClickHouse existente ou crie um novo
- Prefix default destination table names with schema name: Adiciona o schema do Postgres como prefixo para evitar conflitos de nomenclatura
- Preserve NULL values from source: Mantém os valores NULL em vez de convertê-los em valores padrão do tipo. Esta configuração se aplica a todas as tabelas no pipe e não pode ser alterada após a criação do pipe.
- Remove deleted rows during merges: Para tabelas ReplacingMergeTree, remove fisicamente as linhas excluídas durante os merges em segundo plano
4
Monitore seu ClickPipe
Assim que o ClickPipe iniciar, ele aparecerá listado no mesmo menu. O snapshot inicial de todos os dados pode levar algum tempo, dependendo do tamanho das suas tabelas.Clique no nome da integração para ver o status detalhado, acompanhar o progresso, ver erros e gerenciar o ClickPipe. Consulte Lifecycle of a Postgres ClickPipe para entender os diferentes estados em que seu ClickPipe pode estar.