Pular para o conteúdo principal
Toda instância do ClickHouse Managed Postgres já vem com recursos de CDC integrados para qualquer um dos seus serviços do ClickHouse. Isso permite mover parte ou a totalidade dos dados da sua instância Postgres para o ClickHouse e fazer com que as alterações de dados no Postgres sejam refletidas no ClickHouse de forma contínua e quase em tempo real. Nos bastidores, esse recurso é viabilizado pelo ClickPipes. Para acessá-lo, clique em Sync to ClickHouse na barra lateral da sua instância Postgres.
Página inicial da integração com o ClickHouse mostrando a opção de integração na barra lateral
Antes de prosseguir, verifique se o seu serviço Postgres está acessível ao serviço ClickPipes. Esse é o comportamento padrão, mas, se você restringiu o acesso por IP, talvez seja necessário liberar o acesso a alguns IPs de origem desta lista, de acordo com a região onde o seu serviço do ClickHouse está localizado.
Clique em Replicate data in ClickHouse para começar a configurar o seu ClickPipe.
1

Configure o serviço de replicação

Preencha as configurações de replicação:
  • Integration name: um nome para este ClickPipe
  • ClickHouse service: selecione um serviço do ClickHouse Cloud existente ou crie um novo
  • Postgres database: o banco de dados de origem a ser replicado
  • Replication method: escolha uma das opções:
    • Initial load + CDC: importa os dados existentes e mantém as tabelas atualizadas com as novas alterações (recomendado)
    • Initial load only: snapshot único dos dados existentes, sem atualizações contínuas
    • CDC only: ignora o snapshot inicial e captura apenas as novas alterações daí em diante
Configuração do serviço de replicação mostrando o nome da integração, o serviço de destino e as opções de método de replicação
Clique em Next para continuar.
2

Defina as configurações de replicação

Ajuste em detalhes como os dados são replicados:
  • Sync interval (seconds): com que frequência as alterações são extraídas do Postgres (padrão: 60)
  • Parallel threads for initial load: número de threads usadas durante o snapshot inicial (padrão: 4)
  • Pull batch size: número de linhas obtidas por lote durante a replicação (padrão: 100000)
  • Snapshot number of rows per partition: linhas por partição durante o snapshot inicial (padrão: 100000)
  • Snapshot number of tables in parallel: quantas tabelas têm snapshot feito simultaneamente (padrão: 1)
Etapa de configurações de replicação mostrando o intervalo de sincronização, threads paralelas, tamanho do lote de extração e opções de configuração do snapshot inicial
Clique em Next para continuar.
3

Selecione as tabelas a replicar

Escolha um banco de dados de destino e selecione quais tabelas replicar:
  • Destination database: selecione um banco de dados ClickHouse existente ou crie um novo
  • Prefix default destination table names with schema name: adiciona o schema do Postgres como prefixo para evitar conflitos de nomes
  • Preserve NULL values from source: mantém os valores NULL em vez de convertê-los para os padrões do tipo. Essa configuração se aplica a todas as tabelas do pipe e não pode ser alterada depois que o pipe é criado.
  • Remove deleted rows during merges: para tabelas ReplacingMergeTree, remove fisicamente as linhas excluídas durante os merges em segundo plano
Expanda os schemas e selecione as tabelas individuais a replicar. Você também pode personalizar os nomes das tabelas de destino e as configurações de colunas.
Etapa de seleção de tabelas mostrando a escolha do banco de dados, as opções de replicação e o seletor de tabelas agrupadas por schema
Clique em Replicate data to ClickHouse para iniciar a replicação.
4

Monitore seu ClickPipe

Assim que o ClickPipe iniciar, ele aparecerá listado no mesmo menu. O snapshot inicial de todos os dados pode levar algum tempo, dependendo do tamanho das suas tabelas.
Lista de integrações do ClickHouse mostrando um ClickPipe em execução com seu serviço de destino e status
Clique no nome da integração para ver o status detalhado, monitorar o progresso, visualizar erros e gerenciar o ClickPipe. Consulte Ciclo de vida de um ClickPipe do Postgres para entender os diferentes estados em que seu ClickPipe pode estar.