Pular para o conteúdo principal
WalShadow é um mecanismo de replicação nativo para o ClickHouse Managed Postgres que lê diretamente do Write-Ahead Log (WAL) do PostgreSQL. Ele é otimizado para menor latência e workloads de alto throughput, entregando uma defasagem de replicação inferior a um segundo entre o Postgres e o ClickHouse. Seu desenvolvimento é aberto em ClickHouse/walshadow. WalShadow é um dos dois métodos de replicação disponíveis em Sync to ClickHouse. O outro, ClickPipes, é um pipeline de dados totalmente gerenciado. Escolha o WalShadow quando precisar da menor latência e da menor sobrecarga de replicação. Quando o WalShadow estiver disponível para o seu service, um banner de Private Preview aparece na página Overview. Clique em Configure WalShadow para começar.
Página de visão geral do Postgres service exibindo o banner de private preview do WalShadow com os links Learn more e Configure WalShadow
Antes de prosseguir, verifique se o seu Postgres service está acessível ao ClickHouse. O WalShadow se conecta diretamente ao ClickHouse service de destino, portanto você precisará de um ClickHouse user e uma senha com permissão para criar bancos de dados e tabelas.
Para configurar a replicação, clique em Sync to ClickHouse na barra lateral do seu Postgres instance e, em seguida, clique em Replicate data in ClickHouse.
Página inicial de Sync to ClickHouse exibindo os métodos de replicação ClickPipes e WalShadow
1

Selecione o mecanismo de replicação

Escolha WalShadow como mecanismo de replicação e clique em Next.
Etapa de seleção do mecanismo de replicação mostrando as opções ClickPipes e WalShadow, com WalShadow selecionado
2

Configure o serviço de replicação

Preencha as configurações de replicação:
  • ClickHouse service: selecione um ClickHouse service existente ou crie um novo
  • Postgres database: selecione o banco de dados de origem a ser replicado ou crie um novo
  • Replication method: escolha uma das opções:
    • Carga inicial + CDC: importa os dados existentes e mantém as tabelas atualizadas com as novas alterações (recomendado)
    • Apenas carga inicial: importação única dos dados existentes, sem atualizações contínuas
    • CDC only: ignora a importação inicial e captura apenas as novas alterações a partir de então
Etapa de configuração do serviço de replicação mostrando as opções de ClickHouse service, banco de dados Postgres e método de replicação
Clique em Next para prosseguir.
3

Selecione as tabelas a replicar

Escolha um banco de dados de destino e selecione quais tabelas replicar:
  • Destination database: selecione um banco de dados ClickHouse existente ou crie um novo
  • Tables: expanda cada schema e selecione tabelas individuais ou ative Select all tables. Para cada tabela, você pode personalizar o Destination table name e ajustar as Column settings.
  • ClickHouse user e ClickHouse password: o WalShadow se conecta diretamente ao ClickHouse service de destino, portanto precisa de credenciais com permissão para criar o banco de dados e as tabelas de destino.
Etapa de seleção de tabelas mostrando a seleção de schema e tabelas, nomes das tabelas de destino e credenciais do ClickHouse
Clique em Replicate data to ClickHouse para iniciar a replicação.
4

Monitore o WalShadow

Depois de iniciar a replicação, o WalShadow aparece na página Sync to ClickHouse. Seu status fica como Creating enquanto o pipeline é provisionado e a carga inicial é preparada.
Página Sync to ClickHouse mostrando o WalShadow no estado Creating
Concluído o provisionamento, o status muda para Running. A página exibe métricas em tempo real da replicação:
  • Status: o estado atual do pipeline (por exemplo, Running)
  • Rows synced: o número total de linhas replicadas para o ClickHouse
  • Backfills pending: o número de tabelas que ainda aguardam sua carga inicial
  • Lag: o volume de dados de WAL que ainda falta aplicar
  • Lag time: o quanto o destino está atrasado em relação ao Postgres no momento
  • Uptime: há quanto tempo o pipeline está em execução
  • Last updated: quando as métricas foram reportadas pela última vez
Página Sync to ClickHouse mostrando o WalShadow no estado Running com métricas de linhas sincronizadas, defasagem e uptime

Ressalvas

Alguns pontos a observar enquanto o WalShadow está em Private Preview:
  • Por enquanto, apenas um WalShadow por Postgres service.
  • Operações e métricas mais detalhadas estão no roadmap.