A ingestão de dados do MongoDB para o ClickHouse Cloud via ClickPipes está em beta público.
No console e na documentação do ClickHouse Cloud, “tabela” e “coleção” são usados indistintamente para o MongoDB.
Pré-requisitos
Crie seu ClickPipe
- No console do ClickHouse Cloud, navegue até seu serviço do ClickHouse Cloud.
- Selecione o botão
Data Sourcesno menu à esquerda e clique em “Set up a ClickPipe”.
- Selecione o bloco
MongoDB CDC.
Adicione a conexão com o banco de dados MongoDB de origem
- Preencha os detalhes da conexão com o banco de dados MongoDB de origem que você configurou na etapa de pré-requisitos.
Antes de começar a inserir os detalhes da conexão, certifique-se de que você adicionou os endereços IP do ClickPipes à lista de permissões nas regras do seu firewall. Na página a seguir, você encontra uma lista de endereços IP do ClickPipes.
Para mais informações, consulte os guias de configuração do MongoDB de origem indicados no topo desta página.
(Opcional) Alterar as configurações de TLS



Disable TLSativa ou desativa o TLS para a conexão. Desativar o TLS significa que os dados são enviados em texto simples pela rede, potencialmente incluindo credenciais e dados sensíveis.Skip certificate verificationativa ou desativa a verificação do certificado apresentado pelo banco de dados de origem. Leve em consideração as implicações de segurança de ignorar a verificação de certificados.TLS Host(opcional, usa o Host de origem por padrão) é o hostname ao qual o CN do certificado deve corresponder quando a verificação de certificados está habilitada.Upload CApode ser usado para fornecer uma CA a ser utilizada quando a verificação de certificados estiver habilitada.
(Opcional) Configure o túnel SSH
- Ative a opção “Usar túnel SSH”.
- Preencha os detalhes da conexão SSH.
-
Para usar autenticação baseada em chave, clique em “Revogar e gerar par de chaves” para gerar um novo par de chaves e copie a chave pública gerada para o seu servidor SSH em
~/.ssh/authorized_keys. - Clique em “Verificar conexão” para verificar a conexão.
Certifique-se de adicionar endereços IP do ClickPipes à lista de permissões nas regras do firewall do host bastion SSH, para que o ClickPipes possa estabelecer o túnel SSH.
Next.
Configure as configurações avançadas
- Intervalo de sincronização: Este é o intervalo em que o ClickPipes consultará o banco de dados de origem em busca de alterações. Isso afeta o serviço ClickHouse de destino; para usuários com maior sensibilidade a custos, recomendamos manter esse valor mais alto (acima de
3600). - Tamanho do lote de extração: O número de linhas a serem buscadas em um único lote. Esta é uma configuração de melhor esforço e pode não ser aplicada em todos os casos.
- Número de tabelas no snapshot em paralelo: Este é o número de tabelas que serão buscadas em paralelo durante o snapshot inicial. Isso é útil quando você tem um grande número de tabelas e deseja controlar quantas tabelas serão buscadas em paralelo.
Configure as tabelas
- Aqui, você pode selecionar o banco de dados de destino do seu ClickPipe. Você pode escolher um banco de dados existente ou criar um novo.
- Você pode selecionar as tabelas que deseja replicar do banco de dados de origem do MongoDB. Ao selecionar as tabelas, também é possível optar por renomeá-las no banco de dados de destino do ClickHouse.
Revise as permissões e inicie o ClickPipe
- Selecione a função “Acesso total” na lista suspensa de permissões e clique em “Concluir Setup”.
O que vem depois?
Ressalvas
- Exigimos o MongoDB na versão 5.1.0 ou superior.
- Usamos a API nativa de Change Streams do MongoDB para CDC, que depende do oplog do MongoDB para capturar alterações em tempo real.
- Os documentos do MongoDB são replicados no ClickHouse como JSON type por padrão. Isso permite um gerenciamento flexível do esquema e possibilita o uso do amplo conjunto de operadores JSON do ClickHouse para consultas e análises. Você pode saber mais sobre como consultar dados JSON aqui.
- A configuração de PrivateLink por autoatendimento não está disponível no momento. Se você usa AWS e precisa de PrivateLink, entre em contato com db-integrations-support@clickhouse.com ou crie um ticket de suporte — trabalharemos com você para habilitá-lo.