Skip to main content
BladePipe é uma ferramenta de integração de dados ponta a ponta em tempo real, com latência inferior a um segundo, que proporciona um fluxo de dados contínuo entre plataformas. O ClickHouse é um dos conectores pré-configurados do BladePipe, permitindo que os usuários integrem automaticamente dados de várias fontes ao ClickHouse. Esta página mostra como carregar dados no ClickHouse em tempo real, passo a passo.

​
Fontes suportadas

Atualmente, o BladePipe oferece suporte à integração de dados com o ClickHouse a partir das seguintes fontes:
  • MySQL/MariaDB/AuroraMySQL
  • Oracle
  • PostgreSQL/AuroraPostgreSQL
  • MongoDB
  • Kafka
  • PolarDB-MySQL
  • OceanBase
  • TiDB
Mais fontes serão suportadas futuramente.
1

Baixe e execute o BladePipe

  1. Faça login no BladePipe Cloud.
  2. Siga as instruções em Instalar o Worker (Docker) ou Instalar o Worker (Binário) para baixar e instalar um Worker do BladePipe.
Como alternativa, você pode baixar e implantar o BladePipe Enterprise.
2

Adicione o ClickHouse como destino

  1. O BladePipe oferece suporte ao ClickHouse versão 20.12.3.3 ou superior.
  2. Para usar o ClickHouse como destino, verifique se o usuário tem permissões de SELECT, INSERT e DDL comuns.
  1. No BladePipe, clique em “DataSource” > “Add DataSource”.
  2. Selecione ClickHouse e preencha as configurações informando o host e a porta do ClickHouse, além do nome de usuário e da senha. Em seguida, clique em “Test Connection”.
  3. Clique em “Add DataSource” na parte inferior para adicionar uma instância do ClickHouse.
3

Adicionar o MySQL como fonte

Neste tutorial, usamos uma instância do MySQL como fonte e explicamos o processo de carregar dados do MySQL no ClickHouse.
Para usar o MySQL como fonte, certifique-se de que o usuário tenha as permissões necessárias.
  1. No BladePipe, clique em “DataSource” > “Add DataSource”.
  2. Selecione MySQL e preencha as configurações informando o host e a porta do MySQL, o nome de usuário e a senha, e clique em “Test Connection”.
  3. Clique em “Add DataSource” na parte inferior, e uma instância do MySQL será adicionada.
4

Criar um pipeline

  1. No BladePipe, clique em “DataJob” > “Create DataJob”.
  2. Selecione as instâncias adicionadas do MySQL e do ClickHouse e clique em “Test Connection” para garantir que o BladePipe esteja conectado a elas. Em seguida, selecione os bancos de dados que serão movidos.
  3. Em DataJob Type, selecione “Incremental” junto com a opção “Full Data”.
  4. Selecione as tabelas a serem replicadas.
  5. Selecione as colunas a serem replicadas.
  6. Confirme a criação do DataJob, e ele será executado automaticamente.
5

Verifique os dados

  1. Interrompa a gravação de dados na instância do MySQL e aguarde o ClickHouse concluir a mesclagem dos dados.
Como o momento em que o ClickHouse executa a mesclagem automática é imprevisível, você pode forçar manualmente uma mesclagem executando o comando OPTIMIZE TABLE xxx FINAL;. Observe que essa mesclagem manual pode não ser bem-sucedida em todos os casos.Como alternativa, você pode executar o comando CREATE VIEW xxx_v AS SELECT * FROM xxx FINAL; para criar uma view e consultá-la, garantindo que os dados estejam totalmente mesclados.
  1. Crie um DataJob de verificação. Quando o DataJob de verificação for concluído, revise os resultados para confirmar que os dados no ClickHouse são os mesmos do MySQL.
Última modificação em 24 de julho de 2026