> ## Documentation Index
> Fetch the complete documentation index at: https://clickhouse.com/docs/llms.txt
> Use this file to discover all available pages before exploring further.
> Envie dados para o ClickHouse usando os pipelines de dados do BladePipe
# Conecte o BladePipe ao ClickHouse
export const PartnerBadge = () => {
return ;
};
export const Image = ({img, alt, size = "lg"}) => {
const normalizedSize = ["sm", "md", "lg"].includes(size) ? size : "lg";
return ;
};
BladePipe é uma ferramenta de integração de dados ponta a ponta em tempo real, com latência inferior a um segundo, que proporciona um fluxo de dados contínuo entre plataformas.
O ClickHouse é um dos conectores pré-configurados do BladePipe, permitindo que os usuários integrem automaticamente dados de várias fontes ao ClickHouse. Esta página mostra como carregar dados no ClickHouse em tempo real, passo a passo.
## Fontes suportadas
Atualmente, o BladePipe oferece suporte à integração de dados com o ClickHouse a partir das seguintes fontes:
* MySQL/MariaDB/AuroraMySQL
* Oracle
* PostgreSQL/AuroraPostgreSQL
* MongoDB
* Kafka
* PolarDB-MySQL
* OceanBase
* TiDB
Mais fontes serão suportadas futuramente.
1. Faça login no BladePipe Cloud.
2. Siga as instruções em Instalar o Worker (Docker) ou Instalar o Worker (Binário) para baixar e instalar um Worker do BladePipe.
Como alternativa, você pode baixar e implantar o BladePipe Enterprise.
1. O BladePipe oferece suporte ao ClickHouse versão `20.12.3.3` ou superior.
2. Para usar o ClickHouse como destino, verifique se o usuário tem permissões de SELECT, INSERT e DDL comuns.
1. No BladePipe, clique em "DataSource" > "Add DataSource".
2. Selecione `ClickHouse` e preencha as configurações informando o host e a porta do ClickHouse, além do nome de usuário e da senha. Em seguida, clique em "Test Connection".
3. Clique em "Add DataSource" na parte inferior para adicionar uma instância do ClickHouse.
Neste tutorial, usamos uma instância do MySQL como fonte e explicamos o processo de carregar dados do MySQL no ClickHouse.
Para usar o MySQL como fonte, certifique-se de que o usuário tenha as permissões necessárias.
1. No BladePipe, clique em "DataSource" > "Add DataSource".
2. Selecione `MySQL` e preencha as configurações informando o host e a porta do MySQL, o nome de usuário e a senha, e clique em "Test Connection".
3. Clique em "Add DataSource" na parte inferior, e uma instância do MySQL será adicionada.
1. No BladePipe, clique em "DataJob" > "Create DataJob".
2. Selecione as instâncias adicionadas do MySQL e do ClickHouse e clique em "Test Connection" para garantir que o BladePipe esteja conectado a elas. Em seguida, selecione os bancos de dados que serão movidos.
3. Em DataJob Type, selecione "Incremental" junto com a opção "Full Data".
4. Selecione as tabelas a serem replicadas.
5. Selecione as colunas a serem replicadas.
6. Confirme a criação do DataJob, e ele será executado automaticamente.
1. Interrompa a gravação de dados na instância do MySQL e aguarde o ClickHouse concluir a mesclagem dos dados.
Como o momento em que o ClickHouse executa a mesclagem automática é imprevisível, você pode forçar manualmente uma mesclagem executando o comando `OPTIMIZE TABLE xxx FINAL;`. Observe que essa mesclagem manual pode não ser bem-sucedida em todos os casos.
Como alternativa, você pode executar o comando `CREATE VIEW xxx_v AS SELECT * FROM xxx FINAL;` para criar uma view e consultá-la, garantindo que os dados estejam totalmente mesclados.
2. Crie um DataJob de verificação. Quando o DataJob de verificação for concluído, revise os resultados para confirmar que os dados no ClickHouse são os mesmos do MySQL.