clickhouse-local
como uma ferramenta de ETL para migrar dados do seu sistema de banco de dados atual para o ClickHouse Cloud, desde que, para esse sistema, exista um
motor de integração fornecido pelo ClickHouse ou uma função de tabela,
ou que haja um JDBC driver ou ODBC driver fornecido pelo respectivo fornecedor.
Às vezes, chamamos esse método de migração de método “pivot”, porque ele usa um ponto intermediário para mover os dados do banco de dados de origem para o banco de dados de destino. Por exemplo, esse método pode ser necessário se, por requisitos de segurança, apenas conexões de saída forem permitidas em uma rede privada ou interna e, portanto, você precise extrair os dados do banco de dados de origem com o clickhouse-local e, em seguida, enviar os dados para um banco de dados ClickHouse de destino, com o clickhouse-local atuando como ponto intermediário.
O ClickHouse fornece motores de integração e funções de tabela (que criam motores de integração em tempo de execução) para MySQL, PostgreSQL, MongoDB e SQLite.
Para todos os outros sistemas de banco de dados populares, há JDBC driver ou ODBC driver disponível por meio do fornecedor do sistema.
O que é clickhouse-local?
clickhouse-server. O acesso ao banco de dados (caminhos, usuários, segurança, …) é configurado em um arquivo de configuração do servidor.
A ferramenta clickhouse-local permite usar o engine de banco de dados ClickHouse de forma isolada, como um utilitário de linha de comando, para processamento extremamente rápido de dados SQL com um grande volume de entradas e saídas, sem precisar configurar e iniciar um servidor ClickHouse.
Instalando o clickhouse-local
clickhouse-local que tenha acesso de rede tanto ao seu sistema de banco de dados de origem atual quanto ao seu serviço de destino no ClickHouse Cloud.
Nessa máquina host, baixe a compilação apropriada do clickhouse-local com base no sistema operacional do seu computador:
- Linux
- macOS
- A forma mais simples de baixar o
clickhouse-localé executar o seguinte comando:
- Execute o
clickhouse-local(ele apenas imprimirá a versão):
ImportanteOs exemplos deste guia usam os comandos do Linux para executar o
clickhouse-local (./clickhouse-local).
Para executar o clickhouse-local em um Mac, use ./clickhouse local.Gerenciar sua IP Access List
Gerenciar sua IP Access List
Na lista de serviços do ClickHouse Cloud, escolha o serviço com o qual você vai trabalhar e vá para Configurações. Se a IP Access List não incluir o endereço IP ou o intervalo de IPs do sistema remoto que precisa se conectar ao seu serviço do ClickHouse Cloud, você pode resolver o problema com Adicionar IPs:
Adicione o endereço IP individual ou o intervalo de endereços que precisam se conectar ao seu serviço do ClickHouse Cloud. Ajuste o formulário conforme necessário e depois clique em Salvar.


Exemplo: Migração de MySQL para ClickHouse Cloud com um motor de integração
No serviço de destino do ClickHouse Cloud:
Crie o banco de dados de destino:
Crie uma tabela de destino com um esquema equivalente ao da tabela do MySQL:
O esquema da tabela de destino no ClickHouse Cloud e o esquema da tabela de origem no MySQL devem estar alinhados (os nomes e a ordem das colunas devem ser os mesmos, e os tipos de dados das colunas devem ser compatíveis).
Na máquina host do clickhouse-local:
Execute o clickhouse-local usando a consulta de migração:
Nenhum dado é armazenado localmente na máquina host do
clickhouse-local. Em vez disso, os dados são lidos da tabela MySQL de origem
e, em seguida, gravados imediatamente na tabela de destino do serviço ClickHouse Cloud.