- Materializar dados em instâncias auto-hospedadas e no ClickHouse Cloud
- Processar automaticamente tarefas como a criação de tabelas e a evolução de esquema
- Oferecer suporte a exclusões lógicas ou físicas
- Usar
ReplacingMergeTreepara atualizações de mesclagem padrão ouMergeTreepara atualizações delta - Garantir entrega exactly-once
Guia de configuração
- Uma conta do Estuary
- Uma ou mais capturas no Estuary que extraem dados das fontes desejadas
- Uma instância auto-hospedada do ClickHouse ou uma conta Cloud
- Um usuário de banco de dados do ClickHouse com credenciais
1
Configurar o ClickHouse para a integração
Para configurar o conector do ClickHouse do Estuary, você precisará reunir algumas informações da sua instância do ClickHouse e configurar as permissões do usuário.
- Copie o endpoint de host do seu banco de dados. Para a porta, use 9440 se o TLS estiver ativado ou 9000 se estiver desativado. Juntos, o host e a porta formarão o endereço que você deverá fornecer ao Estuary.
-
Conceda permissões ao usuário de banco de dados que será acessado pelo Estuary.
Para criar e gerenciar tabelas automaticamente, o Estuary precisará das permissões
CREATE,SELECT,INSERTetc. no banco de dados de destino, além de permissões para descoberta de metadados e gerenciamento de partições. Você pode conceder todas as permissões necessárias executando estes comandos SQL e substituindo<database>e<user>pelas suas informações: -
Opcionalmente, restrinja o acesso do usuário ao sistema somente ao banco de dados de destino.
Você pode fazer isso com políticas em nível de linha. Por exemplo:
2
Criar uma materialização no Estuary
- No painel do Estuary, acesse a página Destinations.
- Clique em + New Materialization.
- Selecione o conector ClickHouse.
-
Preencha a seção Materialization Details:
- Informe um nome exclusivo para a materialização
- Escolha um plano de dados (provedor de Cloud e região)
-
Preencha os detalhes de Endpoint Config para que o Estuary possa se conectar à sua instância do ClickHouse:
- Address: host e porta da sua instância
- Database: nome do banco de dados de destino
- Authentication: nome de usuário e senha do usuário de banco de dados
3
Configurar coleções de origem
Na seção Source Collections, escolha quais fontes você deseja materializar no ClickHouse.
- Vincule uma captura existente ou adicione coleções de dados individuais para materializar no ClickHouse.
- Se necessário, selecione uma coleção de dados na lista para configurá-la. As opções de personalização incluem:
- Escolher outro nome de tabela para a coleção
- Selecionar o comportamento de mesclagem da coleção (se deve usar o modo de atualizações delta)
- Personalizar o comportamento de seleção de campos para controlar quais campos serão materializados
- Quando estiver satisfeito com a forma como os dados serão materializados no ClickHouse, clique em Next e depois em Save and Publish.
Recursos adicionais
- Consulte a documentação sobre materialização do ClickHouse do Estuary.
- Além do workflow pela UI descrito nestas instruções, você também pode gerenciar a configuração do pipeline no Estuary via CLI. Consulte os guias do Estuary sobre
flowctlpara saber mais sobre como trabalhar com o Estuary de forma programática.