Criando seu primeiro ClickPipe do GCS

Selecione a fonte de dados

1. No ClickHouse Cloud, selecione Fontes de dados no menu principal de navegação e clique em Criar ClickPipe.

2. Clique no bloco Google Cloud Storage.

Configure a conexão do ClickPipe

1. Para configurar um novo ClickPipe, você deve fornecer os detalhes de conexão e autenticação do seu serviço de armazenamento de objetos.

• Caminho do arquivo do GCS: O ClickPipe do GCS usa a API XML do Cloud Storage para interoperabilidade, o que exige o endpoint storage.googleapis.com:
  https://storage.googleapis.com/bucket-name/key-name
  
  Você pode usar curingas POSIX para corresponder a vários arquivos ou prefixos. Consulte a documentação de referência para ver orientações sobre os padrões compatíveis.

2. Clique em Dados de entrada. O ClickPipes buscará os metadados do seu bucket para a próxima etapa.

Selecionar formato de dados

A UI exibirá uma lista de arquivos no bucket especificado. Selecione o formato dos seus dados (no momento, oferecemos suporte a um subconjunto dos formatos do ClickHouse) e informe se deseja habilitar a ingestão contínua. Consulte a seção “ingestão contínua” na página de visão geral para mais detalhes.

Configurar tabela, esquema e configurações

Na próxima etapa, você poderá escolher se deseja fazer a ingestão de dados em uma nova tabela do ClickHouse ou reutilizar uma já existente. Siga as instruções na tela para modificar o nome da tabela, o esquema e as configurações. Você pode ver uma prévia em tempo real das suas alterações na tabela de exemplo na parte superior.

Você também pode personalizar as configurações avançadas usando os controles fornecidos.

Como alternativa, você pode optar por fazer a ingestão dos seus dados em uma tabela existente do ClickHouse. Nesse caso, a UI permitirá mapear campos da origem para os campos do ClickHouse na tabela de destino selecionada.

Você também pode mapear colunas virtuais, como _path ou _size, para campos.

Configurar permissões

Por fim, você pode configurar as permissões do usuário interno do ClickPipes.Permissões: o ClickPipes criará um usuário dedicado para gravar dados em uma tabela de destino. Você pode selecionar uma função para esse usuário interno usando uma função personalizada ou uma das funções predefinidas:

• Full access: com acesso total ao cluster. Necessário se você usar visão materializada ou Dicionário com a tabela de destino.
• Only destination table: apenas com permissões de INSERT na tabela de destino.

Concluir configuração

Ao clicar em “Concluir configuração”, o sistema registrará seu ClickPipe, e você poderá vê-lo listado na tabela de resumo.

A tabela de resumo oferece controles para exibir dados de exemplo da origem ou da tabela de destino no ClickHouse.

Ela também oferece controles para remover o ClickPipe e exibir um resumo do trabalho de ingestão.

Parabéns! Você configurou com sucesso seu primeiro ClickPipe. Se este for um ClickPipe configurado para ingestão contínua, ele será executado continuamente, fazendo a ingestão de dados em tempo real da sua fonte de dados remota. Caso contrário, ele fará a ingestão do lote e será concluído.