Criando seu primeiro ClickPipe do Amazon S3

Selecione a fonte de dados

1. No ClickHouse Cloud, selecione Fontes de dados no menu principal e clique em Criar ClickPipe.

2. Clique no bloco Amazon S3. Você também pode usar esse bloco para se conectar a outros serviços compatíveis com S3 que não estão listados na UI do ClickPipes.

Devido a diferenças nos formatos de URL e nas implementações de API entre provedores de serviços de armazenamento de objetos, nem todos os serviços compatíveis com S3 são compatíveis imediatamente. Se você estiver tendo problemas com um serviço que não está listado em fontes de dados compatíveis, entre em contato com nossa equipe.

Configure a conexão do seu ClickPipe

1. Para configurar um novo ClickPipe, você deve fornecer os detalhes de conexão e autenticação do seu serviço de armazenamento de objetos.

• Método de autenticação: o S3 ClickPipe oferece suporte a credenciais do IAM (Credentials) e autenticação baseada em IAM role (IAM role). Consulte a documentação de referência para orientações sobre autenticação e permissões.
  • Caminho do arquivo no S3: o S3 ClickPipe usa uma URI no estilo virtual-hosted.
    https://bucket-name.s3.region-code.amazonaws.com/key-name
    
    Você pode usar curingas POSIX para corresponder a vários arquivos ou prefixos. Consulte a documentação de referência para orientações sobre os padrões compatíveis.

2. Clique em Dados recebidos. O ClickPipes buscará os metadados do seu bucket para a próxima etapa.

Selecionar formato de dados

A UI exibirá uma lista de arquivos no bucket especificado. Selecione o formato dos seus dados (no momento, oferecemos suporte a um subconjunto dos formatos do ClickHouse) e informe se deseja habilitar a ingestão contínua. Consulte a seção “ingestão contínua” na página de visão geral para mais detalhes.

Configurar tabela, esquema e configurações

Na próxima etapa, você poderá escolher se deseja fazer a ingestão de dados em uma nova tabela do ClickHouse ou reutilizar uma já existente. Siga as instruções na tela para modificar o nome da tabela, o esquema e as configurações. Você pode ver uma prévia em tempo real das suas alterações na tabela de exemplo na parte superior.

Você também pode personalizar as configurações avançadas usando os controles fornecidos.

Como alternativa, você pode optar por fazer a ingestão dos seus dados em uma tabela existente do ClickHouse. Nesse caso, a UI permitirá mapear campos da origem para os campos do ClickHouse na tabela de destino selecionada.

Você também pode mapear colunas virtuais, como _path ou _size, para campos.

Configurar permissões

Por fim, você pode configurar as permissões do usuário interno do ClickPipes.Permissões: o ClickPipes criará um usuário dedicado para gravar dados em uma tabela de destino. Você pode selecionar uma função para esse usuário interno usando uma função personalizada ou uma das funções predefinidas:

• Full access: com acesso total ao cluster. Necessário se você usar visão materializada ou Dicionário com a tabela de destino.
• Only destination table: apenas com permissões de INSERT na tabela de destino.

Concluir configuração

Ao clicar em “Concluir configuração”, o sistema registrará seu ClickPipe, e você poderá vê-lo listado na tabela de resumo.

A tabela de resumo oferece controles para exibir dados de exemplo da origem ou da tabela de destino no ClickHouse.

Ela também oferece controles para remover o ClickPipe e exibir um resumo do trabalho de ingestão.

Parabéns! Você configurou com sucesso seu primeiro ClickPipe. Se este for um ClickPipe configurado para ingestão contínua, ele será executado continuamente, fazendo a ingestão de dados em tempo real da sua fonte de dados remota. Caso contrário, ele fará a ingestão do lote e será concluído.