Neste guia, vamos mostrar a você como criar seu primeiro ClickPipe do Kafka.Os ClickPipes do Kafka podem ser implantados e gerenciados manualmente pela UI do ClickPipes, bem como programaticamente usando OpenAPI e Terraform.
1
Acesse Data Sources
Selecione o botão
Data Sources no menu à esquerda e clique em “Set up a ClickPipe”.2
Selecione uma fonte de dados
Selecione a fonte de dados do Kafka na lista.
3
Configure a fonte de dados
Preencha o formulário informando um nome para o seu ClickPipe, uma descrição (opcional), suas credenciais e outros detalhes de conexão.
4
Configure um registro de esquemas (opcional)
Um esquema válido é obrigatório para tópicos Avro e Protobuf. Consulte Registros de esquemas para mais detalhes sobre como configurar um registro de esquemas.
5
Configure um endpoint privado reverso (opcional)
Configure um endpoint privado reverso para permitir que o ClickPipes se conecte ao seu cluster do Kafka usando o AWS PrivateLink.
Consulte nossa documentação do AWS PrivateLink para mais informações.
6
Configure o túnel SSH (opcional)
Você pode usar um túnel SSH se o seu broker Kafka não estiver acessível publicamente. Em vez de se conectar diretamente, o ClickPipes estabelece uma conexão SSH com um host bastion (um servidor na sua rede que é acessível publicamente) e então encaminha o tráfego por ele até o seu broker Kafka na rede privada.
- Ative a opção “SSH Tunnel”.
- Preencha os detalhes da conexão SSH:
- SSH Host: O hostname ou endereço IP do seu host bastion — este é o servidor acessível publicamente que funciona como ponto de entrada para a sua rede privada.
- SSH Port: A porta SSH no host bastion (o padrão é
22). - SSH User: O nome de usuário usado para autenticação no host bastion.
- Para usar autenticação baseada em chave, clique em “Revoke and regenerate key pair” para gerar um novo par de chaves e copie a chave pública gerada para o seu servidor SSH em
~/.ssh/authorized_keys. - Clique em “Verify Connection” para verificar a conexão.
Certifique-se de adicionar os endereços IP do ClickPipes à lista de permissões nas regras de firewall do host SSH bastion, para que o ClickPipes possa estabelecer o túnel SSH.
7
Selecione seu tópico
Selecione seu tópico, e a UI exibirá um documento de exemplo desse tópico.
8
Configure sua tabela de destino
Na próxima etapa, você pode escolher se deseja fazer a ingestão de dados em uma nova tabela do ClickHouse ou reutilizar uma já existente. Siga as instruções na tela para modificar o nome da tabela, o esquema e as configurações. Você pode ver uma prévia em tempo real das alterações na tabela de amostra na parte superior.Você também pode personalizar as configurações avançadas usando os controles disponíveis
9
Configurar permissões
O ClickPipes criará um usuário dedicado para gravar dados na tabela de destino. Você pode selecionar uma função para esse usuário interno usando uma função personalizada ou uma das funções predefinidas:
Full access: com acesso total ao cluster. Isso pode ser útil se você usar uma visão materializada ou um Dicionário com a tabela de destino.Only destination table: apenas com permissõesINSERTna tabela de destino.
10
Configuração completa
Ao clicar em “Create ClickPipe”, o ClickPipe será criado e executado. Ele passará a aparecer na seção Data Sources.