Integrando a Confluent Platform ao ClickHouse

Pré-requisitos

Partimos do pressuposto de que você já esteja familiarizado com:

ClickHouse Connector Sink
Confluent Platform e Custom Connectors.

O conector oficial do Kafka da ClickHouse para a Confluent Platform

Instalação no Confluent Platform

Este é um guia rápido para ajudar você a começar a usar o ClickHouse Sink Connector no Confluent Platform. Para mais detalhes, consulte a documentação oficial da Confluent.

Criar um tópico

Criar um tópico na Confluent Platform é bastante simples, e há instruções detalhadas aqui.

Observações importantes

O nome do tópico do Kafka deve ser o mesmo da tabela do ClickHouse. A forma de ajustar isso é usando um transformador (por exemplo, ExtractTopic).
Mais partições nem sempre significam mais desempenho — consulte nosso próximo guia para mais detalhes e dicas de performance.

Instalar o conector

Você pode baixar o conector em nosso repositório — sinta-se à vontade para enviar comentários e relatar problemas por lá também! Navegue até “Connector Plugins” -> “Add plugin” e use as seguintes configurações:

'Connector Class' - 'com.clickhouse.kafka.connect.ClickHouseSinkConnector'
'Connector type' - Sink
'Sensitive properties' - 'password'. This will ensure entries of the ClickHouse password are masked during configuration.

Exemplo:

Reúna os detalhes da conexão

Para se conectar ao ClickHouse via HTTP(S), você precisa das seguintes informações:

Parâmetro(s)	Descrição
`HOST` and `PORT`	Normalmente, a porta é 8443 ao usar TLS ou 8123 quando não se usa TLS.
`DATABASE NAME`	Por padrão, há um banco de dados chamado `default`; use o nome do banco de dados ao qual você deseja se conectar.
`USERNAME` and `PASSWORD`	Por padrão, o nome de usuário é `default`. Use o nome de usuário apropriado para o seu caso de uso.

Os detalhes do seu serviço do ClickHouse Cloud estão disponíveis no console do ClickHouse Cloud. Selecione um serviço e clique em Connect:

Escolha HTTPS. Os detalhes de conexão são exibidos em um comando curl de exemplo.

detalhes de conexão HTTPS do ClickHouse Cloud

Se você estiver usando ClickHouse autogerenciado, os detalhes de conexão são definidos pelo administrador do seu ClickHouse.

Configurar o conector

Acesse Connectors -> Add Connector e use as configurações a seguir (observe que os valores são apenas exemplos):

{
  "database": "<DATABASE_NAME>",
  "errors.retry.timeout": "30",
  "exactlyOnce": "false",
  "schemas.enable": "false",
  "hostname": "<CLICKHOUSE_HOSTNAME>",
  "password": "<SAMPLE_PASSWORD>",
  "port": "8443",
  "ssl": "true",
  "topics": "<TOPIC_NAME>",
  "username": "<SAMPLE_USERNAME>",
  "key.converter": "org.apache.kafka.connect.storage.StringConverter",
  "value.converter": "org.apache.kafka.connect.json.JsonConverter",
  "value.converter.schemas.enable": "false"
}

Especifique os endpoints de conexão

Você precisa especificar a lista de permissões de endpoints que o conector pode acessar. Ao adicionar os endpoints de egress da rede, você deve usar um nome de domínio totalmente qualificado (FQDN). Example: u57swl97we.eu-west-1.aws.clickhouse.com:8443

Você deve especificar a porta HTTP(S). O Connector ainda não oferece suporte ao protocolo nativo.

Leia a documentação. Tudo pronto!

Limitações conhecidas

Os Custom Connectors devem usar endpoints públicos na internet. Endereços IP estáticos não são compatíveis.
Você pode substituir algumas propriedades dos Custom Connectors. Veja a lista na documentação oficial.
Os Custom Connectors estão disponíveis apenas em algumas regiões da AWS
Consulte a lista de limitações dos Custom Connectors na documentação oficial

​Pré-requisitos

​O conector oficial do Kafka da ClickHouse para a Confluent Platform

​Instalação no Confluent Platform

​Criar um tópico

​Observações importantes

​Instalar o conector

​Reúna os detalhes da conexão

​Configurar o conector

​Especifique os endpoints de conexão

​Limitações conhecidas

Pré-requisitos

O conector oficial do Kafka da ClickHouse para a Confluent Platform

Instalação no Confluent Platform

Criar um tópico

Observações importantes

Instalar o conector

Reúna os detalhes da conexão

Configurar o conector

Especifique os endpoints de conexão

Limitações conhecidas