Integração do Amazon MSK com o ClickHouse

Observação: A política mostrada no vídeo é permissiva e destinada apenas a uma configuração inicial rápida. Consulte abaixo as orientações de IAM com privilégio mínimo.

• você já conhece o ClickHouse Connector Sink,
• você já conhece o Amazon MSK e o MSK Connectors. Recomendamos o guia de Primeiros passos do Amazon MSK e o guia do MSK Connect.

1. Certifique-se de que você está familiarizado com o ClickHouse Connector Sink
2. Crie uma instância do MSK.
3. Crie e atribua uma função do IAM.
4. Baixe um arquivo jar da página de lançamentos do ClickHouse Connect Sink.
5. Instale o arquivo jar baixado na página de plugin personalizado do console do Amazon MSK.
6. Se o connector se comunicar com uma instância pública do ClickHouse, habilite o acesso à internet.
7. Forneça o nome do tópico, o hostname da instância do ClickHouse e a senha na configuração.

connector.class=com.clickhouse.kafka.connect.ClickHouseSinkConnector
tasks.max=1
topics=<topic_name>
ssl=true
security.protocol=SSL
hostname=<hostname>
database=<database_name>
password=<password>
ssl.truststore.location=/tmp/kafka.client.truststore.jks
port=8443
value.converter.schemas.enable=false
value.converter=org.apache.kafka.connect.json.JsonConverter
exactlyOnce=true
username=default
schemas.enable=false

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "MSKClusterAccess",
      "Effect": "Allow",
      "Action": [
        "kafka:DescribeCluster",
        "kafka:GetBootstrapBrokers",
        "kafka:DescribeClusterV2",
        "kafka:ListClusters",
        "kafka:ListClustersV2"
      ],
      "Resource": "*"
    },
    {
      "Sid": "KafkaAuthorization",
      "Effect": "Allow",
      "Action": [
        "kafka-cluster:Connect",
        "kafka-cluster:DescribeCluster",
        "kafka-cluster:DescribeGroup",
        "kafka-cluster:DescribeTopic",
        "kafka-cluster:ReadData"
      ],
      "Resource": "*"
    },
    {
      "Sid": "OptionalGlueSchemaRegistry",
      "Effect": "Allow",
      "Action": [
        "glue:GetSchema*",
        "glue:ListSchemas",
        "glue:ListSchemaVersions"
      ],
      "Resource": "*"
    },
    {
      "Sid": "OptionalSecretsManager",
      "Effect": "Allow",
      "Action": [
        "secretsmanager:GetSecretValue"
      ],
      "Resource": [
        "arn:aws:secretsmanager:<region>:<account-id>:secret:<your-secret-name>*"
      ]
    },
    {
      "Sid": "OptionalS3Read",
      "Effect": "Allow",
      "Action": [
        "s3:GetObject"
      ],
      "Resource": "arn:aws:s3:::<your-bucket>/<optional-prefix>/*"
    }
  ]
}

• Use o bloco Glue somente se você usar o AWS Glue Schema Registry.
• Use o bloco Secrets Manager somente se você recuperar credenciais/truststores do Secrets Manager. Restrinja o escopo do ARN.
• Use o bloco S3 somente se você carregar artefatos (por exemplo, truststore) do S3. Restrinja o escopo a bucket/prefix.

consumer.max.poll.records=[NUMBER OF RECORDS]
consumer.max.partition.fetch.bytes=[NUMBER OF RECORDS * RECORD SIZE IN BYTES]

consumer.max.poll.records=500
consumer.max.partition.fetch.bytes=1048576

1. Criar uma sub-rede privada: Crie uma nova sub-rede dentro da sua VPC, definindo-a como uma sub-rede privada. Essa sub-rede não deve ter acesso direto à internet.
2. Criar um NAT gateway: Crie um NAT gateway em uma sub-rede pública da sua VPC. O NAT gateway permite que instâncias na sua sub-rede privada se conectem à internet ou a outros serviços da AWS, mas impede que a internet inicie conexões com essas instâncias.
3. Atualizar a tabela de rotas: Adicione uma rota que direcione o tráfego destinado à internet para o NAT gateway
4. Garantir a configuração dos grupos de segurança e das ACLs de rede: Configure seus grupos de segurança e ACLs de rede (listas de controle de acesso) para permitir o tráfego relevante.
   1. Dos ENIs dos workers do MSK Connect para os brokers do MSK na porta TLS (geralmente 9094).
   2. Dos ENIs dos workers do MSK Connect para o endpoint do ClickHouse: 9440 (TLS nativo) ou 8443 (HTTPS).
   3. Permita tráfego de entrada no Security Group do broker a partir do Security Group dos workers do MSK Connect.
   4. Para ClickHouse self-hosted, abra a porta configurada no seu servidor (8123 por padrão para HTTP).
5. Associar grupos de segurança ao MSK: Verifique se esses grupos de segurança estão associados ao cluster do MSK e aos workers do MSK Connect.
6. Conectividade com o ClickHouse Cloud:
   1. Endpoint público + allowlist de IPs: requer tráfego de saída via NAT a partir de sub-redes privadas.
   2. Conectividade privada, quando disponível (por exemplo, VPC peering/PrivateLink/VPN). Verifique se os hostnames/a resolução DNS da VPC estão habilitados e se o DNS consegue resolver o endpoint privado.
7. Validar a conectividade (checklist rápido):
   1. No ambiente do conector, resolva o DNS de bootstrap do MSK e conecte-se via TLS à porta do broker.
   2. Estabeleça uma conexão TLS com o ClickHouse na porta 9440 (ou 8443 para HTTPS).
   3. Se estiver usando serviços da AWS (Glue/Secrets Manager), permita tráfego de saída para esses endpoints.