Integración de Amazon MSK con ClickHouse

Nota: La política que se muestra en el video es permisiva y está pensada solo para una puesta en marcha rápida. Consulte la guía de IAM de mínimo privilegio más abajo.

• conoces ClickHouse Connector Sink,
• conoces Amazon MSK y los conectores de MSK. Te recomendamos la guía de primeros pasos de Amazon MSK y la guía de MSK Connect.

1. Asegúrese de conocer ClickHouse Connector Sink
2. Cree una instancia de MSK.
3. Cree y asigne un rol de IAM.
4. Descargue un archivo jar desde la página de versiones de ClickHouse Connect Sink.
5. Instale el archivo jar descargado en la página de plugins personalizados de la consola de Amazon MSK.
6. Si el conector se comunica con una instancia pública de ClickHouse, habilite el acceso a Internet.
7. Proporcione un nombre de topic, el hostname de la instancia de ClickHouse y la contraseña en la configuración.

connector.class=com.clickhouse.kafka.connect.ClickHouseSinkConnector
tasks.max=1
topics=<topic_name>
ssl=true
security.protocol=SSL
hostname=<hostname>
database=<database_name>
password=<password>
ssl.truststore.location=/tmp/kafka.client.truststore.jks
port=8443
value.converter.schemas.enable=false
value.converter=org.apache.kafka.connect.json.JsonConverter
exactlyOnce=true
username=default
schemas.enable=false

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "MSKClusterAccess",
      "Effect": "Allow",
      "Action": [
        "kafka:DescribeCluster",
        "kafka:GetBootstrapBrokers",
        "kafka:DescribeClusterV2",
        "kafka:ListClusters",
        "kafka:ListClustersV2"
      ],
      "Resource": "*"
    },
    {
      "Sid": "KafkaAuthorization",
      "Effect": "Allow",
      "Action": [
        "kafka-cluster:Connect",
        "kafka-cluster:DescribeCluster",
        "kafka-cluster:DescribeGroup",
        "kafka-cluster:DescribeTopic",
        "kafka-cluster:ReadData"
      ],
      "Resource": "*"
    },
    {
      "Sid": "OptionalGlueSchemaRegistry",
      "Effect": "Allow",
      "Action": [
        "glue:GetSchema*",
        "glue:ListSchemas",
        "glue:ListSchemaVersions"
      ],
      "Resource": "*"
    },
    {
      "Sid": "OptionalSecretsManager",
      "Effect": "Allow",
      "Action": [
        "secretsmanager:GetSecretValue"
      ],
      "Resource": [
        "arn:aws:secretsmanager:<region>:<account-id>:secret:<your-secret-name>*"
      ]
    },
    {
      "Sid": "OptionalS3Read",
      "Effect": "Allow",
      "Action": [
        "s3:GetObject"
      ],
      "Resource": "arn:aws:s3:::<your-bucket>/<optional-prefix>/*"
    }
  ]
}

• Use el bloque de Glue solo si usa AWS Glue Schema Registry.
• Use el bloque de Secrets Manager solo si obtiene credenciales/truststores desde Secrets Manager. Limite el alcance del ARN.
• Use el bloque de S3 solo si carga artefactos (p. ej., truststore) desde S3. Limítelo al bucket/prefijo.

consumer.max.poll.records=[NUMBER OF RECORDS]
consumer.max.partition.fetch.bytes=[NUMBER OF RECORDS * RECORD SIZE IN BYTES]

consumer.max.poll.records=500
consumer.max.partition.fetch.bytes=1048576

1. Crear una subred privada: Cree una nueva subred dentro de su VPC y desígnela como subred privada. Esta subred no debe tener acceso directo a Internet.
2. Crear una puerta de enlace NAT: Cree una puerta de enlace NAT en una subred pública de su VPC. La puerta de enlace NAT permite que las instancias de su subred privada se conecten a Internet o a otros servicios de AWS, pero impide que Internet inicie una conexión con esas instancias.
3. Actualizar la tabla de rutas: Agregue una ruta que dirija el tráfico destinado a Internet a la puerta de enlace NAT
4. Asegurar la configuración de los grupos de seguridad y las ACL de red: Configure sus grupos de seguridad y sus ACL de red (listas de control de acceso) para permitir el tráfico correspondiente.
   1. Desde las ENI de los workers de MSK Connect hacia los brokers de MSK en el puerto TLS (normalmente 9094).
   2. Desde las ENI de los workers de MSK Connect hacia el endpoint de ClickHouse: 9440 (TLS nativo) o 8443 (HTTPS).
   3. Permita tráfico entrante en el SG del broker desde el SG de los workers de MSK Connect.
   4. Para ClickHouse self-hosted, abra el puerto configurado en su server (8123 para HTTP de forma predeterminada).
5. Adjuntar grupos de seguridad a MSK: Asegúrese de que estos grupos de seguridad estén asociados a su clúster de MSK y a los workers de MSK Connect.
6. Conectividad con ClickHouse Cloud:
   1. Endpoint público + lista de IP permitidas: requiere salida NAT desde subredes privadas.
   2. Conectividad privada donde esté disponible (por ejemplo, peering de VPC/PrivateLink/VPN). Asegúrese de que los nombres de host DNS y la resolución DNS de la VPC estén habilitados, y de que DNS pueda resolver el endpoint privado.
7. Validar la conectividad (lista de comprobación rápida):
   1. Desde el entorno del connector, resuelva el DNS bootstrap de MSK y conéctese mediante TLS al puerto del broker.
   2. Establezca una conexión TLS con ClickHouse en el puerto 9440 (o 8443 para HTTPS).
   3. Si utiliza servicios de AWS (Glue/Secrets Manager), permita la salida hacia esos endpoints.