Intégration de Confluent Platform à ClickHouse

Prérequis

Nous supposons que vous connaissez :

ClickHouse Connector Sink
Confluent Platform et Custom Connectors.

Le connecteur Kafka officiel de ClickHouse pour Confluent Platform

Installation sur Confluent Platform

Ce guide a été conçu pour vous aider à démarrer rapidement avec le ClickHouse Sink Connector sur Confluent Platform. Pour plus de détails, veuillez consulter la documentation officielle de Confluent.

Créer un topic

La création d’un topic sur Confluent Platform est assez simple, et des instructions détaillées sont disponibles ici.

Notes importantes

Le nom du topic Kafka doit être identique à celui de la table ClickHouse. Pour le modifier, utilisez un transformateur (par exemple ExtractTopic).
Un plus grand nombre de partitions n’améliore pas toujours les performances ; consultez notre prochain guide pour plus de détails et de conseils d’optimisation.

Installer le connecteur

Vous pouvez télécharger le connecteur depuis notre dépôt — n’hésitez pas non plus à y soumettre vos commentaires et tickets ! Accédez à “Connector Plugins” -> “Add plugin”, puis utilisez les paramètres suivants :

'Connector Class' - 'com.clickhouse.kafka.connect.ClickHouseSinkConnector'
'Connector type' - Sink
'Sensitive properties' - 'password'. This will ensure entries of the ClickHouse password are masked during configuration.

Exemple :

Récupérez vos informations de connexion

Pour vous connecter à ClickHouse via HTTP(S), vous avez besoin des informations suivantes :

Paramètre(s)	Description
`HOST` and `PORT`	En général, le port est 8443 lors de l’utilisation de TLS, ou 8123 sans TLS.
`DATABASE NAME`	Par défaut, une base de données nommée `default` est disponible ; utilisez le nom de la base de données à laquelle vous voulez vous connecter.
`USERNAME` and `PASSWORD`	Par défaut, le nom d’utilisateur est `default`. Utilisez le nom d’utilisateur adapté à votre cas d’usage.

Les informations de votre service ClickHouse Cloud sont disponibles dans la console ClickHouse Cloud. Sélectionnez un service, puis cliquez sur Connect :

Choisissez HTTPS. Les détails de connexion s’affichent dans un exemple de commande curl.

Détails de connexion HTTPS ClickHouse Cloud

Si vous utilisez ClickHouse autogéré, les détails de connexion sont définis par votre administrateur ClickHouse.

Configurer le connecteur

Accédez à Connectors -> Add Connector et utilisez les paramètres suivants (les valeurs ci-dessous sont données à titre d’exemple uniquement) :

{
  "database": "<DATABASE_NAME>",
  "errors.retry.timeout": "30",
  "exactlyOnce": "false",
  "schemas.enable": "false",
  "hostname": "<CLICKHOUSE_HOSTNAME>",
  "password": "<SAMPLE_PASSWORD>",
  "port": "8443",
  "ssl": "true",
  "topics": "<TOPIC_NAME>",
  "username": "<SAMPLE_USERNAME>",
  "key.converter": "org.apache.kafka.connect.storage.StringConverter",
  "value.converter": "org.apache.kafka.connect.json.JsonConverter",
  "value.converter.schemas.enable": "false"
}

Spécifiez les endpoints de connexion

Vous devez spécifier la liste d’autorisation des endpoints auxquels le connecteur peut accéder. Vous devez utiliser un nom de domaine complet (FQDN) lorsque vous ajoutez les endpoints de sortie réseau. Example: u57swl97we.eu-west-1.aws.clickhouse.com:8443

Vous devez spécifier un port HTTP(S). Le connecteur ne prend pas encore en charge le protocole natif.

Lisez la documentation. Tout est prêt !

Limitations connues

Les Custom Connectors doivent utiliser des endpoints accessibles via l’internet public. Les adresses IP statiques ne sont pas prises en charge.
Vous pouvez redéfinir certaines propriétés des Custom Connectors. Consultez la liste dans la documentation officielle.
Les Custom Connectors sont disponibles uniquement dans certaines régions AWS
Consultez la liste des limitations des Custom Connectors dans la documentation officielle

​Prérequis

​Le connecteur Kafka officiel de ClickHouse pour Confluent Platform

​Installation sur Confluent Platform

​Créer un topic

​Notes importantes

​Installer le connecteur

​Récupérez vos informations de connexion

​Configurer le connecteur

​Spécifiez les endpoints de connexion

​Limitations connues

Prérequis

Le connecteur Kafka officiel de ClickHouse pour Confluent Platform

Installation sur Confluent Platform

Créer un topic

Notes importantes

Installer le connecteur

Récupérez vos informations de connexion

Configurer le connecteur

Spécifiez les endpoints de connexion

Limitations connues