- Matérialiser les données dans des instances auto-hébergées et ClickHouse Cloud
- Gérer automatiquement des tâches telles que la création de tables et l’évolution du schéma
- Prendre en charge les suppressions logiques ou physiques
- Utiliser
ReplacingMergeTreepour les mises à jour par fusion standard ouMergeTreepour les mises à jour delta - Assurer une livraison exactement une fois
Guide de configuration
- Un compte Estuary
- Une ou plusieurs captures dans Estuary, qui extraient des données des sources de votre choix
- Une instance ClickHouse auto-hébergée ou un compte ClickHouse Cloud
- Un utilisateur de base de données ClickHouse disposant des identifiants nécessaires
1
Configurer ClickHouse pour l’intégration
Pour configurer le connecteur ClickHouse d’Estuary, vous devez recueillir certaines informations sur votre instance ClickHouse et configurer les autorisations de l’utilisateur.
- Copiez l’endpoint hôte de votre base de données. Pour le port, utilisez 9440 si TLS est activé ou 9000 s’il est désactivé. L’hôte et le port forment ensemble l’adresse à fournir à Estuary.
-
Accordez les autorisations nécessaires à l’utilisateur de base de données qu’Estuary utilisera.
Pour créer et gérer automatiquement les tables, Estuary doit disposer des autorisations
CREATE,SELECT,INSERT, etc. sur votre base de données cible, ainsi que des autorisations nécessaires à la découverte des métadonnées et à la gestion des partitions. Vous pouvez accorder toutes les autorisations requises en exécutant les commandes SQL suivantes et en remplaçant<database>et<user>par vos propres valeurs : -
Vous pouvez éventuellement limiter l’accès aux tables système de l’utilisateur à la seule base de données cible.
Pour ce faire, utilisez des politiques au niveau des lignes. Par exemple :
2
Créer une matérialisation Estuary
- Dans le tableau de bord Estuary, accédez à la page Destinations.
- Cliquez sur + New Materialization.
- Sélectionnez le connecteur ClickHouse.
-
Renseignez la section Materialization Details :
- Attribuez un nom unique à votre matérialisation
- Choisissez un plan de données (fournisseur Cloud et région)
-
Renseignez les détails de Endpoint Config afin qu’Estuary puisse se connecter à votre instance ClickHouse :
- Address : l’hôte et le port de votre instance
- Database : le nom de la base de données cible
- Authentication : le nom d’utilisateur et le mot de passe de l’utilisateur de base de données
3
Configurer les collections source
Dans la section Source Collections, choisissez les sources que vous souhaitez matérialiser dans ClickHouse.
- Associez une capture existante ou ajoutez des collections de données individuelles à matérialiser dans ClickHouse.
- Sélectionnez une collection de données dans la liste pour la configurer davantage si nécessaire. Les options de personnalisation incluent :
- Choisir un autre nom de table pour la collection
- Sélectionner le comportement de fusion de la collection (utilisation ou non du mode de mises à jour delta)
- Personnaliser le comportement de sélection des champs afin de déterminer quels champs sont matérialisés
- Une fois satisfait de la manière dont les données seront matérialisées dans ClickHouse, cliquez sur Next, puis sur Save and Publish.
Ressources supplémentaires
- Consultez la documentation d’Estuary sur la matérialisation ClickHouse.
- Outre le workflow via l’UI décrit dans ces instructions, vous pouvez également gérer la configuration du pipeline Estuary via la CLI. Consultez les guides d’Estuary sur
flowctlpour en savoir plus sur l’utilisation programmatique d’Estuary.