Concepts clés
- Organization ClickHouse Cloud : entité de premier niveau dans ClickHouse Cloud qui gère les utilisateurs, la facturation et les services ClickHouse non BYOC. Les utilisateurs d’une organization peuvent accéder à la fois aux services Cloud standard et aux services BYOC.
- Organization ClickHouse BYOC : organization distincte dédiée à la gestion des déploiements BYOC. Elle partage les utilisateurs avec l’organization Cloud, mais est liée à un ou plusieurs comptes cloud dans lesquels l’infrastructure BYOC est déployée.
- Compte cloud / projet : compte AWS ou projet GCP appartenant au client, dans lequel l’infrastructure BYOC est provisionnée. Chaque compte ou projet peut héberger des déploiements BYOC dans une ou plusieurs régions. Pour une meilleure isolation, il est recommandé d’utiliser un compte ou un projet dédié pour chaque déploiement BYOC.
- Infrastructure BYOC : ensemble des ressources cloud déployées dans une région spécifique d’un compte cloud, notamment un VPC, un cluster Kubernetes (EKS/GKE), des buckets de stockage, des IAM roles et des services de support. Un même compte cloud peut contenir plusieurs infrastructures BYOC dans différentes régions.
- Service ClickHouse : cluster ClickHouse individuel exécuté au sein d’une infrastructure BYOC. Plusieurs services peuvent s’exécuter dans une même infrastructure BYOC.
Le mélange de comptes AWS et de projets GCP au sein d’une même organization n’est possible que pour les clients qui ne sont pas configurés via une marketplace d’un fournisseur de services cloud.
Glossaire
- ClickHouse VPC : Le VPC appartenant à ClickHouse Cloud.
- Customer BYOC VPC : Le VPC, appartenant au compte cloud du client, est provisionné et géré par ClickHouse Cloud, et dédié à un déploiement BYOC de ClickHouse Cloud.
- Customer VPC : Les autres VPC appartenant au compte cloud du client, utilisés pour les applications qui doivent se connecter au Customer BYOC VPC.
Architecture technique
Les principales ressources cloud que ClickHouse Cloud déploiera dans votre compte sont :
- VPC : un Virtual Private Cloud dédié à votre déploiement ClickHouse. Il peut être géré soit par ClickHouse, soit par vous, le client, et est généralement mis en peering avec les VPC de vos applications.
- Rôles et stratégies IAM : les rôles et permissions nécessaires pour Kubernetes, les services ClickHouse et la stack de supervision. Ils peuvent être provisionnés par ClickHouse ou fournis par le client.
- Buckets de stockage : utilisés pour stocker les parties de données, les sauvegardes et, éventuellement, les archives de métriques et de logs à long terme.
- Cluster Kubernetes : il peut s’agir d’Amazon EKS, de Google GKE ou d’Azure AKS, selon votre fournisseur de cloud, et il héberge les serveurs ClickHouse ainsi que les services de support présentés dans le schéma d’architecture.
Stockage des données
Communication du plan de contrôle
Exigences clés pour le BYOC
Autorisations IAM inter-comptes
- Provisionner l’infrastructure : créer et configurer des VPC, des sous-réseaux, des groupes de sécurité et d’autres composants réseau
- Gérer les clusters Kubernetes : déployer et maintenir des clusters EKS/GKE, des groupes de nœuds et des composants de cluster
- Créer des ressources de stockage : provisionner des buckets S3 ou un stockage objet équivalent pour les données et les backups
- Gérer les IAM roles : créer et configurer des IAM roles pour les comptes de service Kubernetes et les services associés
- Exploiter les services associés : déployer et gérer des stacks de supervision, des contrôleurs d’Ingress et d’autres composants d’infrastructure
Connexion au réseau privé Tailscale
- Surveillance continue : les ClickHouse engineers peuvent accéder à la stack de supervision Prometheus déployée dans votre VPC BYOC afin de surveiller l’état de santé et les performances du service
- Maintenance proactive : les ingénieurs peuvent effectuer des opérations de maintenance courante, des mises à niveau et de dépannage
- Assistance d’urgence : en cas de problème de service, les ingénieurs peuvent accéder rapidement à votre environnement pour diagnostiquer et résoudre les problèmes
- Gestion de l’infrastructure : les management services peuvent se coordonner avec votre infrastructure BYOC pour exécuter des opérations automatisées
- Approuvé et audité : les ingénieurs doivent demander l’accès via un système d’approbation interne
- Limité dans le temps : l’accès expire automatiquement après une période définie
- Restreint : les ingénieurs ne peuvent accéder qu’aux tables système et aux composants de l’infrastructure, jamais aux données des clients
- Chiffré : toutes les communications sont chiffrées de bout en bout
Pourquoi ces exigences sont importantes
- Maintenir la fiabilité : surveiller et gérer votre déploiement de manière proactive afin d’éviter les incidents
- Garantir la sécurité : appliquer le principe du moindre privilège avec une traçabilité complète
- Simplifier les opérations : automatiser la gestion de l’infrastructure tout en vous laissant le contrôle
- Fournir une assistance : réagir rapidement et résoudre les problèmes lorsqu’ils surviennent
- Assurez-vous que les plages CIDR réseau de votre VPC BYOC ne chevauchent celles d’aucun VPC existant avec lequel vous prévoyez d’établir un peering.
- Étiquetez clairement vos ressources pour simplifier la gestion et l’assistance.
- Prévoyez un dimensionnement adéquat des sous-réseaux et leur répartition entre les zones de disponibilité afin d’assurer une haute disponibilité.
- Consultez le guide de sécurité pour comprendre le modèle de responsabilité partagée et les bonnes pratiques lorsque ClickHouse Cloud fonctionne dans votre environnement.
- Consultez le guide d’onboarding complet pour obtenir des instructions pas à pas sur la configuration initiale du compte, la configuration du VPC, la connectivité réseau (par exemple, le VPC peering) et la délégation de rôle IAM.