Ce guide fournit aux équipes d’entreprise qui évaluent ClickHouse Cloud des informations complètes sur les capacités de monitoring et d’observabilité pour les déploiements en production. Les clients Enterprise demandent fréquemment quelles sont les fonctionnalités de monitoring prêtes à l’emploi, comment s’intègre ClickHouse aux stacks d’observabilité existantes, notamment avec des outils comme Datadog et AWS CloudWatch, et en quoi le monitoring de ClickHouse diffère de celui des déploiements en auto-hébergement.
Tableau de bord d’observabilité avancé
ClickHouse Cloud fournit un monitoring complet via des interfaces de tableau de bord intégrées, accessibles depuis la section Monitoring. Ces tableaux de bord visualisent en temps réel les métriques système et de performance sans configuration supplémentaire et constituent les principaux outils de monitoring de la production en temps réel dans ClickHouse Cloud.
- Advanced Dashboard : L’interface principale de tableau de bord, accessible via Monitoring → Advanced dashboard, offre une visibilité en temps réel sur le taux de requêtes, l’utilisation des ressources, l’état du système et les performances du stockage. Ce tableau de bord ne nécessite pas d’authentification distincte, n’empêche pas les instances de passer en idling et n’ajoute pas de charge de requête à votre système de production. Chaque visualization s’appuie sur des requêtes SQL personnalisables, avec des charts prêtes à l’emploi regroupées en métriques ClickHouse-specific, system health et Cloud-specific. Vous pouvez étendre le monitoring en créant des requêtes personnalisées directement dans la SQL Console.
L’accès à ces métriques n’exécute pas de requête sur le service sous-jacent et ne réactive pas les services idle.
Les utilisateurs qui souhaitent étendre ces visualizations peuvent utiliser la fonctionnalité dashboards de ClickHouse Cloud en interrogeant directement les tables système.
- Native advanced dashboard : Une interface de tableau de bord alternative, accessible via « You can still access the native advanced dashboard » dans la section Monitoring. Elle s’ouvre dans un onglet séparé avec authentification et fournit une UI alternative pour le monitoring de l’état du système et du service. Ce tableau de bord permet des analyses avancées, dans lesquelles vous pouvez modifier les requêtes SQL sous-jacentes.
Les deux tableaux de bord offrent une visibilité immédiate sur l’état et les performances du service sans dépendances externes, ce qui les distingue d’outils externes axés sur le débogage comme ClickStack.
Pour plus de détails sur les fonctionnalités du tableau de bord et les métriques disponibles, consultez la documentation de l’advanced dashboard.
Query insights et surveillance des ressources
ClickHouse Cloud inclut des fonctionnalités de surveillance supplémentaires :
- Query Insights : interface intégrée pour l’analyse des performances des requêtes et le dépannage
- Resource Utilization Dashboard : suit la mémoire, l’allocation CPU et les tendances de transfert de données. Les graphiques d’utilisation du CPU et de la mémoire montrent la valeur maximale de la métrique d’utilisation sur une période donnée. Le graphique d’utilisation du CPU affiche une métrique d’utilisation du CPU au niveau système (PAS une métrique d’utilisation du CPU de ClickHouse).
Consultez la documentation query insights et resource utilization pour obtenir des informations détaillées sur ces fonctionnalités.
Point de terminaison de métriques compatible avec Prometheus
ClickHouse Cloud fournit un point de terminaison Prometheus. Cela vous permet de conserver vos workflows actuels, de tirer parti de l’expertise existante de votre équipe et d’intégrer les métriques ClickHouse à des plateformes de monitoring d’entreprise, notamment Grafana, Datadog et d’autres outils compatibles Prometheus.
Le point de terminaison au niveau de l’organisation fédère les métriques de tous les services, tandis que les points de terminaison par service offrent un monitoring plus granulaire. Les principales fonctionnalités incluent :
- Option de métriques filtrées : le paramètre facultatif filtered_metrics=true réduit le payload de plus de 1 000 métriques disponibles à 125 métriques « critiques », afin d’optimiser les coûts et de faciliter le monitoring ciblé
- Distribution de métriques mises en cache : utilise des vues matérialisées actualisées chaque minute afin de minimiser la charge des requêtes sur les systèmes de production
Cette approche respecte le comportement d’idling des services, ce qui permet d’optimiser les coûts lorsque les services ne traitent pas activement de requêtes. Ce point de terminaison d’API s’appuie sur les identifiants de ClickHouse Cloud API. Pour obtenir les détails complets de configuration du point de terminaison, consultez la documentation Prometheus pour le Cloud.
L’intégration externe permet aux organisations de conserver leurs workflows de supervision établis, de tirer parti de l’expertise existante des équipes avec des outils familiers et d’intégrer la supervision de ClickHouse à l’observabilité globale de l’infrastructure, sans perturber les processus en place ni nécessiter d’importants investissements en formation.
Les équipes peuvent appliquer leurs règles d’alerte et procédures d’escalade existantes aux métriques ClickHouse, tout en corrélant les performances de la base de données avec l’état de santé des applications et de l’infrastructure au sein d’une plateforme d’observabilité unifiée. Cette approche maximise le retour sur investissement des dispositifs de supervision actuels et accélère le dépannage grâce à des tableaux de bord consolidés et à des interfaces d’outillage familières.
Supervision Grafana Cloud
Grafana permet de superviser ClickHouse à la fois via une intégration directe par plugin et via des approches fondées sur Prometheus. L’intégration de l’endpoint Prometheus maintient une séparation opérationnelle entre la supervision et les workloads de production, tout en permettant la visualisation au sein de l’infrastructure Grafana Cloud existante. Consultez la documentation ClickHouse de Grafana pour savoir comment la configurer.
Datadog développe une intégration API dédiée qui assurera une supervision adéquate du service Cloud tout en respectant son comportement de mise en veille. En attendant, les équipes peuvent utiliser l’approche d’intégration OpenMetrics via les endpoints Prometheus de ClickHouse afin de garantir une séparation opérationnelle et une supervision à moindre coût. Pour obtenir des conseils de configuration, consultez la documentation de Datadog sur l’intégration Prometheus et OpenMetrics.
ClickStack est la solution d’observabilité recommandée par ClickHouse pour l’analyse approfondie des systèmes et le débogage. Elle fournit une plateforme unifiée pour les logs, les métriques et les traces, avec ClickHouse comme moteur de stockage. Cette approche repose sur HyperDX, la ClickStack UI, qui se connecte directement aux tables système de votre instance ClickHouse.
HyperDX inclut un tableau de bord centré sur ClickHouse, avec des onglets pour Selects, Inserts et Infrastructure. Les équipes peuvent également utiliser la syntaxe Lucene ou SQL pour rechercher dans les tables système et les logs, ainsi que créer des visualisations personnalisées via Chart Explorer pour une analyse détaillée du système.
Cette approche est idéale pour le débogage de problèmes complexes, l’analyse des performances et l’introspection approfondie du système, plutôt que pour les alertes en production en temps réel.
Notez que cette approche réveillera les services inactifs, car HyperDX interroge directement les tables système.
Options de déploiement de ClickStack
- HyperDX dans ClickHouse Cloud (aperçu privé) : HyperDX peut être lancé sur n’importe quel service ClickHouse Cloud.
- Helm : Recommandé pour les environnements de débogage basés sur Kubernetes. Prend en charge l’intégration avec ClickHouse Cloud et permet une configuration propre à l’environnement, la définition de limites de ressources et la mise à l’échelle via
values.yaml.
- Docker Compose : Déploie chaque composant (ClickHouse, HyperDX, OTel collector, MongoDB) séparément. Vous pouvez modifier le fichier Compose pour supprimer les composants inutilisés lors de l’intégration avec ClickHouse Cloud, en particulier ClickHouse et l’OpenTelemetry Collector.
- HyperDX Only : Conteneur HyperDX autonome.
Pour connaître l’ensemble des options de déploiement et les détails de l’architecture, consultez la documentation ClickStack et le guide d’ingestion de données.
Vous pouvez également collecter des métriques à partir du point de terminaison Prometheus de ClickHouse Cloud via un OpenTelemetry Collector et les transférer vers un déploiement ClickStack distinct pour les visualiser.
Intégration directe avec le plugin Grafana
Le plugin de source de données ClickHouse pour Grafana permet de visualiser et d’explorer les données directement dans ClickHouse à l’aide des tables système. Cette approche est bien adaptée à la surveillance des performances et à la création de tableaux de bord personnalisés pour une analyse détaillée du système.
Pour en savoir plus sur l’installation et la configuration du plugin, consultez le plugin de source de données ClickHouse. Pour une configuration de supervision complète utilisant le mix-in Prometheus-Grafana avec des tableaux de bord préconfigurés et des règles d’alerte, consultez Monitor ClickHouse with the new Prometheus-Grafana mix-in.
Intégration directe avec Datadog
Datadog propose pour son agent un plugin de monitoring ClickHouse qui interroge directement les tables système. Cette intégration offre une supervision complète de la base de données avec prise en charge du cluster grâce à la fonctionnalité clusterAllReplicas.
Cette intégration n’est pas recommandée pour les déploiements ClickHouse Cloud en raison de son incompatibilité avec le comportement de mise en veille optimisé pour les coûts et des limitations opérationnelles de la couche proxy du cloud.
Utiliser directement les tables système
Vous pouvez effectuer une analyse approfondie des performances des requêtes en vous connectant directement aux tables système de ClickHouse, en particulier à system.query_log. À l’aide de la Console SQL ou du clickhouse client, les équipes peuvent identifier les requêtes lentes, analyser l’utilisation des ressources et suivre les tendances d’utilisation à l’échelle de l’organisation.
Analyse des performances des requêtes
Vous pouvez utiliser les journaux de requêtes de la table système pour analyser les performances des requêtes.
Exemple de requête : trouver les 5 requêtes dont l’exécution est la plus longue sur l’ensemble des répliques du cluster :
La communauté ClickHouse a développé des solutions de monitoring complètes qui s’intègrent aux stacks d’observabilité les plus répandues. ClickHouse Monitoring fournit une solution de monitoring complète avec des tableaux de bord prêts à l’emploi. Ce projet open source propose une approche de démarrage rapide aux équipes qui souhaitent mettre en place le monitoring de ClickHouse en s’appuyant sur des bonnes pratiques éprouvées et des configurations de tableaux de bord validées.
Comme les autres approches de monitoring direct de la base de données, cette solution interroge directement les tables système de ClickHouse, ce qui empêche les instances de se mettre en veille et nuit à l’optimisation des coûts.
Considérations relatives à l’impact sur le système
Toutes les approches ci-dessus reposent sur une combinaison de points de terminaison Prometheus, de la gestion par ClickHouse Cloud ou de l’interrogation directe des tables système.
La dernière de ces options consiste à exécuter des requêtes sur le service ClickHouse de production. Cela ajoute une charge de requêtes au système observé et empêche les instances ClickHouse Cloud de se mettre en veille, ce qui nuit à l’optimisation des coûts. De plus, si le système de production tombe en panne, le monitoring peut lui aussi être affecté, puisque les deux sont couplés. Cette approche convient bien à une introspection approfondie et au débogage, mais elle est moins adaptée au monitoring de production en temps réel. Gardez à l’esprit ces compromis entre les capacités d’analyse détaillée du système et la surcharge opérationnelle lorsque vous évaluez une intégration directe à Grafana par rapport aux approches d’intégration avec des outils externes présentées dans la section suivante.