Интеграция с Prometheus
Эта функция поддерживает интеграцию с Prometheus для мониторинга сервисов ClickHouse Cloud. Доступ к метрикам Prometheus предоставляется через ClickHouse Cloud API, который позволяет пользователям безопасно подключаться и экспортировать метрики в их сборщик метрик Prometheus. Эти метрики могут быть интегрированы с панелями управления, например, Grafana, Datadog для визуализации.
Чтобы начать, сгенерируйте ключ API.
API конечной точки Prometheus для получения метрик ClickHouse Cloud
Справочник API
| Метод | Путь | Описание |
|---|---|---|
| GET | https://api.clickhouse.cloud/v1/organizations/:organizationId/services/:serviceId/prometheus?filtered_metrics=[true | false] | Возвращает метрики для конкретного сервиса |
| GET | https://api.clickhouse.cloud/v1/organizations/:organizationId/prometheus?filtered_metrics=[true | false] | Возвращает метрики для всех сервисов в организации |
Параметры запроса
| Имя | Местоположение | Тип |
|---|---|---|
| Organization ID | Адрес конечной точки | uuid |
| Service ID | Адрес конечной точки | uuid (необязательный) |
| filtered_metrics | Параметр запроса | boolean (необязательный) |
Аутентификация
Используйте ваш ключ API ClickHouse Cloud для базовой аутентификации:
Пример ответа
Метки метрик
Все метрики имеют следующие метки:
| Метка | Описание |
|---|---|
| clickhouse_org | ID организации |
| clickhouse_service | ID сервиса |
| clickhouse_service_name | Имя сервиса |
Для ClickPipes метрики также будут иметь следующие метки:
| Метка | Описание |
|---|---|
| clickpipe_id | ID ClickPipe |
| clickpipe_name | Имя ClickPipe |
| clickpipe_source | Тип источника ClickPipe |
Информационные метрики
ClickHouse Cloud предоставляет специальную метрику ClickHouse_ServiceInfo, которая является gauge, всегда имеющим значение 1. Эта метрика содержит все Метки метрик, а также следующие метки:
| Метка | Описание |
|---|---|
| clickhouse_cluster_status | Статус сервиса. Может быть одним из следующих: [awaking | running | degraded | idle | stopped] |
| clickhouse_version | Версия сервера ClickHouse, на котором работает сервис |
| scrape | Указывает статус последнего получения метрик. Может быть либо full, либо partial |
| full | Указывает, что во время последнего получения метрик не было ошибок |
| partial | Указывает, что во время последнего получения метрик были некоторые ошибки, и была возвращена только метрика ClickHouse_ServiceInfo. |
Запросы на получение метрик не возобновят состояние простоя сервиса. В случае, если сервис находится в состоянии idle, будет возвращена только метрика ClickHouse_ServiceInfo.
Для ClickPipes существует аналогичная метрика ClickPipes_Info - gauge, которая дополнительно к Меткам метрик содержит следующие метки:
| Метка | Описание |
|---|---|
| clickpipe_state | Текущее состояние трубы |
Конфигурирование Prometheus
Сервер Prometheus собирает метрики от настроенных объектов через заданные интервалы. Ниже приведен пример конфигурации для сервера Prometheus для использования конечной точки Prometheus ClickHouse Cloud:
Обратите внимание, что параметр конфигурации honor_labels должен быть установлен в true для корректного заполнения метки экземпляра. Кроме того, filtered_metrics установлен на true в приведенном выше примере, но должен быть настроен в зависимости от предпочтений пользователя.
Интеграция с Grafana
У пользователей есть два основных способа интеграции с Grafana:
- Конечная точка метрик – Этот подход имеет преимущества в том, что не требует дополнительных компонентов или инфраструктуры. Это предложение ограничено Grafana Cloud и требует только URL-адреса конечной точки Prometheus ClickHouse Cloud и учетных данных.
- Grafana Alloy - Grafana Alloy является независимым от поставщика дистрибутивом сборщика OpenTelemetry (OTel), заменяющим агент Grafana. Это может быть использовано как скребок, его можно развернуть в вашей собственной инфраструктуре и оно совместимо с любой конечной точкой Prometheus.
Мы предоставляем инструкции по использованию этих вариантов ниже, сосредотачиваясь на деталях, специфичных для конечной точки Prometheus ClickHouse Cloud.
Grafana Cloud с конечной точкой метрик
- Войдите в вашу учетную запись Grafana Cloud
- Добавьте новое соединение, выбрав Конечная точка метрик
- Настройте URL-адрес получения, чтобы указать на конечную точку Prometheus и используйте базовую аутентификацию для настройки вашего соединения с ключом/секретом API
- Проверьте соединение, чтобы убедиться, что вы можете подключиться
После настройки вы должны увидеть метрики в выпадающем списке, которые вы можете выбрать для настройки панелей управления:
Grafana Cloud с Alloy
Если вы используете Grafana Cloud, Alloy можно установить, перейдя в меню Alloy в Grafana и следуя инструкциям на экране:
Это должно настроить Alloy с компонентом prometheus.remote_write для отправки данных на конечную точку Grafana Cloud с токеном аутентификации. Пользователям нужно будет только изменить конфигурацию Alloy (находится в /etc/alloy/config.alloy для Linux), чтобы включить скребок для конечной точки Prometheus ClickHouse Cloud.
Ниже показан пример конфигурации для Alloy с компонентом prometheus.scrape для сканирования метрик из конечной точки ClickHouse Cloud, а также автоматически настроенным компонентом prometheus.remote_write. Обратите внимание, что компонент конфигурации basic_auth содержит наш идентификатор и секрет ключа API Cloud в качестве имени пользователя и пароля соответственно.
Обратите внимание, что параметр конфигурации honor_labels должен быть установлен в true для корректного заполнения метки экземпляра.
Grafana, управляемая самостоятельно, с Alloy
Пользователи Grafana, управляющейся самостоятельно, могут найти инструкции по установке агента Alloy здесь. Мы предполагаем, что пользователи настроили Alloy для отправки метрик Prometheus в нужное им место назначения. Компонент prometheus.scrape ниже заставляет Alloy сканировать конечную точку ClickHouse Cloud. Мы предполагаем, что prometheus.remote_write получает собранные метрики. Измените ключ forward_to, если это необходимо.
После настройки вы должны увидеть метрики, относящиеся к ClickHouse, в вашем исследователе метрик:
Обратите внимание, что параметр конфигурации honor_labels должен быть установлен в true для корректного заполнения метки экземпляра.
Интеграция с Datadog
Вы можете использовать Агент Datadog и интеграцию OpenMetrics для сбора метрик с конечной точки ClickHouse Cloud. Ниже представлена простая примерная конфигурация для этого агента и интеграции. Обратите внимание, что вам может понадобиться выбирать только те метрики, которые вас наиболее интересуют. Всеобъемлющий пример ниже экспортирует множество тысяч комбинаций метрик и экземпляров, которые Datadog будет воспринимать как пользовательские метрики.
