Создайте интерактивную панель мониторинга с Lightdash и ClickHouse
1
Подготовьте данные для подключения
При настройке подключения между Lightdash и ClickHouse вам понадобятся следующие данные:
- Host: Адрес, по которому доступна ваша база данных ClickHouse
- User: Имя пользователя вашей базы данных ClickHouse
- Password: Пароль вашей базы данных ClickHouse
- DB name: Имя вашей базы данных ClickHouse
- Schema: Схема по умолчанию, которую dbt использует для компиляции и запуска вашего проекта (указана в
profiles.yml) - Port: Порт HTTPS-интерфейса ClickHouse (по умолчанию:
8443) - Secure: Включите этот параметр, чтобы использовать HTTPS/SSL для защищённых подключений
- Retries: Количество повторных попыток, которые Lightdash выполняет для неудачных запросов к ClickHouse (по умолчанию:
3) - Start of week: Выберите, с какого дня начинается отчётная неделя; по умолчанию используется настройка вашего хранилища
Сведения о подключении для вашего сервиса ClickHouse Cloud доступны в консоли ClickHouse Cloud.
Выберите сервис и нажмите Connect:
curl.2
Настройте профиль dbt для ClickHouse
В Lightdash подключения строятся на основе существующего проекта dbt.
Чтобы подключить ClickHouse, убедитесь, что ваш локальный файл
~/.dbt/profiles.yml содержит корректную конфигурацию целевого окружения ClickHouse.Например:3
Создайте проект Lightdash, подключённый к ClickHouse
После того как ваш профиль dbt настроен для ClickHouse, вам также нужно подключить проект dbt к Lightdash.Поскольку этот процесс одинаков для всех хранилищ данных, здесь мы не будем подробно на нём останавливаться — воспользуйтесь официальным руководством Lightdash по импорту проекта dbt:Импорт проекта dbt → Документация LightdashПосле подключения проекта dbt Lightdash автоматически определит конфигурацию ClickHouse из файла
profiles.yml. Когда проверка подключения завершится успешно, вы сможете начать изучать свои модели dbt и создавать панели мониторинга на базе ClickHouse.4
Исследуйте данные ClickHouse в Lightdash
После подключения Lightdash автоматически синхронизирует ваши модели dbt и предоставляет:
- Измерения и показатели, определённые в YAML
- Логику семантического слоя, например метрики, JOIN и разделы Explore
- Панели мониторинга, работающие на запросах ClickHouse в реальном времени
5
Определите метрики и измерения в Lightdash
В Lightdash все метрики и измерения задаются напрямую в
Определение метрик и измерений в YAML гарантирует, что команда использует одни и те же определения во всех панелях мониторинга и аналитических материалах. Например, вы можете создавать переиспользуемые метрики, такие как
.yml-файлах ваших моделей dbt. Это позволяет держать бизнес-логику под контролем версий, поддерживать согласованность и обеспечивает полную прозрачность.Определение метрик и измерений в YAML гарантирует, что команда использует одни и те же определения во всех панелях мониторинга и аналитических материалах. Например, вы можете создавать переиспользуемые метрики, такие как
total_order_count, total_revenue или avg_order_value, прямо рядом с моделями dbt — без необходимости дублировать их в интерфейсе.Подробнее о том, как их задавать, см. в следующих руководствах Lightdash:6
Выполняйте запросы к данным из таблиц
Когда ваш проект dbt подключен к Lightdash и синхронизирован, вы можете начать изучать данные напрямую из таблиц (или «explores»).
Каждая таблица представляет собой модель dbt и включает метрики и измерения, определённые вами в YAML.Страница Explore состоит из пяти основных областей:
- Dimensions and Metrics — все поля, доступные в выбранной таблице
- Filters — ограничивают данные, возвращаемые запросом
- Chart — визуализирует результаты запроса
- Results — показывает необработанные данные, возвращаемые из базы данных ClickHouse
- SQL — позволяет просмотреть сгенерированный SQL-запрос, лежащий в основе результатов
7
Создание панелей мониторинга
После того как вы изучите данные и сохраните визуализации, их можно объединить в панели мониторинга, чтобы делиться ими с командой.Панели мониторинга в Lightdash полностью интерактивны — в них можно применять фильтры, добавлять вкладки и просматривать диаграммы, построенные на запросах ClickHouse в реальном времени.Вы также можете создавать новые диаграммы прямо в панели мониторинга, что помогает поддерживать порядок в проектаах и избегать лишнего нагромождения. Диаграммы, созданные таким образом, доступны только в этой панели мониторинга — их нельзя использовать повторно в других частях проекта.Чтобы создать диаграмму только для панели мониторинга:
- Нажмите Add tile
- Выберите New chart
- Создайте визуализацию в конструкторе диаграмм
- Сохраните её — она появится в нижней части панели мониторинга
8
Ask AI: самообслуживаемая аналитика на базе dbt
AI Agents в Lightdash делают анализ данных по-настоящему самообслуживаемым.
Вместо того чтобы писать запросы, вы можете просто задавать вопросы на естественном языке — например, «Каким был наш ежемесячный рост выручки?» — а AI Agent автоматически построит нужную визуализацию, опираясь на ваши метрики и модели, определённые в dbt, чтобы обеспечить точность и согласованность.В основе лежит тот же семантический слой, который вы используете в dbt, а это значит, что каждый ответ остаётся управляемым, объяснимым и быстрым — и всё это на базе ClickHouse.