Подключение Superset к ClickHouse

Apache Superset — это платформа с открытым исходным кодом для анализа и визуализации данных, написанная на Python. Superset подключается к ClickHouse с помощью Python-драйвера от ClickHouse. Давайте посмотрим, как это работает…

Цель

В этом руководстве вы создадите панель мониторинга в Superset на основе данных из базы данных ClickHouse. Панель мониторинга будет выглядеть так:

Добавьте данныеЕсли у вас нет датасета для работы, вы можете добавить один из примеров. В этом руководстве используется датасет UK Price Paid, поэтому можно выбрать именно его. В этом же разделе документации есть и другие варианты.

Подготовьте сведения о подключении

Чтобы подключиться к ClickHouse по HTTP(S), вам понадобится следующая информация:

Параметр(ы)	Описание
`HOST` and `PORT`	Обычно используется порт 8443 при использовании TLS и 8123 без TLS.
`DATABASE NAME`	По умолчанию есть база данных `default`; используйте имя базы данных, к которой хотите подключиться.
`USERNAME` and `PASSWORD`	По умолчанию имя пользователя — `default`. Используйте имя пользователя, подходящее для вашего сценария использования.

Сведения о подключении для вашего сервиса ClickHouse Cloud доступны в консоли ClickHouse Cloud. Выберите сервис и нажмите Connect:

Выберите HTTPS. Сведения о подключении будут показаны в примере команды curl.

Сведения о подключении к ClickHouse Cloud по HTTPS

Если вы используете самоуправляемый ClickHouse, сведения о подключении задаёт ваш администратор ClickHouse.

Установите драйвер

Superset использует драйвер clickhouse-connect для подключения к ClickHouse. Подробнее о clickhouse-connect см. по адресу https://pypi.org/project/clickhouse-connect/; установить его можно следующей командой:
pip install clickhouse-connect

Настройка Docker ComposeДля Docker-установок см. руководство по настройке базы данных Superset, где приведены инструкции по добавлению clickhouse-connect в ваш контейнер.

Запустите (или перезапустите) Superset.

Подключить Superset к ClickHouse

В Superset выберите Data в верхнем меню, а затем Databases в выпадающем списке. Добавьте новую базу данных, нажав кнопку + Database:

На первом шаге выберите ClickHouse Connect в качестве типа базы данных:

На втором шаге:

Включите или отключите SSL.
Введите данные подключения, которые вы собрали ранее
Укажите DISPLAY NAME: это может быть любое имя на ваш выбор. Если вы будете подключаться к нескольким базам данных ClickHouse, сделайте его более понятным.

Нажмите кнопки CONNECT, а затем FINISH, чтобы завершить мастер настройки. После этого ваша база данных должна появиться в списке баз данных.

Добавить датасет

Чтобы работать с данными ClickHouse в Superset, нужно создать датасет. В верхнем меню Superset выберите Data, затем Datasets в выпадающем меню.
Нажмите кнопку добавления датасета. Выберите новую базу данных как источник данных, и вы увидите таблицы, созданные в этой базе данных:

Нажмите кнопку ADD в нижней части диалогового окна, и таблица появится в списке датасетов. Теперь можно создать панель мониторинга и анализировать данные ClickHouse!

Создание диаграмм и панели мониторинга в Superset

Если вы уже работали с Superset, этот раздел покажется вам вполне знакомым. Если же вы новичок в Superset, то… это как и многие другие отличные инструменты визуализации: начать легко, а детали и тонкости приходят с опытом по мере работы с инструментом.

Начните с панели мониторинга. В верхнем меню Superset выберите Dashboards. Нажмите кнопку в правом верхнем углу, чтобы добавить новую панель мониторинга. На следующем примере панель мониторинга называется UK property prices:

Чтобы создать новую диаграмму, выберите Charts в верхнем меню и нажмите кнопку добавления новой диаграммы. Вам будет доступно множество вариантов. В следующем примере показана диаграмма Pie Chart, использующая датасет uk_price_paid из выпадающего списка CHOOSE A DATASET:

Для круговых диаграмм в Superset требуются Dimension и Metric, остальные настройки необязательны. Вы можете выбрать свои поля для размерности и метрики; в этом примере в качестве размерности используется поле ClickHouse district, а в качестве метрики — AVG(price).

Если вы предпочитаете кольцевые диаграммы круговым, этот и другие параметры можно задать в разделе CUSTOMIZE:

Нажмите кнопку SAVE, чтобы сохранить диаграмму, затем выберите UK property prices в выпадающем списке ADD TO DASHBOARD, после чего нажмите SAVE & GO TO DASHBOARD — диаграмма будет сохранена и добавлена на панель мониторинга:

Вот и всё. Создание панелей мониторинга в Superset на основе данных из ClickHouse открывает целый мир невероятно быстрой аналитики данных!

​Цель

Цель