DataLakeCatalog 数据库引擎将 ClickHouse 连接到某个目录时,整个目录都会作为一个 ClickHouse 数据库对外暴露。目录中的每张表都会自动显示出来,并且都可以使用完整的 ClickHouse SQL 进行查询——无需知道各个表的具体路径,也无需为每张表单独管理凭证。
本指南将逐步介绍如何连接到 Databricks Unity Catalog。ClickHouse 还支持以下目录——完整设置说明请参阅各自的参考指南:
为便于演示,我们将使用 Unity Catalog。
Databricks Unity Catalog 为 Databricks 湖仓中的数据提供集中式治理。
Databricks 的湖仓支持多种数据格式。借助 ClickHouse,你可以查询使用外部存储位置的 Unity Catalog Delta 表和 Iceberg 表。
此集成当前仅支持 AWS。不支持位于 Databricks 托管存储上的表,因为 Unity Catalog 不会为这些位置提供凭证下发。详情请参阅 Unity Catalog reference。
EXTERNAL USE SCHEMA 权限。
配置好目录后,您还必须为 ClickHouse 生成 credentials。根据您与 Unity 的交互方式,可以采用两种不同的方法:
有了凭据后,您可以连接到相应的端点,查询 Iceberg 或 Delta 表。
- Delta
- Iceberg
应使用 Unity 目录 访问 Delta 格式的数据。
SHOW CREATE TABLE 命令来查看这些表的创建方式。
需要使用反引号请注意,需要指定命名空间和表名,并用反引号括起来——ClickHouse 不支持多个命名空间。