AWS Glue Catalog
Experimental feature. Learn more.
ClickHouse 支持与多个目录(Unity、Glue、Polaris 等)的集成。在本指南中,我们将引导您通过 ClickHouse 和 Glue 数据目录查询您在 S3 桶中的数据。
备注
Glue 支持多种不同的表格式,但此集成仅支持 Iceberg 表。
在 AWS 中配置 Glue
要连接到 Glue 目录,您需要识别目录的区域并提供访问密钥和 Secret 密钥。
备注
目前,Glue 目录仅支持访问密钥和 Secret 密钥,但我们将来会支持其他身份验证方式。
在 Glue 数据目录与 ClickHouse 之间建立连接
在配置好 Unity Catalog 和身份验证后,建立 ClickHouse 与 Unity Catalog 之间的连接。
使用 ClickHouse 查询 Glue 数据目录
现在连接已经建立,您可以开始查询 Glue:
您可以看到,上面的某些表不是 Iceberg 表,例如 iceberg-benchmark.hitsparquet
。您将无法查询这些表,因为目前仅支持 Iceberg。
要查询一个表:
备注
由于 ClickHouse 不支持多个命名空间,因此需要使用反引号。
要检查表的 DDL,请运行以下查询:
将数据从数据湖加载到 ClickHouse 中
如果您需要将数据从 Databricks 加载到 ClickHouse,请首先创建一个本地 ClickHouse 表:
然后从您的 Iceberg 表加载数据: