跳到主要内容
跳到主要内容

AWS Glue Catalog

Experimental feature. Learn more.

ClickHouse 支持与多个目录(Unity、Glue、Polaris 等)的集成。在本指南中,我们将引导您通过 ClickHouse 和 Glue 数据目录查询您在 S3 桶中的数据。

备注

Glue 支持多种不同的表格式,但此集成仅支持 Iceberg 表。

在 AWS 中配置 Glue

要连接到 Glue 目录,您需要识别目录的区域并提供访问密钥和 Secret 密钥。

备注

目前,Glue 目录仅支持访问密钥和 Secret 密钥,但我们将来会支持其他身份验证方式。

在 Glue 数据目录与 ClickHouse 之间建立连接

在配置好 Unity Catalog 和身份验证后,建立 ClickHouse 与 Unity Catalog 之间的连接。

使用 ClickHouse 查询 Glue 数据目录

现在连接已经建立,您可以开始查询 Glue:

您可以看到,上面的某些表不是 Iceberg 表,例如 iceberg-benchmark.hitsparquet。您将无法查询这些表,因为目前仅支持 Iceberg。

要查询一个表:

备注

由于 ClickHouse 不支持多个命名空间,因此需要使用反引号。

要检查表的 DDL,请运行以下查询:

将数据从数据湖加载到 ClickHouse 中

如果您需要将数据从 Databricks 加载到 ClickHouse,请首先创建一个本地 ClickHouse 表:

然后从您的 Iceberg 表加载数据: