AzureQueue 表引擎

此引擎提供与 Azure Blob 存储 生态系统的集成，允许流式数据导入。

创建表

引擎参数

AzureQueue 参数与 AzureBlobStorage 表引擎支持的参数相同。有关参数请参见 这里。

与 AzureBlobStorage 表引擎类似，用户可以使用 Azurite 模拟器进行本地 Azure 存储开发。更多详细信息请参见 这里。

示例

设置

支持的设置集与 S3Queue 表引擎相同，但没有 s3queue_ 前缀。请参见 完整的设置列表。要获取表的配置设置列表，请使用 system.azure_queue_settings 表。从 24.10 开始可用。

描述

SELECT 对于流式导入并不是特别有用（除非用于调试），因为每个文件只能导入一次。更实际的做法是使用 物化视图 创建实时线程。为此：

1. 使用引擎根据指定路径在 S3 创建一个消费表，并将其视为数据流。
2. 创建具有所需结构的表。
3. 创建物化视图，将数据从引擎转换并放入先前创建的表中。

当 MATERIALIZED VIEW 连接到引擎时，它开始在后台收集数据。

示例：

虚拟列

• _path — 文件的路径。
• _file — 文件的名称。

有关虚拟列的更多信息，请参见 这里。

自省

通过表设置 enable_logging_to_s3queue_log=1 启用表的日志记录。

自省功能与 S3Queue 表引擎 相同，但有一些明显的区别：

1. 对于服务器版本 >= 25.1，使用 system.azure_queue 查看队列的内存状态。对于旧版本，使用 system.s3queue（它也包含 azure 表的信息）。
2. 通过 ClickHouse 主配置启用 system.azure_queue_log，例如：

这个持久化表具有与 system.s3queue 相同的信息，但针对处理和失败的文件。

该表的结构如下：

示例：