AzureQueue 表引擎

此引擎提供与 Azure Blob Storage 生态系统的集成，允许流数据导入。

创建表

引擎参数

AzureQueue 参数与 AzureBlobStorage 表引擎支持的参数相同。有关参数的详细信息，请参见 这里。

与 AzureBlobStorage 表引擎类似，用户可以使用 Azurite 模拟器进行本地 Azure 存储开发。详细信息见 这里。

示例

设置

支持的设置集与 S3Queue 表引擎相同，但没有 s3queue_ 前缀。请参见设置的完整列表。 要获取针对该表配置的设置列表，请使用 system.azure_queue_settings 表。从 24.10 起可用。

描述

SELECT 对于流式导入并不特别有用（除非用于调试），因为每个文件只能被导入一次。更实际的做法是使用 物化视图 创建实时线程。为此：

1. 使用该引擎从 S3 中指定路径创建一个表，并将其视为数据流。
2. 创建一个具有所需结构的表。
3. 创建一个物化视图，将引擎中的数据转换并放入先前创建的表中。

当 MATERIALIZED VIEW 加入引擎时，它开始在后台收集数据。

示例：

虚拟列

• _path — 文件的路径。
• _file — 文件的名称。

有关虚拟列的更多信息，请参见 这里。

反演

通过表设置 enable_logging_to_queue_log=1 启用表的日志记录。

反演能力与 S3Queue 表引擎 相同，但有几个显著的区别：

1. 对于服务器版本 >= 25.1，使用 system.azure_queue 访问队列的内存状态。对于较早版本，使用 system.s3queue（它还包含 azure 表的信息）。
2. 通过主 ClickHouse 配置启用 system.azure_queue_log，例如：

此持久表包含与 system.s3queue 相同的信息，但针对已处理和失败的文件。

该表具有以下结构：

示例：