跳到主要内容
跳到主要内容

azureBlobStorageCluster 表函数

允许从 Azure Blob Storage 并行处理指定集群中的许多节点的文件。在发起者上,它创建与集群中所有节点的连接,披露 S3 文件路径中的星号,并动态分发每个文件。在工作节点上,它询问发起者下一个要处理的任务,并处理该任务。这个过程重复进行,直到所有任务完成。 这个表函数类似于 s3Cluster function

语法

参数

  • cluster_name — 用于构建远程和本地服务器地址及连接参数集的集群名称。
  • connection_string|storage_account_url — connection_string 包含账户名称和密钥 (创建连接字符串),也可以在此提供存储账户 URL,并将账户名称和账户密钥作为单独参数提供(见参数 account_name 和 account_key)
  • container_name - 容器名称
  • blobpath - 文件路径。只读模式下支持以下通配符:***?{abc,def}{N..M},其中 NM 为数字,'abc''def' 为字符串。
  • account_name - 如果使用了 storage_account_url,则可以在此指定账户名称
  • account_key - 如果使用了 storage_account_url,则可以在此指定账户密钥
  • format — 文件的 格式
  • compression — 支持的值:nonegzip/gzbrotli/brxz/LZMAzstd/zst。默认情况下,它将通过文件扩展名自动检测压缩类型。(与设置为 auto 相同)。
  • structure — 表的结构。格式为 'column1_name column1_type, column2_name column2_type, ...'

返回值

具有指定结构的表,用于读取或写入指定文件中的数据。

示例

类似于 AzureBlobStorage 表引擎,用户可以使用 Azurite 模拟器进行本地 Azure 存储开发。更多详细信息 这里。下面我们假设 Azurite 在主机名 azurite1 可用。

选择 cluster_simple 集群中所有节点的文件 test_cluster_*.csv 的计数:

另见

使用共享访问签名 (SAS)

请参见 azureBlobStorage 获取示例。