跳到主要内容
跳到主要内容

hudiCluster 表函数

这是对 hudi 表函数的扩展。

允许在指定集群中的多个节点并行处理来自 Apache Hudi 表的 Amazon S3 中的文件。在发起者处,它创建与集群中所有节点的连接,并动态分配每个文件。在工作节点上,它向发起者询问下一个要处理的任务并进行处理。这个过程一直重复,直到所有任务完成。

语法

参数

  • cluster_name — 用于构建一组地址和连接参数,以连接远程和本地服务器的集群名称。

  • 所有其他参数的描述与等效的 hudi 表函数中的参数描述相符。

返回值

返回一个具有指定结构的表,用于从集群中读取指定 Hudi 表中的数据,存储在 S3 中。

另请参阅