Функция таблицы hudiCluster

Это расширение к функции таблицы hudi.

Позволяет обрабатывать файлы из таблиц Apache Hudi в Amazon S3 параллельно с множеством узлов в указанном кластере. На инициаторе создается соединение со всеми узлами в кластере и динамически распределяются файлы. На рабочем узле инициатор запрашивает следующую задачу для обработки и выполняет ее. Это повторяется, пока все задачи не будут завершены.

Синтаксис

Аргументы

cluster_name — Имя кластера, которое используется для построения набора адресов и параметров подключения к удаленным и локальным серверам.
Описание всех остальных аргументов совпадает с описанием аргументов в эквивалентной функции таблицы hudi.

Возвращаемое значение

Таблица с указанной структурой для чтения данных из кластера в указанной таблице Hudi в S3.

См. Также