Функция таблицы deltaLakeCluster

Это расширение функции таблицы deltaLake.

Позволяет обрабатывать файлы из таблиц Delta Lake в Amazon S3 параллельно с нескольких узлов в заданном кластере. На инициаторе создается соединение со всеми узлами кластера, и каждый файл динамически распределяется. На рабочем узле он запрашивает у инициатора следующую задачу для обработки и выполняет её. Это повторяется до тех пор, пока все задачи не будут завершены.

Синтаксис

Аргументы

cluster_name — Имя кластера, которое используется для построения набора адресов и параметров подключения к удалённым и локальным серверам.
Описание всех остальных аргументов совпадает с описанием аргументов в эквивалентной функции таблицы deltaLake.

Возвращаемое значение

Таблица с заданной структурой для чтения данных из кластера в указанной таблице Delta Lake в S3.

См. также