Перейти к основному содержимому
Перейти к основному содержимому

Функция таблицы azureBlobStorageCluster

Позволяет обрабатывать файлы из Azure Blob Storage в параллельном режиме с использованием нескольких узлов в указанном кластере. На инициаторе создается соединение со всеми узлами в кластере, раскрываются символы подстановки в пути к файлам S3 и динамически распределяются все файлы. На рабочем узле он запрашивает у инициатора следующую задачу для обработки и обрабатывает её. Это продолжается до завершения всех задач. Эта функция таблицы аналогична функции s3Cluster.

Синтаксис

Аргументы

  • cluster_name — Имя кластера, который используется для построения набора адресов и параметров соединения с удаленными и локальными серверами.
  • connection_string|storage_account_url — connection_string включает имя и ключ счета (Создание строки подключения) или вы также можете предоставить URL-адрес хранилища здесь, а имя счета и ключ счета как отдельные параметры (см. параметры account_name и account_key).
  • container_name - Имя контейнера.
  • blobpath - путь к файлу. Поддерживает следующие символы подстановки в режиме только для чтения: *, **, ?, {abc,def} и {N..M}, где N, M — числа, 'abc', 'def' — строки.
  • account_name - если используется storage_account_url, то имя счета можно указать здесь.
  • account_key - если используется storage_account_url, то ключ счета можно указать здесь.
  • format — формат файла.
  • compression — Поддерживаемые значения: none, gzip/gz, brotli/br, xz/LZMA, zstd/zst. По умолчанию будет автоматически определена компрессия по расширению файла. (то же самое, что установка на auto).
  • structure — Структура таблицы. Формат 'column1_name column1_type, column2_name column2_type, ...'.

Возвращаемое значение

Таблица с указанной структурой для чтения или записи данных в указанном файле.

Примеры

Так же, как и в таблице AzureBlobStorage, пользователи могут использовать эмулятор Azurite для локальной разработки Azure Storage. Более подробная информация здесь. Ниже предполагается, что Azurite доступен по имени хоста azurite1.

Выберите количество для файла test_cluster_*.csv, используя все узлы в кластере cluster_simple:

Смотрите также

Использование подписей общего доступа (SAS)​

См. azureBlobStorage для примеров.