Движок таблиц AzureQueue

Этот движок предоставляет интеграцию с Azure Blob Storage экосистемой, позволяя импортировать данные в реальном времени.

Создание таблицы

Параметры движка

Параметры AzureQueue аналогичны тем, которые поддерживает движок таблиц AzureBlobStorage. См. раздел параметров здесь.

Как и в движке таблиц AzureBlobStorage, пользователи могут использовать эмулятор Azurite для локальной разработки Azure Storage. Более подробная информация здесь.

Пример

Настройки

Набор поддерживаемых настроек такой же, как для движка таблиц S3Queue, но без префикса s3queue_. См. полный список настроек. Для получения списка настроек, сконфигурированных для таблицы, используйте таблицу system.azure_queue_settings. Доступна с 24.10.

Описание

SELECT не особенно полезен для импорта в реальном времени (за исключением отладки), поскольку каждый файл можно импортировать только один раз. Практичнее создать потоки в реальном времени, используя материализованные представления. Для этого:

1. Используйте движок для создания таблицы для потребления из указанного пути в S3 и рассматривайте это как поток данных.
2. Создайте таблицу с необходимой структурой.
3. Создайте материализованное представление, которое преобразует данные из движка и помещает их в ранее созданную таблицу.

Когда MATERIALIZED VIEW подключается к движку, он начинает собирать данные в фоновом режиме.

Пример:

Виртуальные колонки

• _path — Путь к файлу.
• _file — Имя файла.

Для получения дополнительной информации о виртуальных колонках см. здесь.

Интроспекция

Включите ведение журнала для таблицы через настройку таблицы enable_logging_to_s3queue_log=1.

Возможности интроспекции такие же, как и у S3Queue table engine с несколькими отличиями:

1. Используйте system.azure_queue для состояния очереди в памяти для серверных версий >= 25.1. Для более старых версий используйте system.s3queue (он будет содержать информацию для azure таблиц).
2. Включите system.azure_queue_log через основную конфигурацию ClickHouse, например:

Эта постоянная таблица содержит ту же информацию, что и system.s3queue, но для обработанных и неудачных файлов.

У таблицы следующая структура:

Пример: