メインコンテンツまでスキップ
メインコンテンツまでスキップ

AzureQueue テーブルエンジン

このエンジンは、Azure Blob Storage エコシステムとの統合を提供し、ストリーミングデータのインポートを可能にします。

テーブルの作成​

エンジンパラメータ

AzureQueue のパラメータは AzureBlobStorage テーブルエンジンがサポートするものと同じです。パラメータのセクションは こちら を参照してください。

AzureBlobStorage テーブルエンジンと同様に、ユーザーはローカル Azure Storage 開発のために Azurite エミュレーターを使用できます。詳細は こちら をご覧ください。

例

設定​

サポートされている設定のセットは S3Queue テーブルエンジンと同じですが、s3queue_ プレフィックスは含まれていません。設定の完全なリストは こちら を参照してください。 テーブルに構成されている設定のリストを取得するには、system.azure_queue_settings テーブルを使用します。利用可能は 24.10 からです。

説明​

ストリーミングインポートには SELECT は特に役に立ちません（デバッグを除きます）。なぜなら、各ファイルは一度だけインポートできるからです。リアルタイムスレッドを作成するためには、マテリアライズドビューを使用する方が実用的です。これを行うには：

  1. エンジンを使用して、S3 の指定されたパスから消費するためのテーブルを作成し、それをデータストリームと見なします。
  2. 目的の構造を持つテーブルを作成します。
  3. エンジンからデータを変換し、以前に作成したテーブルに格納するマテリアライズドビューを作成します。

MATERIALIZED VIEW がエンジンに接続すると、バックグラウンドでデータの収集を開始します。

例：

仮想カラム​

  • _path — ファイルへのパス。
  • _file — ファイルの名前。

仮想カラムに関する詳細は こちら を参照してください。

インストロペクション​

テーブル設定 enable_logging_to_s3queue_log=1 を使用してテーブルのロギングを有効にします。

インストロペクション機能は S3Queue テーブルエンジン と同様ですが、いくつかの特有の違いがあります：

  1. サーバーバージョンが >= 25.1 の場合、キューのメモリ内状態には system.azure_queue を使用します。古いバージョンでは system.s3queue を使用します（それには azure テーブルの情報も含まれます）。
  2. ClickHouse のメイン構成で system.azure_queue_log を有効にします。例：

この永続テーブルは system.s3queue と同じ情報を持っていますが、処理済みおよび失敗したファイルに関するものです。

テーブルの構造は次のとおりです：

例：