file1、file2、file3 という名前のファイルは順番に取り込まれますが、新たに file 0 がコンテナーに追加された場合、そのファイル名は最後に取り込まれたファイルよりも辞書式順序で後ではないため、無視されます。
このモードでは、ABS ClickPipe は指定したパス内のすべてのファイルを初期ロードし、その後、新しいファイルがないかを設定可能な間隔 (デフォルトでは 30 Seconds) でポーリングします。特定のファイルの後から継続的インジェストを開始するには、Start after を設定します。ClickPipes は、設定値以下の辞書式順序のファイルをスキップし、その時点からより新しいファイルの取り込みを続行します。
Object Storage 用 ClickPipes では、ファイルのパターンマッチングに POSIX 標準を採用しています。すべてのパターンは 大文字と小文字を区別し、コンテナー名以降のフルパス全体に対して照合されます。パフォーマンス向上のため、できるだけ具体的なパターンを使用してください (たとえば、*.csv ではなく data-2024-*.csv) 。
例:
https://storageaccount.blob.core.windows.net/container/folder/*.csvhttps://storageaccount.blob.core.windows.net/container/logs/**/data.jsonhttps://storageaccount.blob.core.windows.net/container/file-?.parquethttps://storageaccount.blob.core.windows.net/container/data-2024-*.csv.gz
例:
https://storageaccount.blob.core.windows.net/container/{documents-01,documents-02}.jsonhttps://storageaccount.blob.core.windows.net/container/file-{1..100}.csvhttps://storageaccount.blob.core.windows.net/container/{logs,metrics}/data.parquet
_file 仮想カラムをカラムマッピングのリストに追加します。_file 仮想カラムにはソースオブジェクトのファイル名が含まれており、どのファイルが処理されたかをクエリできます。
ABS ClickPipe では、プライベートコンテナーのみサポートされています。パブリックコンテナーはサポートされていません。
コンテナーのバケットポリシーで、s3:GetObject および s3:ListBucket アクションを許可する必要があります。
Microsoft Entra ID 認証 (Managed Identities を含む) は、現時点ではサポートされていません。
Read、List) を付与した SAS token を生成します。
ABS ClickPipes では、メタデータの検出とデータのインジェストに、それぞれ ClickPipes サービスと ClickHouse Cloud サービスという 2 つの異なるネットワーク経路を使用します。ネットワークセキュリティをさらに強化したい場合 (たとえばコンプライアンス上の理由など) 、両方の経路に対してネットワークアクセスを設定する必要があります。
-
IP ベースのアクセス制御では、Azure Storage ファイアウォールの IP network rules で、こちらに記載されている ClickPipes サービスリージョンの静的 IP と、ClickHouse Cloud サービスの 静的 IP の両方を許可する必要があります。ご利用の ClickHouse Cloud リージョンの静的 IP を取得するには、ターミナルを開いて次を実行してください。

LIST 操作により、新しいファイルの検出時に、既定のポーリング間隔に加えて追加のレイテンシが発生します。
- < 100k files: 約 30 秒 (既定のポーリング間隔)
- 100k files: 約 40~45 秒
- 250k files: 約 55~70 秒
- 500k+ files: 90 秒を超える場合があります