メインコンテンツまでスキップ
メインコンテンツまでスキップ

URLテーブルエンジン

リモートHTTP/HTTPSサーバーからデータをクエリします。このエンジンはFileエンジンに似ています。

構文: URL(URL [,Format] [,CompressionMethod])

  • URLパラメータは、Uniform Resource Locatorの構造に準拠する必要があります。指定されたURLはHTTPまたはHTTPSを使用するサーバーを指す必要があります。サーバーからの応答を取得するために追加のヘッダーは必要ありません。

  • FormatはClickHouseがSELECTクエリや、必要に応じてINSERTで使用できるものでなければなりません。サポートされるフォーマットの完全なリストについては、Formatsを参照してください。

　この引数が指定されていない場合、ClickHouseは自動的にURLパラメータのサフィックスからフォーマットを検出します。URLパラメータのサフィックスがサポートされるフォーマットのいずれとも一致しない場合、テーブルの作成に失敗します。たとえば、エンジン式URL('http://localhost/test.json')の場合、JSONフォーマットが適用されます。

  • CompressionMethodは、HTTP本体を圧縮する必要があるかどうかを示します。圧縮が有効になっている場合、URLエンジンによって送信されるHTTPパケットには、どの圧縮方式が使用されているかを示す'Content-Encoding'ヘッダーが含まれます。

圧縮を有効にするには、まずURLパラメータで指定されたリモートHTTPエンドポイントが対応する圧縮アルゴリズムをサポートしていることを確認してください。

サポートされているCompressionMethodは以下のいずれかである必要があります：

  • gzipまたはgz
  • deflate
  • brotliまたはbr
  • lzmaまたはxz
  • zstdまたはzst
  • lz4
  • bz2
  • snappy
  • none
  • auto

CompressionMethodが指定されていない場合、デフォルトはautoです。これはClickHouseがURLパラメータのサフィックスから自動的に圧縮方式を検出することを意味します。サフィックスが上記の圧縮方法のいずれかと一致する場合、対応する圧縮が適用されますが、一致しない場合は圧縮は有効になりません。

たとえば、エンジン式URL('http://localhost/test.gzip')の場合、gzip圧縮方式が適用されますが、URL('http://localhost/test.fr')の場合、サフィックスfrが上記の圧縮方式のいずれとも一致しないため、圧縮は有効になりません。

使用法​

INSERTおよびSELECTクエリは、それぞれPOSTおよびGETリクエストに変換されます。POSTリクエストを処理するために、リモートサーバーはChunked transfer encodingをサポートしている必要があります。

max_http_get_redirects設定を使用して、最大HTTP GETリダイレクトホップ数を制限できます。

例​

1. サーバー上にurl_engine_tableテーブルを作成します：

2. 標準のPython 3ツールを使って基本的なHTTPサーバーを作成し、起動します：

3. データをリクエストします：

実装の詳細​

  • 読み込みと書き込みは並列で行えます
  • サポートされていないもの：
    • ALTERおよびSELECT...SAMPLE操作。
    • インデックス。
    • レプリケーション。

仮想カラム​

  • _path — URLへのパス。型: LowCardinality(String).
  • _file — URLのリソース名。型: LowCardinality(String).
  • _size — リソースのサイズ（バイト）。型: Nullable(UInt64)。サイズが不明な場合、値はNULLです。
  • _time — ファイルの最終更新時刻。型: Nullable(DateTime)。時刻が不明な場合、値はNULLです。
  • _headers - HTTP応答ヘッダー。型: Map(LowCardinality(String), LowCardinality(String)).

ストレージ設定​

  • engine_url_skip_empty_files - 読み込み中に空ファイルをスキップすることを許可します。デフォルトでは無効です。
  • enable_url_encoding - URI内のパスのデコード/エンコードの有効/無効を設定できます。デフォルトでは有効です。