ArrowFlight テーブルエンジン

​

テーブルの作成

CREATE TABLE [IF NOT EXISTS] [db.]table_name (name1 [type1], name2 [type2], ...)
    ENGINE = ArrowFlight('host:port', 'dataset_name' [, 'username', 'password']);

• host:port — リモート Arrow Flight サーバー のアドレス。ポートが省略された場合は、デフォルトのポート 8815 が使用されます。String。
• dataset_name — Flight server 上のデータセットの識別子 (arrow_flight_request_descriptor_type 設定に応じて、PATH ディスクリプタとして、または SELECT * クエリで使用されます) 。String。
• username — HTTP Basic 認証で使用するユーザー名。String。
• password — HTTP Basic 認証で使用するパスワード。String。

​

名前付きコレクション

CREATE TABLE remote_flight_data
    ENGINE = ArrowFlight(named_collection_name);

​

設定

• arrow_flight_request_descriptor_type — データセット名を Flight server にどの形式で送信するかを制御します。設定可能な値: path (デフォルト。PATH ディスクリプタとして送信) または command (SELECT * FROM <dataset> を含む CMD ディスクリプタとして送信) 。SQL コマンドを受け取る Flight server (例: Dremio) の場合は、command を使用してください。
• arrow_flight_request_timeout_sec — 1 回の Arrow Flight リクエストに対するタイムアウト (秒) です。デフォルトは 300 です。このタイムアウトはリクエスト全体に適用されます。つまり SELECT の場合は、最初のレコードバッチを受け取るまでの待機時間だけでなく、結果ストリーム全体が対象になります。0 を指定するとタイムアウトは無効になります。この場合、Flight server がリクエストを受け付けたまま応答しないと、接続が閉じられるまでクエリはブロックされたままになります。

​

使用例

CREATE TABLE remote_flight_data
(
    id UInt32,
    name String,
    value Float64
) ENGINE = ArrowFlight('127.0.0.1:9005', 'sample_dataset');

SELECT * FROM remote_flight_data ORDER BY id;

┌─id─┬─name────┬─value─┐
│  1 │ foo     │ 42.1  │
│  2 │ bar     │ 13.3  │
│  3 │ baz     │ 77.0  │
└────┴─────────┴───────┘

INSERT INTO remote_flight_data VALUES (4, 'qux', 99.9);

​

注記

• CREATE TABLE ステートメントでカラムを指定する場合は、Flight server が返すスキーマと一致している必要があります。
• カラムを省略した場合、スキーマはリモートサーバーから自動的に推論されます。
• 読み取り (SELECT) と書き込み (INSERT) の両方をサポートしています。
• arrow_flight_request_descriptor_type 設定では、データセット名を PATH ディスクリプタとして送信するか、SELECT * クエリをラップした CMD ディスクリプタとして送信するかを制御します。

​

関連項目

• arrowFlight テーブル関数
• Arrow Flight インターフェイス
• Apache Arrow Flight SQL
• ClickHouseにおけるArrowフォーマットのインテグレーション