paimon

Amazon S3、Azure、HDFS、またはローカルに保存された Apache Paimon テーブルへの読み取り専用のテーブル形式インターフェイスを提供します。

構文

paimon(url [,access_key_id, secret_access_key] [,format] [,structure] [,compression] [,extra_credentials])

paimonS3(url [,access_key_id, secret_access_key] [,format] [,structure] [,compression] [,extra_credentials])

paimonAzure(connection_string|storage_account_url, container_name, blobpath, [,account_name], [,account_key] [,format] [,compression_method])

paimonHDFS(path_to_table, [,format] [,compression_method])

paimonLocal(path_to_table, [,format] [,compression_method])

引数

引数の説明は、それぞれテーブル関数 s3、azureBlobStorage、HDFS、file の引数の説明と同じです。 format は、Paimon テーブル内のデータファイルのフォーマットを表します。 paimonS3 では、ClickHouse Cloud でロールベースアクセス用の role_arn を渡すために、オプションの extra_credentials パラメータを使用できます。設定手順については、Secure S3 を参照してください。

戻り値

指定した構造を持ち、指定したPaimonテーブルのデータを読み取るためのテーブル。

制限事項

読み取り時のマージは実装されていないため、主キーを持つテーブルは読み取れません。リーダーはスナップショットのデータファイルをそのまま結合した結果を返すため、後続の upsert によって置き換えられた古い行のバージョンも含まれます。そのため、スキーマで primary-key を宣言しているテーブルを読み取ろうとすると、例外がスローされます。

named collection を定義する

以下は、URL と認証情報を保存するための named collection を設定する例です。

<clickhouse>
    <named_collections>
        <paimon_conf>
            <url>http://test.s3.amazonaws.com/clickhouse-bucket/</url>
            <access_key_id>test</access_key_id>
            <secret_access_key>test</secret_access_key>
            <format>auto</format>
            <structure>auto</structure>
        </paimon_conf>
    </named_collections>
</clickhouse>

SELECT * FROM paimonS3(paimon_conf, filename = 'test_table')
DESCRIBE paimonS3(paimon_conf, filename = 'test_table')

別名

現在、テーブル関数 paimon は paimonS3 の別名です。

仮想カラム

_path — ファイルのパス。型: LowCardinality(String).
_file — ファイル名。型: LowCardinality(String).
_size — ファイルサイズ (バイト単位) 。型: Nullable(UInt64). ファイルサイズが不明な場合、値は NULL です。
_time — ファイルの最終更新時刻。型: Nullable(DateTime). 時刻が不明な場合、値は NULL です。
_etag — ファイルの etag。型: LowCardinality(String). etag が不明な場合、値は NULL です。

サポートされているデータ型

Paimon データ型	ClickHouse データ型
BOOLEAN	Bool
TINYINT	Int8
SMALLINT	Int16
INTEGER	Int32
BIGINT	Int64
FLOAT	Float32
DOUBLE	Float64
STRING,VARCHAR,BYTES,VARBINARY	String
DATE	Date
TIME(p),TIME	Time(‘UTC’)
TIMESTAMP(p) WITH LOCAL TIME ZONE	DateTime64
TIMESTAMP(p)	DateTime64(‘UTC’)
CHAR	FixedString(1)
BINARY(n)	FixedString(n)
DECIMAL(P,S)	Decimal(P,S)
ARRAY	Array
MAP	Map

サポートされているパーティション

Paimon のパーティションキーでサポートされるデータ型:

CHAR
VARCHAR
BOOLEAN
DECIMAL
TINYINT
SMALLINT
INTEGER
DATE
TIME
TIMESTAMP
TIMESTAMP WITH LOCAL TIME ZONE
BIGINT
FLOAT
DOUBLE

SQLリファレンス

データ型

エンジン

関数

フォーマット

設定

システムテーブル

データレイク

構文

引数

戻り値

制限事項

named collection を定義する

別名

仮想カラム

サポートされているデータ型

サポートされているパーティション

関連項目

​構文

​引数

​戻り値

​制限事項

​named collection を定義する

​別名

​仮想カラム

​サポートされているデータ型

​サポートされているパーティション

​関連項目

構文

引数

戻り値

制限事項

named collection を定義する

別名

仮想カラム

サポートされているデータ型

サポートされているパーティション

関連項目