メインコンテンツまでスキップ
メインコンテンツまでスキップ

BSONEachRow

InputOutputAlias
✔✔

説明​

BSONEachRow フォーマットは、区切りなしでバイナリ JSON (BSON) ドキュメントのシーケンスとしてデータを解析します。各行は単一のドキュメントとしてフォーマットされ、各カラムはカラム名をキーとした単一の BSON ドキュメントフィールドとしてフォーマットされます。

データ型の対応​

出力では、ClickHouse タイプと BSON タイプの間に以下の対応を使用します。

ClickHouse typeBSON Type
Bool\x08 boolean
Int8/UInt8/Enum8\x10 int32
Int16/UInt16/Enum16\x10 int32
Int32\x10 int32
UInt32\x12 int64
Int64/UInt64\x12 int64
Float32/Float64\x01 double
Date/Date32\x10 int32
DateTime\x12 int64
DateTime64\x09 datetime
Decimal32\x10 int32
Decimal64\x12 int64
Decimal128\x05 binary, \x00 binary subtype, size = 16
Decimal256\x05 binary, \x00 binary subtype, size = 32
Int128/UInt128\x05 binary, \x00 binary subtype, size = 16
Int256/UInt256\x05 binary, \x00 binary subtype, size = 32
String/FixedString\x05 binary, \x00 binary subtype または \x02 string if setting output_format_bson_string_as_string is enabled
UUID\x05 binary, \x04 uuid subtype, size = 16
Array\x04 array
Tuple\x04 array
Named Tuple\x03 document
Map\x03 document
IPv4\x10 int32
IPv6\x05 binary, \x00 binary subtype

入力では、BSON タイプと ClickHouse タイプの間に以下の対応を使用します。

BSON TypeClickHouse Type
\x01 doubleFloat32/Float64
\x02 stringString/FixedString
\x03 documentMap/Named Tuple
\x04 arrayArray/Tuple
\x05 binary, \x00 binary subtypeString/FixedString/IPv6
\x05 binary, \x02 old binary subtypeString/FixedString
\x05 binary, \x03 old uuid subtypeUUID
\x05 binary, \x04 uuid subtypeUUID
\x07 ObjectIdString/FixedString
\x08 booleanBool
\x09 datetimeDateTime64
\x0A null valueNULL
\x0D JavaScript codeString/FixedString
\x0E symbolString/FixedString
\x10 int32Int32/UInt32/Decimal32/IPv4/Enum8/Enum16
\x12 int64Int64/UInt64/Decimal64/DateTime64

他の BSON タイプはサポートされていません。さらに、異なる整数型間の変換を実施します。例えば、BSON int32 値を ClickHouse に UInt8 として挿入することが可能です。

Int128/UInt128/Int256/UInt256/Decimal128/Decimal256 のような大きな整数および十進数は、 \x00 バイナリサブタイプを持つ BSON バイナリ値から解析できます。この場合、フォーマットはバイナリデータのサイズが期待される値のサイズと等しいことを検証します。

注記

このフォーマットはビッグエンディアンプラットフォームでは正しく動作しません。

使用例​

データの挿入​

以下のデータを持つ BSON ファイルを使用し、名前を football.bson とします。

    ┌───────date─┬─season─┬─home_team─────────────┬─away_team───────────┬─home_team_goals─┬─away_team_goals─┐
 1. │ 2022-04-30 │   2021 │ Sutton United         │ Bradford City       │               1 │               4 │
 2. │ 2022-04-30 │   2021 │ Swindon Town          │ Barrow              │               2 │               1 │
 3. │ 2022-04-30 │   2021 │ Tranmere Rovers       │ Oldham Athletic     │               2 │               0 │
 4. │ 2022-05-02 │   2021 │ Port Vale             │ Newport County      │               1 │               2 │
 5. │ 2022-05-02 │   2021 │ Salford City          │ Mansfield Town      │               2 │               2 │
 6. │ 2022-05-07 │   2021 │ Barrow                │ Northampton Town    │               1 │               3 │
 7. │ 2022-05-07 │   2021 │ Bradford City         │ Carlisle United     │               2 │               0 │
 8. │ 2022-05-07 │   2021 │ Bristol Rovers        │ Scunthorpe United   │               7 │               0 │
 9. │ 2022-05-07 │   2021 │ Exeter City           │ Port Vale           │               0 │               1 │
10. │ 2022-05-07 │   2021 │ Harrogate Town A.F.C. │ Sutton United       │               0 │               2 │
11. │ 2022-05-07 │   2021 │ Hartlepool United     │ Colchester United   │               0 │               2 │
12. │ 2022-05-07 │   2021 │ Leyton Orient         │ Tranmere Rovers     │               0 │               1 │
13. │ 2022-05-07 │   2021 │ Mansfield Town        │ Forest Green Rovers │               2 │               2 │
14. │ 2022-05-07 │   2021 │ Newport County        │ Rochdale            │               0 │               2 │
15. │ 2022-05-07 │   2021 │ Oldham Athletic       │ Crawley Town        │               3 │               3 │
16. │ 2022-05-07 │   2021 │ Stevenage Borough     │ Salford City        │               4 │               2 │
17. │ 2022-05-07 │   2021 │ Walsall               │ Swindon Town        │               0 │               3 │
    └────────────┴────────┴───────────────────────┴─────────────────────┴─────────────────┴─────────────────┘

データを挿入します：

INSERT INTO football FROM INFILE 'football.bson' FORMAT BSONEachRow;

データの読み取り​

BSONEachRow フォーマットを使用してデータを読み取ります：

SELECT *
FROM football INTO OUTFILE 'docs_data/bson/football.bson'
FORMAT BSONEachRow
ヒント

BSON は、端末で人間が読み取れる形式で表示されないバイナリフォーマットです。BSON ファイルを出力するには INTO OUTFILE を使用してください。

フォーマット設定​

設定説明デフォルト
output_format_bson_string_as_string文字列カラムのためにバイナリの代わりに BSON 文字列型を使用します。false
input_format_bson_skip_fields_with_unsupported_types_in_schema_inferenceフォーマット BSONEachRow のスキーマ推論中にサポートされていないタイプのカラムをスキップを許可します。false