BSONEachRow
Input | Output | Alias |
---|---|---|
✔ | ✔ |
描述
BSONEachRow
格式将数据解析为一系列的二进制 JSON (BSON) 文档,文档之间没有任何分隔符。每一行格式化为一个单独的文档,每一列格式化为一个单独的 BSON 文档字段,列名作为键。
数据类型匹配
对于输出,它使用 ClickHouse 类型和 BSON 类型之间的以下对应关系:
ClickHouse 类型 | BSON 类型 |
---|---|
Bool | \x08 boolean |
Int8/UInt8/Enum8 | \x10 int32 |
Int16/UInt16/Enum16 | \x10 int32 |
Int32 | \x10 int32 |
UInt32 | \x12 int64 |
Int64/UInt64 | \x12 int64 |
Float32/Float64 | \x01 double |
Date/Date32 | \x10 int32 |
DateTime | \x12 int64 |
DateTime64 | \x09 datetime |
Decimal32 | \x10 int32 |
Decimal64 | \x12 int64 |
Decimal128 | \x05 binary, \x00 binary subtype, size = 16 |
Decimal256 | \x05 binary, \x00 binary subtype, size = 32 |
Int128/UInt128 | \x05 binary, \x00 binary subtype, size = 16 |
Int256/UInt256 | \x05 binary, \x00 binary subtype, size = 32 |
String/FixedString | \x05 binary, \x00 binary subtype 或者 \x02 string,如果启用了设置 output_format_bson_string_as_string |
UUID | \x05 binary, \x04 uuid subtype, size = 16 |
Array | \x04 array |
Tuple | \x04 array |
Named Tuple | \x03 document |
Map | \x03 document |
IPv4 | \x10 int32 |
IPv6 | \x05 binary, \x00 binary subtype |
对于输入,它使用 BSON 类型和 ClickHouse 类型之间的以下对应关系:
BSON 类型 | ClickHouse 类型 |
---|---|
\x01 double | Float32/Float64 |
\x02 string | String/FixedString |
\x03 document | Map/Named Tuple |
\x04 array | Array/Tuple |
\x05 binary, \x00 binary subtype | String/FixedString/IPv6 |
\x05 binary, \x02 old binary subtype | String/FixedString |
\x05 binary, \x03 old uuid subtype | UUID |
\x05 binary, \x04 uuid subtype | UUID |
\x07 ObjectId | String/FixedString |
\x08 boolean | Bool |
\x09 datetime | DateTime64 |
\x0A null 值 | NULL |
\x0D JavaScript 代码 | String/FixedString |
\x0E symbol | String/FixedString |
\x10 int32 | Int32/UInt32/Decimal32/IPv4/Enum8/Enum16 |
\x12 int64 | Int64/UInt64/Decimal64/DateTime64 |
其他 BSON 类型不受支持。此外,它在不同整数类型之间执行转换。
例如,可以将 BSON int32
值插入到 ClickHouse 作为 UInt8
。
像 Int128
/UInt128
/Int256
/UInt256
/Decimal128
/Decimal256
这样的超大整数和十进制可以从具有 \x00
二进制子类型的 BSON 二进制值中解析。
在这种情况下,格式将验证二进制数据的大小是否等于预期值的大小。
备注
此格式在大端平台上无法正常工作。
示例用法
插入数据
使用名为 football.bson
的 BSON 文件,包含以下数据:
插入数据:
读取数据
使用 BSONEachRow
格式读取数据:
提示
BSON 是一种二进制格式,在终端上无法以人类可读的形式显示。使用 INTO OUTFILE
输出 BSON 文件。
格式设置
设置 | 描述 | 默认值 |
---|---|---|
output_format_bson_string_as_string | 对于字符串列,使用 BSON 字符串类型而不是二进制。 | false |
input_format_bson_skip_fields_with_unsupported_types_in_schema_inference | 在格式 BSONEachRow 的模式推断时允许跳过具有不受支持类型的列。 | false |