BSONEachRow
| Входные данные | Выходные данные | Псевдоним |
|---|---|---|
| ✔ | ✔ |
Описание
Формат BSONEachRow разбирает данные как последовательность документов Binary JSON (BSON) без разделителей между ними. Каждая строка форматируется как один документ, а каждая колонка форматируется как одно поле документа BSON с именем колонки в качестве ключа.
Соответствие типов данных
Для вывода используется следующее соответствие между типами ClickHouse и типами BSON:
| Тип ClickHouse | Тип BSON |
|---|---|
| Bool | \x08 boolean |
| Int8/UInt8/Enum8 | \x10 int32 |
| Int16/UInt16/Enum16 | \x10 int32 |
| Int32 | \x10 int32 |
| UInt32 | \x12 int64 |
| Int64/UInt64 | \x12 int64 |
| Float32/Float64 | \x01 double |
| Date/Date32 | \x10 int32 |
| DateTime | \x12 int64 |
| DateTime64 | \x09 datetime |
| Decimal32 | \x10 int32 |
| Decimal64 | \x12 int64 |
| Decimal128 | \x05 binary, \x00 binary subtype, size = 16 |
| Decimal256 | \x05 binary, \x00 binary subtype, size = 32 |
| Int128/UInt128 | \x05 binary, \x00 binary subtype, size = 16 |
| Int256/UInt256 | \x05 binary, \x00 binary subtype, size = 32 |
| String/FixedString | \x05 binary, \x00 binary subtype или \x02 string, если включена настройка output_format_bson_string_as_string |
| UUID | \x05 binary, \x04 uuid subtype, size = 16 |
| Array | \x04 array |
| Tuple | \x04 array |
| Named Tuple | \x03 document |
| Map | \x03 document |
| IPv4 | \x10 int32 |
| IPv6 | \x05 binary, \x00 binary subtype |
Для входных данных используется следующее соответствие между типами BSON и типами ClickHouse:
| Тип BSON | Тип ClickHouse |
|---|---|
\x01 double | Float32/Float64 |
\x02 string | String/FixedString |
\x03 document | Map/Named Tuple |
\x04 array | Array/Tuple |
\x05 binary, \x00 binary subtype | String/FixedString/IPv6 |
\x05 binary, \x02 old binary subtype | String/FixedString |
\x05 binary, \x03 old uuid subtype | UUID |
\x05 binary, \x04 uuid subtype | UUID |
\x07 ObjectId | String/FixedString |
\x08 boolean | Bool |
\x09 datetime | DateTime64 |
\x0A null value | NULL |
\x0D JavaScript code | String/FixedString |
\x0E symbol | String/FixedString |
\x10 int32 | Int32/UInt32/Decimal32/IPv4/Enum8/Enum16 |
\x12 int64 | Int64/UInt64/Decimal64/DateTime64 |
Другие типы BSON не поддерживаются. Кроме того, выполняется преобразование между различными целочисленными типами. Например, возможно вставить значение BSON int32 в ClickHouse как UInt8.
Большие целые числа и десятичные числа, такие как Int128/UInt128/Int256/UInt256/Decimal128/Decimal256, могут быть разобраны из бинарного значения BSON с бинарным подтипом \x00. В этом случае формат проверит, что размер двоичных данных соответствует размеру ожидаемого значения.
Этот формат не работает должным образом на платформах Big-Endian.
Пример использования
Настройки формата
| Настройка | Описание | По умолчанию |
|---|---|---|
output_format_bson_string_as_string | Использовать тип BSON String вместо бинарного для колонок типа String. | false |
input_format_bson_skip_fields_with_unsupported_types_in_schema_inference | Разрешить пропуск колонок с неподдерживаемыми типами во время вывода схемы для формата BSONEachRow. | false |