ARRAY JOIN

Для таблиц, содержащих столбец типа Array, часто требуется построить новую таблицу, в которой каждому отдельному элементу массива из исходного столбца соответствует своя строка, а значения остальных столбцов дублируются. Это базовый вариант использования предложения ARRAY JOIN. Название связано с тем, что его можно рассматривать как выполнение JOIN с массивом или вложенной структурой данных. По назначению оно похоже на функцию arrayJoin, но возможности предложения шире.

PostgreSQL FROM unnest(...), CROSS JOIN UNNEST(...) и LATERAL не поддерживаются. Используйте вместо них ARRAY JOIN. Имя unnest (начиная с версии 26.5) является псевдонимом вызова функции arrayJoin (SELECT unnest(arr)), а не табличной функцией.

Синтаксис:

SELECT <expr_list>
FROM <left_subquery>
[LEFT] ARRAY JOIN <array>
[WHERE|PREWHERE <expr>]
...

Поддерживаемые типы ARRAY JOIN перечислены ниже:

ARRAY JOIN - В обычном случае пустые массивы не включаются в результат JOIN.
LEFT ARRAY JOIN - Результат JOIN содержит строки с пустыми массивами. Для пустого массива используется значение по умолчанию для типа элемента массива (обычно 0, пустая строка или NULL).

Простые примеры ARRAY JOIN

ARRAY JOIN и LEFT ARRAY JOIN

Приведенные ниже примеры показывают, как использовать предложения ARRAY JOIN и LEFT ARRAY JOIN. Давайте создадим таблицу со столбцом типа Array и вставим в него значения:

CREATE TABLE arrays_test
(
    s String,
    arr Array(UInt8)
) ENGINE = Memory;

INSERT INTO arrays_test
VALUES ('Hello', [1,2]), ('World', [3,4,5]), ('Goodbye', []);

┌─s───────────┬─arr─────┐
│ Hello       │ [1,2]   │
│ World       │ [3,4,5] │
│ Goodbye     │ []      │
└─────────────┴─────────┘

В примере ниже используется предложение ARRAY JOIN:

SELECT s, arr
FROM arrays_test
ARRAY JOIN arr;

┌─s─────┬─arr─┐
│ Hello │   1 │
│ Hello │   2 │
│ World │   3 │
│ World │   4 │
│ World │   5 │
└───────┴─────┘

В следующем примере используется предложение LEFT ARRAY JOIN:

SELECT s, arr
FROM arrays_test
LEFT ARRAY JOIN arr;

┌─s───────────┬─arr─┐
│ Hello       │   1 │
│ Hello       │   2 │
│ World       │   3 │
│ World       │   4 │
│ World       │   5 │
│ Goodbye     │   0 │
└─────────────┴─────┘

ARRAY JOIN и функция arrayEnumerate

Эта функция обычно используется с ARRAY JOIN. Она позволяет выполнять подсчёт только один раз для каждого массива после применения ARRAY JOIN. Пример:

SELECT
    count() AS Reaches,
    countIf(num = 1) AS Hits
FROM test.hits
ARRAY JOIN
    GoalsReached,
    arrayEnumerate(GoalsReached) AS num
WHERE CounterID = 160656
LIMIT 10

┌─Reaches─┬──Hits─┐
│   95606 │ 31406 │
└─────────┴───────┘

В этом примере Reaches — это количество конверсий (строк, полученных после применения ARRAY JOIN), а Hits — количество просмотров страниц (строк до применения ARRAY JOIN). В этом случае тот же результат можно получить более простым способом:

SELECT
    sum(length(GoalsReached)) AS Reaches,
    count() AS Hits
FROM test.hits
WHERE (CounterID = 160656) AND notEmpty(GoalsReached)

┌─Reaches─┬──Hits─┐
│   95606 │ 31406 │
└─────────┴───────┘

ARRAY JOIN и arrayEnumerateUniq

Эта функция полезна при использовании ARRAY JOIN и агрегировании элементов массива. В этом примере для каждого ID цели вычисляется число конверсий (каждый элемент во вложенной структуре данных Goals — это достигнутая цель, которую мы называем конверсией) и число сеансов. Без ARRAY JOIN мы бы посчитали число сеансов как sum(Sign). Но в данном случае строки были продублированы вложенной структурой Goals, поэтому, чтобы после этого учитывать каждый сеанс только один раз, мы применяем условие к значению функции arrayEnumerateUniq(Goals.ID).

SELECT
    Goals.ID AS GoalID,
    sum(Sign) AS Reaches,
    sumIf(Sign, num = 1) AS Visits
FROM test.visits
ARRAY JOIN
    Goals,
    arrayEnumerateUniq(Goals.ID) AS num
WHERE CounterID = 160656
GROUP BY GoalID
ORDER BY Reaches DESC
LIMIT 10

┌──GoalID─┬─Reaches─┬─Visits─┐
│   53225 │    3214 │   1097 │
│ 2825062 │    3188 │   1097 │
│   56600 │    2803 │    488 │
│ 1989037 │    2401 │    365 │
│ 2830064 │    2396 │    910 │
│ 1113562 │    2372 │    373 │
│ 3270895 │    2262 │    812 │
│ 1084657 │    2262 │    345 │
│   56599 │    2260 │    799 │
│ 3271094 │    2256 │    812 │
└─────────┴─────────┴────────┘

Использование псевдонимов

В предложении ARRAY JOIN для массива можно задать псевдоним. В этом случае к элементу массива можно обращаться по этому псевдониму, а к самому массиву — по исходному имени. Пример:

SELECT s, arr, a
FROM arrays_test
ARRAY JOIN arr AS a;

┌─s─────┬─arr─────┬─a─┐
│ Hello │ [1,2]   │ 1 │
│ Hello │ [1,2]   │ 2 │
│ World │ [3,4,5] │ 3 │
│ World │ [3,4,5] │ 4 │
│ World │ [3,4,5] │ 5 │
└───────┴─────────┴───┘

Используя псевдонимы, можно выполнять ARRAY JOIN с внешним массивом. Например:

SELECT s, arr_external
FROM arrays_test
ARRAY JOIN [1, 2, 3] AS arr_external;

┌─s───────────┬─arr_external─┐
│ Hello       │            1 │
│ Hello       │            2 │
│ Hello       │            3 │
│ World       │            1 │
│ World       │            2 │
│ World       │            3 │
│ Goodbye     │            1 │
│ Goodbye     │            2 │
│ Goodbye     │            3 │
└─────────────┴──────────────┘

Несколько массивов можно перечислить через запятую в предложении ARRAY JOIN. В этом случае JOIN выполняется по ним одновременно (прямая сумма, а не декартово произведение). Обратите внимание, что по умолчанию все массивы должны быть одинакового размера. Пример:

SELECT s, arr, a, num, mapped
FROM arrays_test
ARRAY JOIN arr AS a, arrayEnumerate(arr) AS num, arrayMap(x -> x + 1, arr) AS mapped;

┌─s─────┬─arr─────┬─a─┬─num─┬─mapped─┐
│ Hello │ [1,2]   │ 1 │   1 │      2 │
│ Hello │ [1,2]   │ 2 │   2 │      3 │
│ World │ [3,4,5] │ 3 │   1 │      4 │
│ World │ [3,4,5] │ 4 │   2 │      5 │
│ World │ [3,4,5] │ 5 │   3 │      6 │
└───────┴─────────┴───┴─────┴────────┘

В примере ниже используется функция arrayEnumerate:

SELECT s, arr, a, num, arrayEnumerate(arr)
FROM arrays_test
ARRAY JOIN arr AS a, arrayEnumerate(arr) AS num;

┌─s─────┬─arr─────┬─a─┬─num─┬─arrayEnumerate(arr)─┐
│ Hello │ [1,2]   │ 1 │   1 │ [1,2]               │
│ Hello │ [1,2]   │ 2 │   2 │ [1,2]               │
│ World │ [3,4,5] │ 3 │   1 │ [1,2,3]             │
│ World │ [3,4,5] │ 4 │   2 │ [1,2,3]             │
│ World │ [3,4,5] │ 5 │   3 │ [1,2,3]             │
└───────┴─────────┴───┴─────┴─────────────────────┘

Несколько массивов разного размера можно объединять, используя: SETTINGS enable_unaligned_array_join = 1. Пример:

SELECT s, arr, a, b
FROM arrays_test ARRAY JOIN arr AS a, [['a','b'],['c']] AS b
SETTINGS enable_unaligned_array_join = 1;

┌─s───────┬─arr─────┬─a─┬─b─────────┐
│ Hello   │ [1,2]   │ 1 │ ['a','b'] │
│ Hello   │ [1,2]   │ 2 │ ['c']     │
│ World   │ [3,4,5] │ 3 │ ['a','b'] │
│ World   │ [3,4,5] │ 4 │ ['c']     │
│ World   │ [3,4,5] │ 5 │ []        │
│ Goodbye │ []      │ 0 │ ['a','b'] │
│ Goodbye │ []      │ 0 │ ['c']     │
└─────────┴─────────┴───┴───────────┘

ARRAY JOIN со вложенной структурой данных

ARRAY JOIN также работает с вложенными структурами данных:

CREATE TABLE nested_test
(
    s String,
    nest Nested(
    x UInt8,
    y UInt32)
) ENGINE = Memory;

INSERT INTO nested_test
VALUES ('Hello', [1,2], [10,20]), ('World', [3,4,5], [30,40,50]), ('Goodbye', [], []);

┌─s───────┬─nest.x──┬─nest.y─────┐
│ Hello   │ [1,2]   │ [10,20]    │
│ World   │ [3,4,5] │ [30,40,50] │
│ Goodbye │ []      │ []         │
└─────────┴─────────┴────────────┘

SELECT s, `nest.x`, `nest.y`
FROM nested_test
ARRAY JOIN nest;

┌─s─────┬─nest.x─┬─nest.y─┐
│ Hello │      1 │     10 │
│ Hello │      2 │     20 │
│ World │      3 │     30 │
│ World │      4 │     40 │
│ World │      5 │     50 │
└───────┴────────┴────────┘

При указании имён вложенных структур данных в ARRAY JOIN смысл такой же, как у ARRAY JOIN со всеми элементами массивов, из которых они состоят. Примеры приведены ниже:

SELECT s, `nest.x`, `nest.y`
FROM nested_test
ARRAY JOIN `nest.x`, `nest.y`;

┌─s─────┬─nest.x─┬─nest.y─┐
│ Hello │      1 │     10 │
│ Hello │      2 │     20 │
│ World │      3 │     30 │
│ World │      4 │     40 │
│ World │      5 │     50 │
└───────┴────────┴────────┘

Также возможен такой вариант:

SELECT s, `nest.x`, `nest.y`
FROM nested_test
ARRAY JOIN `nest.x`;

┌─s─────┬─nest.x─┬─nest.y─────┐
│ Hello │      1 │ [10,20]    │
│ Hello │      2 │ [10,20]    │
│ World │      3 │ [30,40,50] │
│ World │      4 │ [30,40,50] │
│ World │      5 │ [30,40,50] │
└───────┴────────┴────────────┘

Для вложенной структуры данных можно использовать псевдоним, чтобы выбрать либо результат JOIN, либо исходный массив. Пример:

SELECT s, `n.x`, `n.y`, `nest.x`, `nest.y`
FROM nested_test
ARRAY JOIN nest AS n;

┌─s─────┬─n.x─┬─n.y─┬─nest.x──┬─nest.y─────┐
│ Hello │   1 │  10 │ [1,2]   │ [10,20]    │
│ Hello │   2 │  20 │ [1,2]   │ [10,20]    │
│ World │   3 │  30 │ [3,4,5] │ [30,40,50] │
│ World │   4 │  40 │ [3,4,5] │ [30,40,50] │
│ World │   5 │  50 │ [3,4,5] │ [30,40,50] │
└───────┴─────┴─────┴─────────┴────────────┘

Пример использования функции arrayEnumerate:

SELECT s, `n.x`, `n.y`, `nest.x`, `nest.y`, num
FROM nested_test
ARRAY JOIN nest AS n, arrayEnumerate(`nest.x`) AS num;

┌─s─────┬─n.x─┬─n.y─┬─nest.x──┬─nest.y─────┬─num─┐
│ Hello │   1 │  10 │ [1,2]   │ [10,20]    │   1 │
│ Hello │   2 │  20 │ [1,2]   │ [10,20]    │   2 │
│ World │   3 │  30 │ [3,4,5] │ [30,40,50] │   1 │
│ World │   4 │  40 │ [3,4,5] │ [30,40,50] │   2 │
│ World │   5 │  50 │ [3,4,5] │ [30,40,50] │   3 │
└───────┴─────┴─────┴─────────┴────────────┴─────┘

Подробности реализации

Порядок выполнения запроса при использовании ARRAY JOIN оптимизируется. Хотя в запросе ARRAY JOIN всегда должен указываться перед оператором WHERE/PREWHERE, технически эти операции могут выполняться в любом порядке, если только результат ARRAY JOIN не используется для фильтрации. Порядок выполнения контролируется оптимизатором запросов.

Несовместимость с вычислением функций с коротким замыканием

Вычисление функций с коротким замыканием — это возможность, которая оптимизирует выполнение сложных выражений в некоторых функциях, таких как if, multiIf, and и or. Она позволяет избежать потенциальных исключений, например деления на ноль, при выполнении этих функций. arrayJoin выполняется всегда и не поддерживает вычисление функций с коротким замыканием. Это связано с тем, что arrayJoin — особая функция, которая при анализе и выполнении запроса обрабатывается отдельно от всех остальных и требует дополнительной логики, несовместимой с таким режимом выполнения. Причина в том, что число строк в результате зависит от результата arrayJoin, а реализовать для arrayJoin ленивое выполнение слишком сложно и затратно.

Блог: Работа с данными временных рядов в ClickHouse

SQL Reference

Data Types

Engines

Functions

Formats

Interfaces

Settings

System Tables

Data Lakes

Простые примеры ARRAY JOIN

ARRAY JOIN и LEFT ARRAY JOIN

ARRAY JOIN и функция arrayEnumerate

ARRAY JOIN и arrayEnumerateUniq

Использование псевдонимов

ARRAY JOIN со вложенной структурой данных

Подробности реализации

Несовместимость с вычислением функций с коротким замыканием

​Простые примеры ARRAY JOIN

​ARRAY JOIN и LEFT ARRAY JOIN

​ARRAY JOIN и функция arrayEnumerate

​ARRAY JOIN и arrayEnumerateUniq

​Использование псевдонимов

​ARRAY JOIN со вложенной структурой данных

​Подробности реализации

​Несовместимость с вычислением функций с коротким замыканием

​Связанные материалы

Простые примеры ARRAY JOIN

ARRAY JOIN и LEFT ARRAY JOIN

ARRAY JOIN и функция arrayEnumerate

ARRAY JOIN и arrayEnumerateUniq

Использование псевдонимов

ARRAY JOIN со вложенной структурой данных

Подробности реализации

Несовместимость с вычислением функций с коротким замыканием

Связанные материалы