Движок таблицы FileLog

• Подписываться на файлы журнала.
• Обрабатывать новые записи по мере их добавления в отслеживаемые файлы журнала.

​

Создание таблицы

CREATE TABLE [IF NOT EXISTS] [db.]table_name [ON CLUSTER cluster]
(
    name1 [type1] [DEFAULT|MATERIALIZED|ALIAS expr1],
    name2 [type2] [DEFAULT|MATERIALIZED|ALIAS expr2],
    ...
) ENGINE = FileLog('path_to_logs', 'format_name') SETTINGS
    [poll_timeout_ms = 0,]
    [poll_max_batch_size = 0,]
    [max_block_size = 0,]
    [max_threads = 0,]
    [poll_directory_watch_events_backoff_init = 500,]
    [poll_directory_watch_events_backoff_max = 32000,]
    [poll_directory_watch_events_backoff_factor = 2,]
    [handle_error_mode = 'default']

• path_to_logs – Путь к файлам журнала, которые нужно отслеживать. Это может быть путь к каталогу с файлами журнала или к одному файлу журнала. Относительный путь разрешается относительно каталога user_files_path, как и в табличной функции file; если же относительный путь уже указывает внутрь user_files_path относительно рабочего каталога сервера (например, user_files/my_app/app.log, когда сервер запущен в своём каталоге данных, как в официальном Docker-образе), он сохраняет прежний смысл. Имя файла в пути может содержать глоб-шаблоны (*, ?, {abc,def}, {N..M}), чтобы читать только подходящие файлы каталога, см. Выбор файлов с помощью глоб-шаблонов. Обратите внимание, что ClickHouse допускает только пути внутри каталога user_files.
• format_name - Формат записей. Обратите внимание, что FileLog обрабатывает каждую строку в файле как отдельную запись, поэтому не все форматы данных для этого подходят.

• poll_timeout_ms - Тайм-аут одного опроса файла журнала. Значение по умолчанию: stream_poll_timeout_ms.
• poll_max_batch_size — Максимальное количество записей, считываемых за один опрос. Значение по умолчанию: max_block_size.
• max_block_size — Максимальный размер батча (в записях) для одного опроса. Значение по умолчанию: max_insert_block_size.
• max_threads - Максимальное количество потоков для разбора файлов; по умолчанию это 0, что означает, что количество будет равно max(1, physical_cpu_cores / 4).
• poll_directory_watch_events_backoff_init - Начальное время ожидания для потока наблюдения за каталогом. Значение по умолчанию: 500.
• poll_directory_watch_events_backoff_max - Максимальное время ожидания для потока наблюдения за каталогом. Значение по умолчанию: 32000.
• poll_directory_watch_events_backoff_factor - Скорость увеличения задержки; по умолчанию используется экспоненциальный рост. Значение по умолчанию: 2.
• handle_error_mode — Как обрабатывать ошибки в движке FileLog. Возможные значения: default (если запись не удаётся разобрать, прямой SELECT генерирует исключение; когда таблица передаёт данные в materialized view, такая запись пропускается, а ошибка записывается в журнал сервера), stream (сообщение об исключении и исходная запись будут сохранены в виртуальных столбцах _error и _raw_record).

​

Описание

1. Используйте движок, чтобы создать таблицу FileLog, и рассматривайте её как поток данных.
2. Создайте таблицу с нужной структурой.
3. Создайте materialized view, которое преобразует данные из движка и помещает их в созданную ранее таблицу.

CREATE TABLE logs (
    timestamp UInt64,
    level String,
    message String
  ) ENGINE = FileLog('my_app/app.log', 'JSONEachRow');

CREATE TABLE daily (
    day Date,
    level String,
    total UInt64
  ) ENGINE = SummingMergeTree
  PARTITION BY toYYYYMM(day)
  ORDER BY (day, level);

CREATE MATERIALIZED VIEW consumer TO daily
    AS SELECT toDate(toDateTime(timestamp)) AS day, level, count() AS total
    FROM logs GROUP BY day, level;

SELECT level, sum(total) FROM daily GROUP BY level;

DETACH TABLE consumer;
ATTACH TABLE consumer;

​

Выбор файлов с помощью глоб-шаблонов

app.log         the file the application writes
app.log.1       the previous file, renamed by logrotate, compressed on the next rotation
app.log.2.gz    older files, compressed

​

Виртуальные столбцы

• _filename - Имя файла журнала. Тип данных: LowCardinality(String).
• _offset - Смещение в файле журнала. Тип данных: UInt64.

• _raw_record - Исходная запись, которую не удалось успешно разобрать. Тип данных: Nullable(String).
• _error - Сообщение об исключении, возникшем при неудачном разборе. Тип данных: Nullable(String).

​

Долговечность данных