FileLog 테이블 엔진

• 로그 파일을 구독합니다.
• 구독한 로그 파일에 새 레코드가 추가될 때 처리합니다.

​

테이블 생성

CREATE TABLE [IF NOT EXISTS] [db.]table_name [ON CLUSTER cluster]
(
    name1 [type1] [DEFAULT|MATERIALIZED|ALIAS expr1],
    name2 [type2] [DEFAULT|MATERIALIZED|ALIAS expr2],
    ...
) ENGINE = FileLog('path_to_logs', 'format_name') SETTINGS
    [poll_timeout_ms = 0,]
    [poll_max_batch_size = 0,]
    [max_block_size = 0,]
    [max_threads = 0,]
    [poll_directory_watch_events_backoff_init = 500,]
    [poll_directory_watch_events_backoff_max = 32000,]
    [poll_directory_watch_events_backoff_factor = 2,]
    [handle_error_mode = 'default']

• path_to_logs – 구독할 로그 파일의 경로입니다. 로그 파일이 있는 디렉터리 경로일 수도 있고, 단일 로그 파일 경로일 수도 있습니다. 상대 경로는 file 테이블 함수와 마찬가지로 user_files_path 디렉터리를 기준으로 해석됩니다. 다만, 서버의 작업 디렉터리를 기준으로 이미 user_files_path 내부를 가리키는 상대 경로(예를 들어, 공식 Docker 이미지처럼 서버가 데이터 디렉터리에서 실행될 때의 user_files/my_app/app.log)는 그대로 해석됩니다. 경로의 파일 이름에 글롭 패턴(*, ?, {abc,def}, {N..M})을 사용하면 디렉터리에서 패턴과 일치하는 파일만 읽을 수 있습니다. 자세한 내용은 글롭 패턴으로 파일 선택하기를 참조하십시오. ClickHouse는 user_files 디렉터리 내부의 경로만 허용합니다.
• format_name - 레코드 포맷입니다. FileLog는 파일의 각 줄을 개별 레코드로 처리하므로, 모든 데이터 포맷이 이에 적합한 것은 아닙니다.

• poll_timeout_ms - 로그 파일에서 한 번 폴링할 때의 시간 초과 값입니다. 기본값: stream_poll_timeout_ms.
• poll_max_batch_size — 한 번의 폴링으로 가져올 수 있는 최대 레코드 수입니다. 기본값: max_block_size.
• max_block_size — 폴링의 최대 배치 크기(레코드 수)입니다. 기본값: max_insert_block_size.
• max_threads - 파일을 파싱하기 위한 최대 스레드 수입니다. 기본값은 0이며, 이 경우 스레드 수는 max(1, physical_cpu_cores / 4)입니다.
• poll_directory_watch_events_backoff_init - 디렉터리 감시 스레드의 초기 대기 값입니다. 기본값: 500.
• poll_directory_watch_events_backoff_max - 디렉터리 감시 스레드의 최대 대기 값입니다. 기본값: 32000.
• poll_directory_watch_events_backoff_factor - 백오프 속도입니다. 기본적으로 지수적으로 증가합니다. 기본값: 2.
• handle_error_mode — FileLog 엔진에서 오류를 처리하는 방식입니다. 가능한 값: default(직접 SELECT를 실행할 때 레코드 파싱에 실패하면 예외를 발생시킴. 테이블이 materialized view로 데이터를 스트리밍하는 동안에는 해당 레코드를 건너뛰고 오류를 서버 로그에 기록함), stream(예외 메시지와 원시 레코드를 가상 컬럼 _error 및 _raw_record에 저장함).

​

설명

1. 이 엔진을 사용해 FileLog 테이블을 만들고, 이를 데이터 스트림으로 간주합니다.
2. 원하는 구조의 테이블을 생성합니다.
3. 엔진의 데이터를 변환해 앞서 생성한 테이블에 저장하는 materialized view를 생성합니다.

CREATE TABLE logs (
    timestamp UInt64,
    level String,
    message String
  ) ENGINE = FileLog('my_app/app.log', 'JSONEachRow');

CREATE TABLE daily (
    day Date,
    level String,
    total UInt64
  ) ENGINE = SummingMergeTree
  PARTITION BY toYYYYMM(day)
  ORDER BY (day, level);

CREATE MATERIALIZED VIEW consumer TO daily
    AS SELECT toDate(toDateTime(timestamp)) AS day, level, count() AS total
    FROM logs GROUP BY day, level;

SELECT level, sum(total) FROM daily GROUP BY level;

DETACH TABLE consumer;
ATTACH TABLE consumer;

​

글롭 패턴으로 파일 선택하기

app.log         the file the application writes
app.log.1       the previous file, renamed by logrotate, compressed on the next rotation
app.log.2.gz    older files, compressed

​

가상 컬럼(Virtual columns)

• _filename - 로그 파일 이름입니다. 데이터 타입: LowCardinality(String).
• _offset - 로그 파일 내 오프셋입니다. 데이터 타입: UInt64.

• _raw_record - 성공적으로 파싱되지 않은 원시 레코드입니다. 데이터 타입: Nullable(String).
• _error - 파싱 실패 중 발생한 예외 메시지입니다. 데이터 타입: Nullable(String).

​

데이터 내구성