---
title: "列指向ストレージでnginxログを170倍圧縮した方法"
date: "2026-09-25T07:21:51.008Z"
author: "Lionel Palacin and Dale McDiarmid"
category: "Engineering"
excerpt: "ログを構造化フォーマットに整えることで170倍の圧縮率を実現し、大規模なログストレージを現実的なものにする方法を解説します。"
---
# 列指向ストレージでnginxログを170倍圧縮した方法
> **TL;DR**
>
>
> 列指向ストレージは、高速かつ柔軟なクエリ性能を維持しながら、ログを効率的に保存する手段を提供します。生のログを構造化されたカラムに変換し、最適化されたデータ型を使用し、類似した値をまとめて並べ替えることで、170 倍以上の圧縮率を達成できます。
大規模なログの保存は困難を伴います。
ログは通常、効率的に圧縮されない非構造化テキストです。それにもかかわらず、ログにはアプリケーションやシステムの挙動に関する重要な履歴情報が含まれており、障害発生時のデバッグに極めて有用な、失いたくない情報です。
オブザーバビリティシステムにおいて、ログはトレースやメトリクスと並んで扱われます。ログとは異なり、トレースやメトリクスは最初から構造化されており値の重複が多いため、列指向フォーマットで自然に圧縮されます。Timestamp、ServiceName、Latency などのフィールドは列指向ストレージによく適合し、効果的に圧縮されます。
しかし、ログにも同様の構造を持たせることができたらどうでしょうか。各メッセージの可変部分を特定し、個別のカラムに抽出し、最も効率的なデータ型を使用し、類似したデータをディスク上で近接して保存することで、ログでも同様の高効率な圧縮を実現できます。
本記事では、このアプローチを試して生のログを構造化データへと変換し、170 倍の圧縮率の達成を目指します。**後続のブログ記事では、ログのクラスタリング技術を活用してこれらのアイデアをあらゆるタイプのログへと拡張し、圧縮率を自動的に向上させる方法を探ります。**
## 圧縮が重要である理由
圧縮は単にストレージを削減するだけでなく、パフォーマンスやリソースの使用状況にも好影響をもたらします。
**I/Oの削減とクエリの高速化**
データサイズが小さくなれば、ディスクからの読み取りにかかる時間が短縮されます。列指向データベースでは、クエリが大量のデータをスキャンすることが多いため、圧縮ブロックを読み取ることで I/O が大幅に削減されます。これにより、ディスク帯域幅やネットワークなどのリソースへの負荷が軽減され、クエリ実行の高速化につながります。
**ストレージ要件の削減**
保存が必要なデータ量を削減することで、ストレージコストを抑えられます。容量が比較的安価な S3 などのオブジェクトストレージを使用している場合でも、高速アクセスのためにローカルの NVMe にキャッシュできるデータ量が増えるため、圧縮は依然として重要です。
**キャッシュ効率の向上**
圧縮されたデータはメモリやキャッシュ層に収まりやすくなります。これによりキャッシュヒット率が向上し、ディスクからデータを取得する必要性が低下します。
## Nginx アクセスログを用いた検証
Nginx アクセスログは、Nginx サーバーが処理したすべてのリクエストを記録します。広く知られているデータセットであるため、読者の皆様もイメージしやすく、実験を再現しやすい題材です。
各ログには通常、クライアントの IP アドレス、タイムスタンプ、HTTP メソッド、ステータスコード、ユーザーエージェント、レスポンスタイムなどの情報が含まれます。以下は nginx ログのエントリ例です。
```
185.161.113.50 - - [2019-02-04 23:40:49] "GET /filter/p62,b113?page=0 HTTP/1.1" 200 33948 "https://www.zanbil.ir/" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36"
```
これらのログは、今回の実験に最適な題材です。
1. **一貫した構造**: [Nginx ログフォーマット](https://docs.nginx.com/nginx/admin-guide/monitoring/logging/)によって定義された固定パターンに従っています。値(タイムスタンプ、IP、URL、レスポンスタイム)は変化しますが、全体の構造は安定しています。
2. **多様なデータ型の混在**: nginx アクセスログには、IP アドレス、数値、文字列、日付が含まれています。最適な保存方法を検討する上で、さまざまなデータ型が程よく混在しています。
3. **大容量**: 本番環境におけるアクセスログは急速に蓄積され、ギガバイト単位やテラバイト単位のデータが生成されることも珍しくありません。この規模は、圧縮効率やストレージコストに直結します。
> nginx ログは通常プレーンテキストファイルに保存されますが、その形式は予測可能です。これは一般的なアプリケーションログの代表例とは言えないかもしれません。その点は認識しつつも、楽観的な上限値を設定するためにこのデータセットを選択しています。より構造が曖昧なログで達成可能な圧縮フォーマットについては、後続の記事で取り上げます。
Spin up the world’s fastest and most scalable open source observability stack, in seconds.
Try now
CREATE TABLE nginx_raw
(
`Body` String
) ORDER BY ()
INSERT INTO nginx_raw SELECT line As Body FROM s3('https://datasets-documentation.s3.eu-west-3.amazonaws.com/http_logs/nginx-66.log.gz', 'LineAsString')
SELECT count() FROM nginx_raw
┌──count()─┐
│ 66747290 │ -- 66.75 million
└──────────┘
SELECT
`table`,
formatReadableSize(SUM(data_uncompressed_bytes)) AS uncompressed_size,
formatReadableSize(SUM(data_compressed_bytes)) AS compressed_size
FROM system.parts
WHERE (database = 'logs_blog') AND (`table` = 'nginx_raw') AND active
GROUP BY `table`
ORDER BY `table` ASC
┌─table─────┬─uncompressed_size─┬─compressed_size─┐
│ nginx_raw │ 20.19 GiB │ 575.62 MiB │
└───────────┴───────────────────┴─────────────────┘
CREATE TABLE nginx_column_tuple
(
`remote_addr` String,
`remote_user` String,
`time_local` DateTime,
`request_type` String,
`request_path` String,
`request_protocol` String,
`status` UInt64,
`size` UInt64,
`referer` String,
`user_agent` String
)
ORDER BY ()
INSERT INTO nginx_column_tuple
SELECT
m[1],
m[2],
parseDateTimeBestEffortOrNull(m[3]),
m[4],
m[5],
m[6],
toUInt64OrZero(m[7]),
toUInt64OrZero(m[8]),
if(length(trim(m[9])) = 0, '-', m[9]),
m[10]
FROM (
SELECT arrayElement(extractAllGroups(
toValidUTF8(Body),'^(\S+) - (\S+) \[([^\]]+)\] "([A-Z]+)?\s*(.*?)\s*(HTTP\S+)?" (\d{3}) (\d+) "([^"]*)" "([^"]*)"'
), 1) AS m
FROM nginx_raw
);
SELECT
`table`,
formatReadableSize(sum(data_compressed_bytes)) AS compressed_size,
formatReadableSize(sum(data_uncompressed_bytes)) AS uncompressed_size
FROM system.columns
WHERE `table` = 'nginx_column_tuple'
GROUP BY `table`
FORMAT VERTICAL
Row 1:
──────
table: nginx_column_tuple
compressed_size: 359.52 MiB
uncompressed_size: 18.48 GiB
SELECT * APPLY uniq
FROM nginx_column_tuple
FORMAT VERTICAL
Row 1:
──────
uniq(remote_addr): 258115
uniq(remote_user): 2
uniq(time_local): 2579628 -- 2.58 million
uniq(request_type): 5
uniq(request_path): 881124
uniq(request_protocol): 3
uniq(status): 15
uniq(size): 69712
uniq(referer): 103048
uniq(user_agent): 28344
CREATE TABLE nginx_column_tuple_optimized_types
(
`remote_addr` IPv4,
`remote_user` LowCardinality(String),
`time_local` DateTime CODEC(Delta(4), ZSTD(1)),
`request_type` LowCardinality(String),
`request_path` String CODEC(ZSTD(6)),
`request_protocol` LowCardinality(String),
`status` UInt16,
`size` UInt32,
`referer` String CODEC(ZSTD(6)),
`user_agent` LowCardinality(String)
)
ORDER BY ()
INSERT INTO nginx_column_tuple_optimized_types SELECT * FROM nginx_column_tuple;
SELECT
`table`,
formatReadableSize(sum(data_compressed_bytes)) AS compressed_size,
formatReadableSize(sum(data_uncompressed_bytes)) AS uncompressed_size
FROM system.columns
WHERE `table` = 'nginx_column_tuple_optimized_types'
GROUP BY `table`
FORMAT VERTICAL
Row 1:
──────
table: nginx_column_tuple_optimized_types
compressed_size: 218.42 MiB
uncompressed_size: 9.69 GiB
INSERT INTO nginx_column_tuple_optimized_types SELECT * FROM nginx_column_tuple;
SELECT
name,
formatReadableSize(sum(data_compressed_bytes)) AS compressed_size,
formatReadableSize(sum(data_uncompressed_bytes)) AS uncompressed_size
FROM system.columns
WHERE `table` = 'nginx_column_tuple_optimized_types'
GROUP BY name
ORDER BY sum(data_uncompressed_bytes) DESC
┌─name─────────────┬─compressed_size─┬─uncompressed_size─┐
1. │ referer │ 13.69 MiB │ 4.96 GiB │
2. │ request_path │ 127.19 MiB │ 3.55 GiB │
3. │ size │ 39.37 MiB │ 254.62 MiB │
4. │ time_local │ 22.58 MiB │ 254.62 MiB │
5. │ remote_addr │ 10.76 MiB │ 254.62 MiB │
6. │ user_agent │ 589.91 KiB │ 129.05 MiB │
7. │ status │ 3.42 MiB │ 127.31 MiB │
8. │ request_type │ 722.43 KiB │ 63.78 MiB │
9. │ request_protocol │ 62.79 KiB │ 63.78 MiB │
10. │ remote_user │ 56.81 KiB │ 63.78 MiB │
└──────────────────┴─────────────────┴───────────────────┘
-- テーブルの作成
CREATE TABLE nginx_column_tuple_optimized_types_sort
(
`remote_addr` IPv4,
`remote_user` LowCardinality(String),
`time_local` DateTime CODEC(Delta(4), ZSTD(1)),
`request_type` LowCardinality(String),
`request_path` String CODEC(ZSTD(6)),
`request_protocol` LowCardinality(String),
`status` UInt16,
`size` UInt32,
`referer` String CODEC(ZSTD(6)),
`user_agent` LowCardinality(String)
)
ORDER BY (referer, user_agent, remote_user, request_path);
-- 新しいテーブルへデータを取り込み
INSERT INTO nginx_column_tuple_optimized_types_sort SELECT * FROM nginx_column_tuple;
SELECT
`table`,
formatReadableSize(sum(data_compressed_bytes)) AS compressed_size,
formatReadableSize(sum(data_uncompressed_bytes)) AS uncompressed_size
FROM system.columns
WHERE `table` = 'nginx_column_tuple_optimized_types_sort'
GROUP BY `table`
FORMAT VERTICAL
Row 1:
──────
table: nginx_column_tuple_optimized_types_sort
compressed_size: 109.12 MiB
uncompressed_size: 9.70 GiB
-- テーブルの作成
CREATE TABLE logs_blog.nginx_column_tuple_optimized_types_time_sort
(
`remote_addr` IPv4,
`remote_user` LowCardinality(String),
`time_local` DateTime CODEC(Delta(4), ZSTD(1)),
`request_type` LowCardinality(String),
`request_path` String CODEC(ZSTD(6)),
`request_protocol` LowCardinality(String),
`status` UInt16,
`size` UInt32,
`referer` String CODEC(ZSTD(6)),
`user_agent` LowCardinality(String)
)
ORDER BY (toStartOfDay(time_local), referer, user_agent, remote_user, request_path);
-- データの取り込み
INSERT INTO logs_blog.nginx_column_tuple_optimized_types_time_sort SELECT * FROM logs_blog.nginx_column_tuple_optimized_types_sort;
-- サイズの確認
SELECT
`table`,
formatReadableSize(sum(data_compressed_bytes)) AS compressed_size,
formatReadableSize(sum(data_uncompressed_bytes)) AS uncompressed_size
FROM system.columns
WHERE `table` = 'nginx_column_tuple_optimized_types_time_sort'
GROUP BY `table`
FORMAT VERTICAL
Row 1:
──────
table: nginx_column_tuple_optimized_types_time_sort
compressed_size: 380.82 MiB
uncompressed_size: 9.76 GiB