GraphiteMergeTree テーブルエンジン

このエンジンは、Graphite データの間引きおよび集約・平均化 (ロールアップ) のために設計されています。Graphite のデータストアとして ClickHouse を使用したい開発者に役立ちます。

ロールアップが不要な場合は任意の ClickHouse テーブルエンジンで Graphite データを保存できますが、ロールアップが必要な場合は GraphiteMergeTree を使用してください。このエンジンはストレージ容量を削減し、Graphite からのクエリの効率を向上させます。

このエンジンは MergeTree の特性を継承します。

テーブルの作成

CREATE TABLE [IF NOT EXISTS] [db.]table_name [ON CLUSTER cluster]
(
    Path String,
    Time DateTime,
    Value Float64,
    Version <Numeric_type>
    ...
) ENGINE = GraphiteMergeTree(config_section)
[PARTITION BY expr]
[ORDER BY expr]
[SAMPLE BY expr]
[SETTINGS name=value, ...]

CREATE TABLE クエリの詳細な説明を参照してください。

Graphite データ用のテーブルには、以下のデータを格納するために次のカラムが必要です。

メトリック名 (Graphite センサー) 。データ型: String。
メトリックを計測した時刻。データ型: DateTime。
メトリックの値。データ型: Float64。
メトリックのバージョン。データ型: 任意の数値型 (ClickHouse は、バージョンが最大の行、もしくはバージョンが同一の場合は最後に書き込まれた行を保持します。他の行はデータパーツのマージ時に削除されます) 。

これらのカラム名はロールアップの設定で指定する必要があります。

GraphiteMergeTree のパラメータ

config_section — 設定ファイル内のセクション名。このセクションにロールアップのルールを設定します。

クエリ句

GraphiteMergeTree テーブルを作成する場合は、MergeTree テーブルを作成する場合と同様に、同じ句が必須です。

テーブル作成の非推奨メソッド

注記

新規プロジェクトではこのメソッドを使用しないでください。可能であれば、既存プロジェクトも上記で説明したメソッドへ移行してください。

CREATE TABLE [IF NOT EXISTS] [db.]table_name [ON CLUSTER cluster]
(
    EventDate Date,
    Path String,
    Time DateTime,
    Value Float64,
    Version <Numeric_type>
    ...
) ENGINE [=] GraphiteMergeTree(date-column [, sampling_expression], (primary, key), index_granularity, config_section)

config_section を除くすべてのパラメータは、MergeTree における意味と同じです。

config_section — 設定ファイル内のセクション名。このセクションにロールアップのルールを設定します。

ロールアップ設定

ロールアップの設定は、サーバー設定内の graphite_rollup パラメータによって定義されます。パラメータ名は任意の名前を付けることができます。複数の設定を作成し、異なるテーブルに対して使い分けることができます。

ロールアップ設定の構造:

required-columns patterns

必須カラム

`path_column_name`

path_column_name — メトリック名 (Graphite センサー) を保存するカラム名。デフォルト値: Path。

`time_column_name`

time_column_name — メトリックを計測した時刻を保存するカラム名。デフォルト値: Time。

`value_column_name`

value_column_name — time_column_name で指定された時刻におけるメトリック値を保存するカラム名。デフォルト値: Value。

`version_column_name`

version_column_name — メトリックのバージョンを保存するカラム名。デフォルト値: Timestamp。

パターン

patterns セクションの構造:

pattern
    rule_type
    regexp
    function
pattern
    rule_type
    regexp
    age + precision
    ...
pattern
    rule_type
    regexp
    function
    age + precision
    ...
pattern
    ...
default
    function
    age + precision
    ...

情報

パターンは次の厳密な順序で並べる必要があります:

function と retention のいずれも指定しないパターン。
function と retention の両方を指定するパターン。
パターン default。

行を処理する際、ClickHouse は pattern セクション内のルールをチェックします。各 pattern (default を含む) セクションには、集約用の function パラメータ、retention パラメータ、またはその両方を含めることができます。メトリック名が regexp にマッチする場合、その pattern セクション (または複数セクション) のルールが適用され、それ以外の場合は default セクションのルールが適用されます。

pattern および default セクションのフィールド:

rule_type - ルールの種別。特定の種類のメトリックにのみ適用されます。エンジンはこれを使用してプレーンメトリックとタグ付きメトリックを分離します。省略可能なパラメータです。デフォルト値: all。パフォーマンスが重要でない場合、またはプレーンメトリックなど 1 種類のメトリックのみを使用する場合は不要です。デフォルトでは 1 種類のルールセットのみが作成されます。そうでなく、いずれかの特別なタイプが定義されている場合は、2 つの異なるセットが作成されます。1 つはプレーンメトリック (root.branch.leaf) 用、もう 1 つはタグ付きメトリック (root.branch.leaf;tag1=value1) 用です。デフォルトルールは両方のセットに含まれます。有効な値:
- all (デフォルト) - rule_type が省略された場合に使用される汎用ルール。
- plain - プレーンメトリック用のルール。フィールド regexp は正規表現として処理されます。
- tagged - タグ付きメトリック用のルール (メトリックは DB に someName?tag1=value1&tag2=value2&tag3=value3 形式で保存されます) 。正規表現はタグ名でソートされている必要があり、存在する場合は最初のタグが __name__ でなければなりません。フィールド regexp は正規表現として処理されます。
- tag_list - タグ付きメトリック用のルールで、graphite 形式 someName;tag1=value1;tag2=value2、someName、または tag1=value1;tag2=value2 によるメトリック記述を簡素化するための DSL です。フィールド regexp は tagged ルールに変換されます。タグ名でのソートは不要で、自動的に行われます。タグの値 (名前ではなく) は正規表現として指定できます (例: env=(dev|staging)) 。
regexp – メトリック名に対するパターン (正規表現または DSL) 。
age – データの最小経過時間 (秒) 。
precision– データの経過時間を秒単位でどの程度の精度で定義するか。86400 (1 日の秒数) を割り切れる値である必要があります。
function – 経過時間が [age, age + precision] の範囲に入るデータに適用する集約関数の名前。使用可能な関数: min / max / any / avg。平均は、平均値同士の平均を取るのと同様に、厳密ではない平均として計算されます。

ルールタイプなしの設定例

<graphite_rollup>
    <version_column_name>Version</version_column_name>
    <pattern>
        <regexp>click_cost</regexp>
        <function>any</function>
        <retention>
            <age>0</age>
            <precision>5</precision>
        </retention>
        <retention>
            <age>86400</age>
            <precision>60</precision>
        </retention>
    </pattern>
    <default>
        <function>max</function>
        <retention>
            <age>0</age>
            <precision>60</precision>
        </retention>
        <retention>
            <age>3600</age>
            <precision>300</precision>
        </retention>
        <retention>
            <age>86400</age>
            <precision>3600</precision>
        </retention>
    </default>
</graphite_rollup>

ルールタイプ別の設定例

<graphite_rollup>
    <version_column_name>Version</version_column_name>
    <pattern>
        <rule_type>plain</rule_type>
        <regexp>click_cost</regexp>
        <function>any</function>
        <retention>
            <age>0</age>
            <precision>5</precision>
        </retention>
        <retention>
            <age>86400</age>
            <precision>60</precision>
        </retention>
    </pattern>
    <pattern>
        <rule_type>tagged</rule_type>
        <regexp>^((.*)|.)min\?</regexp>
        <function>min</function>
        <retention>
            <age>0</age>
            <precision>5</precision>
        </retention>
        <retention>
            <age>86400</age>
            <precision>60</precision>
        </retention>
    </pattern>
    <pattern>
        <rule_type>tagged</rule_type>
        <regexp><![CDATA[^someName\?(.*&)*tag1=value1(&|$)]]></regexp>
        <function>min</function>
        <retention>
            <age>0</age>
            <precision>5</precision>
        </retention>
        <retention>
            <age>86400</age>
            <precision>60</precision>
        </retention>
    </pattern>
    <pattern>
        <rule_type>tag_list</rule_type>
        <regexp>someName;tag2=value2</regexp>
        <retention>
            <age>0</age>
            <precision>5</precision>
        </retention>
        <retention>
            <age>86400</age>
            <precision>60</precision>
        </retention>
    </pattern>
    <default>
        <function>max</function>
        <retention>
            <age>0</age>
            <precision>60</precision>
        </retention>
        <retention>
            <age>3600</age>
            <precision>300</precision>
        </retention>
        <retention>
            <age>86400</age>
            <precision>3600</precision>
        </retention>
    </default>
</graphite_rollup>

注記

データのロールアップはマージ処理の際に実行されます。通常、古いパーティションではマージが開始されないため、ロールアップを行うには optimize を使用して予定外のマージをトリガーする必要があります。あるいは、graphite-ch-optimizer などの追加ツールを使用します。

テーブルの作成​

ロールアップ設定​

必須カラム​

path_column_name​

time_column_name​

value_column_name​

version_column_name​

パターン​

ルールタイプなしの設定例​

ルールタイプ別の設定例​