toUnixTimestamp(timestamp) が含まれている点に注目してください。
このテーブルに1億行のデータを投入します:
codeでフィルタすると、出力にスキャンされた行数 (49.15 thousand) が表示されます。これは、合計1億行の一部にすぎないことがわかります。
EXPLAIN indexes=1 句を使って、索引が使用されていることを確認できます:
8012 が、合計 12209 の一部にすぎないことに注目してください。以下でハイライトされているセクションは、主キーが使用されていることを示しています。
ソートキーの後ろのキーでフィルタリングしても、タプル内でそれより前にあるキーでフィルタリングする場合ほど効率的ではありません。その理由については、こちらを参照してください
code と timestamp を条件にフィルタリングするとします:
87 個のみです。
ClickHouse は、効率的なソートのために順序キーを活用することもできます。具体的には、
optimize_read_in_order 設定が有効な場合 (デフォルト) 、ClickHouseサーバーはテーブルの索引を使用し、ORDER BY キーの順序でデータを読み取ります。これにより、LIMIT が指定されている場合でも、すべてのデータを読み取らずに済みます。そのため、大規模データに対する小さな LIMIT 付きのクエリは、より高速に処理されます。詳しくは、こちら および こちら を参照してください。
ただし、これには使用するキーが一致している必要があります。
たとえば、次のクエリを考えてみましょう。
EXPLAIN pipeline を使って、この最適化が適用されていないことを確認できます。
MergeTreeSelect(pool: ReadPool, algorithm: Thread) という行は、この最適化が使われていることを示すものではなく、通常の読み取りであることを示しています。これは、テーブルのソートキーに timestamp ではなく toUnixTimestamp(Timestamp) を使っているためです。 この不一致を修正すれば、問題は解消されます。