レプリケーション + スケーリング

この例では、レプリケーションとスケールアウトの両方に対応したシンプルな ClickHouse クラスターのセットアップ方法を学びます。このクラスターは 2 つの分片と 2 つのレプリカで構成されており、クラスター内の協調の管理とクォーラムの維持のために、3 ノードの ClickHouse Keeper クラスターを使用します。

セットアップするクラスターのアーキテクチャを以下に示します。

ClickHouse Server と ClickHouse Keeper を同じサーバー上でまとめて実行することも可能ですが、本番環境では ClickHouse Keeper 用に専用ホストを使用することを強く推奨します。この例でも、その構成を示します。Keeper サーバーはより小規模なものでも問題なく、通常は各 Keeper サーバーにつき 4GB の RAM があれば、 ClickHouse Server が大規模になるまでは十分です。

前提条件

事前にローカルのClickHouseサーバーをセットアップしていること
設定ファイルなど、ClickHouseの基本的な設定概念に精通していること
お使いのマシンにDockerがインストールされていること

ディレクトリ構造とテスト環境のセットアップ

サンプルファイル以下の手順では、クラスターを一からセットアップする方法を順を追って説明します。これらの手順を省略して、すぐにクラスターを実行したい場合は、examplesリポジトリの’docker-compose-recipes’ ディレクトリからサンプルファイルを取得できます。

このチュートリアルでは、Docker compose を使用して ClickHouse クラスターをセットアップします。この構成は、個別のローカルマシン、仮想マシン、またはクラウドインスタンスでも動作するよう変更することができます。次のコマンドを実行して、この例のディレクトリ構造を作成します。

mkdir cluster_2S_2R
cd cluster_2S_2R

# Create clickhouse-keeper directories
for i in {01..03}; do
  mkdir -p fs/volumes/clickhouse-keeper-${i}/etc/clickhouse-keeper
done

# Create clickhouse-server directories
for i in {01..04}; do
  mkdir -p fs/volumes/clickhouse-${i}/etc/clickhouse-server
done

以下の docker-compose.yml ファイルを clickhouse-cluster ディレクトリに追加してください。

docker-compose.yml

version: '3.8'
services:
  clickhouse-01:
    image: "clickhouse/clickhouse-server:latest"
    user: "101:101"
    container_name: clickhouse-01
    hostname: clickhouse-01
    volumes:
      - ${PWD}/fs/volumes/clickhouse-01/etc/clickhouse-server/config.d/config.xml:/etc/clickhouse-server/config.d/config.xml
      - ${PWD}/fs/volumes/clickhouse-01/etc/clickhouse-server/users.d/users.xml:/etc/clickhouse-server/users.d/users.xml
    ports:
      - "127.0.0.1:8123:8123"
      - "127.0.0.1:9000:9000"
    depends_on:
      - clickhouse-keeper-01
      - clickhouse-keeper-02
      - clickhouse-keeper-03
  clickhouse-02:
    image: "clickhouse/clickhouse-server:latest"
    user: "101:101"
    container_name: clickhouse-02
    hostname: clickhouse-02
    volumes:
      - ${PWD}/fs/volumes/clickhouse-02/etc/clickhouse-server/config.d/config.xml:/etc/clickhouse-server/config.d/config.xml
      - ${PWD}/fs/volumes/clickhouse-02/etc/clickhouse-server/users.d/users.xml:/etc/clickhouse-server/users.d/users.xml
    ports:
      - "127.0.0.1:8124:8123"
      - "127.0.0.1:9001:9000"
    depends_on:
      - clickhouse-keeper-01
      - clickhouse-keeper-02
      - clickhouse-keeper-03
  clickhouse-03:
    image: "clickhouse/clickhouse-server:latest"
    user: "101:101"
    container_name: clickhouse-03
    hostname: clickhouse-03
    volumes:
      - ${PWD}/fs/volumes/clickhouse-03/etc/clickhouse-server/config.d/config.xml:/etc/clickhouse-server/config.d/config.xml
      - ${PWD}/fs/volumes/clickhouse-03/etc/clickhouse-server/users.d/users.xml:/etc/clickhouse-server/users.d/users.xml
    ports:
      - "127.0.0.1:8125:8123"
      - "127.0.0.1:9002:9000"
    depends_on:
      - clickhouse-keeper-01
      - clickhouse-keeper-02
      - clickhouse-keeper-03
  clickhouse-04:
    image: "clickhouse/clickhouse-server:latest"
    user: "101:101"
    container_name: clickhouse-04
    hostname: clickhouse-04
    volumes:
      - ${PWD}/fs/volumes/clickhouse-04/etc/clickhouse-server/config.d/config.xml:/etc/clickhouse-server/config.d/config.xml
      - ${PWD}/fs/volumes/clickhouse-04/etc/clickhouse-server/users.d/users.xml:/etc/clickhouse-server/users.d/users.xml
    ports:
      - "127.0.0.1:8126:8123"
      - "127.0.0.1:9003:9000"
    depends_on:
      - clickhouse-keeper-01
      - clickhouse-keeper-02
      - clickhouse-keeper-03
  clickhouse-keeper-01:
    image: "clickhouse/clickhouse-keeper:latest-alpine"
    user: "101:101"
    container_name: clickhouse-keeper-01
    hostname: clickhouse-keeper-01
    volumes:
      - ${PWD}/fs/volumes/clickhouse-keeper-01/etc/clickhouse-keeper/keeper_config.xml:/etc/clickhouse-keeper/keeper_config.xml
    ports:
      - "127.0.0.1:9181:9181"
  clickhouse-keeper-02:
    image: "clickhouse/clickhouse-keeper:latest-alpine"
    user: "101:101"
    container_name: clickhouse-keeper-02
    hostname: clickhouse-keeper-02
    volumes:
      - ${PWD}/fs/volumes/clickhouse-keeper-02/etc/clickhouse-keeper/keeper_config.xml:/etc/clickhouse-keeper/keeper_config.xml
    ports:
      - "127.0.0.1:9182:9181"
  clickhouse-keeper-03:
    image: "clickhouse/clickhouse-keeper:latest-alpine"
    user: "101:101"
    container_name: clickhouse-keeper-03
    hostname: clickhouse-keeper-03
    volumes:
      - ${PWD}/fs/volumes/clickhouse-keeper-03/etc/clickhouse-keeper/keeper_config.xml:/etc/clickhouse-keeper/keeper_config.xml
    ports:
      - "127.0.0.1:9183:9181"

以下のサブディレクトリとファイルを作成します。

for i in {01..04}; do
  mkdir -p fs/volumes/clickhouse-${i}/etc/clickhouse-server/config.d
  mkdir -p fs/volumes/clickhouse-${i}/etc/clickhouse-server/users.d
  touch fs/volumes/clickhouse-${i}/etc/clickhouse-server/config.d/config.xml
  touch fs/volumes/clickhouse-${i}/etc/clickhouse-server/users.d/users.xml
done

config.d ディレクトリには、ClickHouse server の構成ファイル config.xml が含まれており、ここで各 ClickHouse ノード用のカスタム構成を定義します。この構成は、すべての ClickHouse インストールに含まれるデフォルトの config.xml 構成ファイルと組み合わされます。
users.d ディレクトリにはユーザー構成ファイル users.xml が含まれており、ここでユーザーごとのカスタム構成を定義します。この構成は、すべての ClickHouse インストールに含まれるデフォルトの users.xml 構成ファイルと組み合わされます。

カスタム構成ディレクトリ独自の構成を記述する場合は、/etc/clickhouse-server/config.xml および etc/clickhouse-server/users.xml のデフォルト構成を直接変更するのではなく、config.d と users.d ディレクトリを使用することをベストプラクティスとして推奨します。次の行

<clickhouse replace="true">

により、config.d および users.d ディレクトリで定義した構成セクションが、デフォルトの config.xml および users.xml ファイルで定義された構成セクションを上書きするようになります。

ClickHouseノードの設定

サーバーのセットアップ

次に、fs/volumes/clickhouse-{}/etc/clickhouse-server/config.d にある空の設定ファイル config.xml をそれぞれ編集します。以下でハイライトされている行は、各ノードに固有の値に変更する必要があります。

<clickhouse replace="true">
    <logger>
        <level>debug</level>
        <log>/var/log/clickhouse-server/clickhouse-server.log</log>
        <errorlog>/var/log/clickhouse-server/clickhouse-server.err.log</errorlog>
        <size>1000M</size>
        <count>3</count>
    </logger>
    <display_name>cluster_2S_2R node 1</display_name>
    <listen_host>0.0.0.0</listen_host>
    <http_port>8123</http_port>
    <tcp_port>9000</tcp_port>
    <user_directories>
        <users_xml>
            <path>users.xml</path>
        </users_xml>
        <local_directory>
            <path>/var/lib/clickhouse/access/</path>
        </local_directory>
    </user_directories>
    <distributed_ddl>
        <path>/clickhouse/task_queue/ddl</path>
    </distributed_ddl>
    <remote_servers>
        <cluster_2S_2R>
            <shard>
                <internal_replication>true</internal_replication>
                <replica>
                    <host>clickhouse-01</host>
                    <port>9000</port>
                </replica>
                <replica>
                    <host>clickhouse-03</host>
                    <port>9000</port>
                </replica>
            </shard>
            <shard>
                <internal_replication>true</internal_replication>
                <replica>
                    <host>clickhouse-02</host>
                    <port>9000</port>
                </replica>
                <replica>
                    <host>clickhouse-04</host>
                    <port>9000</port>
                </replica>
            </shard>
        </cluster_2S_2R>
    </remote_servers>
    <zookeeper>
        <node>
            <host>clickhouse-keeper-01</host>
            <port>9181</port>
        </node>
        <node>
            <host>clickhouse-keeper-02</host>
            <port>9181</port>
        </node>
        <node>
            <host>clickhouse-keeper-03</host>
            <port>9181</port>
        </node>
    </zookeeper>
    <macros>
        <shard>01</shard>
        <replica>01</replica>
    </macros>
</clickhouse>

ディレクトリ	File
`fs/volumes/clickhouse-01/etc/clickhouse-server/config.d`	`config.xml`
`fs/volumes/clickhouse-02/etc/clickhouse-server/config.d`	`config.xml`
`fs/volumes/clickhouse-03/etc/clickhouse-server/config.d`	`config.xml`
`fs/volumes/clickhouse-04/etc/clickhouse-server/config.d`	`config.xml`

上記の設定ファイルの各セクションについて、以下で詳しく説明します。

ネットワークとログ

ネットワークインターフェイスで外部からの通信を有効にするには、listen host 設定を有効化します。これにより、ClickHouse server のホストに他のホストからアクセスできるようになります:

<listen_host>0.0.0.0</listen_host>

HTTP API のポートは 8123 に設定されています。

<http_port>8123</http_port>

clickhouse-client や他のネイティブ ClickHouse ツール、ならびに clickhouse-server と他の clickhouse-servers の間で ClickHouse のネイティブプロトコルによる通信に使用される TCP ポートは、9000 に設定されています。

<tcp_port>9000</tcp_port>

ロギング設定は <logger> ブロックで定義します。以下の設定例では、1000M に達すると最大3回ロールオーバーするデバッグログが設定されます。

<logger>
   <level>debug</level>
   <log>/var/log/clickhouse-server/clickhouse-server.log</log>
   <errorlog>/var/log/clickhouse-server/clickhouse-server.err.log</errorlog>
   <size>1000M</size>
   <count>3</count>
</logger>

ロギング設定の詳細については、デフォルトの ClickHouse 設定ファイルに含まれるコメントを参照してください。

クラスターの設定

クラスターの設定は <remote_servers> ブロックで行います。ここでクラスター名 cluster_2S_2R を定義します。<cluster_2S_2R></cluster_2S_2R> ブロックは、<shard></shard> および <replica></replica> の設定を使用してクラスターのレイアウトを定義し、ON CLUSTER 句を使用してクラスター全体で実行される distributed DDL クエリのテンプレートとして機能します。デフォルトでは distributed DDL クエリは許可されていますが、allow_distributed_ddl_queries 設定で無効にすることもできます。internal_replication を true に設定することで、データはいずれか1つのレプリカにのみ書き込まれます。

<remote_servers>
   <!-- cluster name (should not contain dots) -->
  <cluster_2S_2R>
      <!-- <allow_distributed_ddl_queries>false</allow_distributed_ddl_queries> -->
      <shard>
          <!-- Optional. Whether to write data to just one of the replicas. Default: false (write data to all replicas). -->
          <internal_replication>true</internal_replication>
          <replica>
              <host>clickhouse-01</host>
              <port>9000</port>
          </replica>
          <replica>
              <host>clickhouse-03</host>
              <port>9000</port>
          </replica>
      </shard>
      <shard>
          <internal_replication>true</internal_replication>
          <replica>
              <host>clickhouse-02</host>
              <port>9000</port>
          </replica>
          <replica>
              <host>clickhouse-04</host>
              <port>9000</port>
          </replica>
      </shard>
  </cluster_2S_2R>
</remote_servers>

<cluster_2S_2R></cluster_2S_2R> セクションはクラスターのレイアウトを定義し、ON CLUSTER 句を使用してクラスター全体で実行される分散 DDL クエリのテンプレートとして機能します。

Keeper configuration

<ZooKeeper> セクションでは、ClickHouse Keeper (または ZooKeeper) の実行場所を ClickHouse に指定します。 ClickHouse Keeper クラスターを使用する場合、クラスター内の各 <node> を指定する必要があります。ホスト名とポート番号はそれぞれ <host> タグと <port> タグで指定します。ClickHouse Keeper のセットアップについては、チュートリアルの次のステップで説明します。

<zookeeper>
    <node>
        <host>clickhouse-keeper-01</host>
        <port>9181</port>
    </node>
    <node>
        <host>clickhouse-keeper-02</host>
        <port>9181</port>
    </node>
    <node>
        <host>clickhouse-keeper-03</host>
        <port>9181</port>
    </node>
</zookeeper>

ClickHouse Keeper を ClickHouse Server と同じサーバーで実行することも可能ですが、本番環境では、ClickHouse Keeper は専用ホストで実行することを強く推奨します。

マクロの設定

また、<macros> セクションはレプリケートテーブル向けのパラメータ置換を定義するために使用されます。これらは system.macros に一覧表示され、クエリ内で {shard} や {replica} などの置換を利用できます。

<macros>
   <shard>01</shard>
   <replica>01</replica>
</macros>

ユーザー設定

次に、fs/volumes/clickhouse-{}/etc/clickhouse-server/users.d にある空の設定ファイル users.xml をそれぞれ以下の内容に変更します。

/users.d/users.xml

<?xml version="1.0"?>
<clickhouse replace="true">
    <profiles>
        <default>
            <max_memory_usage>10000000000</max_memory_usage>
            <use_uncompressed_cache>0</use_uncompressed_cache>
            <load_balancing>in_order</load_balancing>
            <log_queries>1</log_queries>
        </default>
    </profiles>
    <users>
        <default>
            <access_management>1</access_management>
            <profile>default</profile>
            <networks>
                <ip>::/0</ip>
            </networks>
            <quota>default</quota>
            <access_management>1</access_management>
            <named_collection_control>1</named_collection_control>
            <show_named_collections>1</show_named_collections>
            <show_named_collections_secrets>1</show_named_collections_secrets>
        </default>
    </users>
    <quotas>
        <default>
            <interval>
                <duration>3600</duration>
                <queries>0</queries>
                <errors>0</errors>
                <result_rows>0</result_rows>
                <read_rows>0</read_rows>
                <execution_time>0</execution_time>
            </interval>
        </default>
    </quotas>
</clickhouse>

この例では、簡略化のためにdefault userをパスワードなしで設定しています。実際の運用では、この設定は推奨されません。

この例では、users.xml ファイルはクラスター内のすべてのノードで同一です。

ClickHouse Keeper を設定する

次に、協調に使用する ClickHouse Keeper を設定します。

Keeper のセットアップ

レプリケーションを機能させるには、ClickHouse Keeper クラスターをセットアップして設定する必要があります。ClickHouse Keeper はデータレプリケーションのための調整システムを提供し、ZooKeeper の代替として動作します。ZooKeeper を使用することも可能ですが、より優れた保証と信頼性を備え、 ZooKeeper よりも少ないリソースで動作するため、ClickHouse Keeper の使用が推奨されます。高可用性を確保し、クォーラムを維持するため、少なくとも 3 台の ClickHouse Keeper ノードを実行することを推奨します。

ClickHouse Keeper は、ClickHouse と併せてクラスター内の任意のノードで実行できますが、スケーリングや ClickHouse Keeper クラスターの管理をデータベースクラスターから独立して行えるため、専用ノードで実行することを推奨します。

各 ClickHouse Keeper ノード用の keeper_config.xml ファイルを、 example フォルダーのルートで次のコマンドを使用して作成します。

for i in {01..03}; do
  touch fs/volumes/clickhouse-keeper-${i}/etc/clickhouse-keeper/keeper_config.xml
done

各ノードディレクトリ fs/volumes/clickhouse-keeper-{}/etc/clickhouse-keeper に作成された空の設定ファイルを編集します。以下で強調表示されている行は、各ノードごとに対応する内容へ変更する必要があります。

/clickhouse-keeper/keeper_config.xml

<clickhouse replace="true">
    <logger>
        <level>information</level>
        <log>/var/log/clickhouse-keeper/clickhouse-keeper.log</log>
        <errorlog>/var/log/clickhouse-keeper/clickhouse-keeper.err.log</errorlog>
        <size>1000M</size>
        <count>3</count>
    </logger>
    <listen_host>0.0.0.0</listen_host>
    <keeper_server>
        <tcp_port>9181</tcp_port>
        <server_id>1</server_id>
        <log_storage_path>/var/lib/clickhouse/coordination/log</log_storage_path>
        <snapshot_storage_path>/var/lib/clickhouse/coordination/snapshots</snapshot_storage_path>
        <coordination_settings>
            <operation_timeout_ms>10000</operation_timeout_ms>
            <session_timeout_ms>30000</session_timeout_ms>
            <raft_logs_level>information</raft_logs_level>
        </coordination_settings>
        <raft_configuration>
            <server>
                <id>1</id>
                <hostname>clickhouse-keeper-01</hostname>
                <port>9234</port>
            </server>
            <server>
                <id>2</id>
                <hostname>clickhouse-keeper-02</hostname>
                <port>9234</port>
            </server>
            <server>
                <id>3</id>
                <hostname>clickhouse-keeper-03</hostname>
                <port>9234</port>
            </server>
        </raft_configuration>
    </keeper_server>
</clickhouse>

ディレクトリ	ファイル
`fs/volumes/clickhouse-keeper-01/etc/clickhouse-keeper`	`keeper_config.xml`
`fs/volumes/clickhouse-keeper-02/etc/clickhouse-keeper`	`keeper_config.xml`
`fs/volumes/clickhouse-keeper-03/etc/clickhouse-keeper`	`keeper_config.xml`

各設定ファイルには、次のような固有の設定 (以下参照) を含めます。使用する server_id は、クラスター内の該当する ClickHouse Keeper ノードごとに一意であり、 <raft_configuration> セクションで定義されたサーバーの <id> と一致している必要があります。 tcp_port は、ClickHouse Keeper のクライアントが使用するポートです。

<tcp_port>9181</tcp_port>
<server_id>{id}</server_id>

次のセクションでは、 Raftコンセンサスアルゴリズムのクォーラムに参加するサーバーを設定します。

<raft_configuration>
    <server>
        <id>1</id>
        <hostname>clickhouse-keeper-01</hostname>
        <!-- ClickHouse Keeperノード間の通信に使用するTCPポート -->
        <port>9234</port>
    </server>
    <server>
        <id>2</id>
        <hostname>clickhouse-keeper-02</hostname>
        <port>9234</port>
    </server>
    <server>
        <id>3</id>
        <hostname>clickhouse-keeper-03</hostname>
        <port>9234</port>
    </server>
</raft_configuration>

ClickHouse Cloud なら管理がシンプルになりますClickHouse Cloud を利用すると、分片やレプリカの管理に伴う運用負荷を軽減できます。このプラットフォームでは、高可用性、レプリケーション、スケーリングに関する処理が自動的に行われます。コンピュートとストレージは分離されており、手動での設定や継続的な保守を必要とせず、需要に応じてスケールします。詳細はこちら

セットアップをテストする

お使いのマシンで Docker が起動していることを確認してください。 cluster_2S_2R ディレクトリのルートで docker-compose up コマンドを実行して、クラスターを起動します。

docker-compose up -d

docker が ClickHouse と Keeper のイメージのプルを開始し、続いてコンテナーを起動するはずです:

[+] Running 8/8
 ✔ Network   cluster_2s_2r_default     Created
 ✔ Container clickhouse-keeper-03      Started
 ✔ Container clickhouse-keeper-02      Started
 ✔ Container clickhouse-keeper-01      Started
 ✔ Container clickhouse-01             Started
 ✔ Container clickhouse-02             Started
 ✔ Container clickhouse-04             Started
 ✔ Container clickhouse-03             Started

クラスターが稼働中であることを確認するには、いずれかのノードに接続し、次のクエリを実行します。最初のノードに接続するコマンドを以下に示します。

# Connect to any node
docker exec -it clickhouse-01 clickhouse-client

成功すると、ClickHouse clientのプロンプトが表示されます：

cluster_2S_2R node 1 :)

次のクエリを実行して、どのホストにどのクラスターのトポロジーが定義されているかを確認します。

Query

SELECT 
    cluster,
    shard_num,
    replica_num,
    host_name,
    port
FROM system.clusters;

Response

   ┌─cluster───────┬─shard_num─┬─replica_num─┬─host_name─────┬─port─┐
│ cluster_2S_2R │         1 │           1 │ clickhouse-01 │ 9000 │
│ cluster_2S_2R │         1 │           2 │ clickhouse-03 │ 9000 │
│ cluster_2S_2R │         2 │           1 │ clickhouse-02 │ 9000 │
│ cluster_2S_2R │         2 │           2 │ clickhouse-04 │ 9000 │
│ default       │         1 │           1 │ localhost     │ 9000 │
   └───────────────┴───────────┴─────────────┴───────────────┴──────┘

次のクエリを実行して、ClickHouse Keeperクラスターの状態を確認します。

Query

SELECT *
FROM system.zookeeper
WHERE path IN ('/', '/clickhouse')

Response

   ┌─name───────┬─value─┬─path────────┐
1. │ task_queue │       │ /clickhouse │
2. │ sessions   │       │ /clickhouse │
3. │ keeper     │       │ /           │
4. │ clickhouse │       │ /           │
   └────────────┴───────┴─────────────┘

mntr コマンドは、ClickHouse Keeper が稼働していることを確認し、 3 つの Keeper ノード間の関係に関する状態情報を取得するためにも一般的に使用されます。この例で使用する構成では、3 つのノードが連携して動作します。ノードは leader を選出し、残りのノードは followers になります。mntr コマンドでは、パフォーマンスに関する情報に加え、特定のノードが follower か leader かも確認できます。

mntr コマンドを Keeper に送信するには、netcat のインストールが必要になる場合があります。ダウンロード方法については、nmap.org のページを参照してください。

以下のコマンドを clickhouse-keeper-01、clickhouse-keeper-02、および clickhouse-keeper-03 のシェルで実行し、各 Keeper ノードのステータスを確認します。clickhouse-keeper-01 で実行するコマンドを以下に示します。

docker exec -it clickhouse-keeper-01  /bin/sh -c 'echo mntr | nc 127.0.0.1 9181'

以下は、フォロワーノードからのレスポンス例です。

Response

zk_version      v23.3.1.2823-testing-46e85357ce2da2a99f56ee83a079e892d7ec3726
zk_avg_latency  0
zk_max_latency  0
zk_min_latency  0
zk_packets_received     0
zk_packets_sent 0
zk_num_alive_connections        0
zk_outstanding_requests 0
zk_server_state follower
zk_znode_count  6
zk_watch_count  0
zk_ephemerals_count     0
zk_approximate_data_size        1271
zk_key_arena_size       4096
zk_latest_snapshot_size 0
zk_open_file_descriptor_count   46
zk_max_file_descriptor_count    18446744073709551615

以下は、リーダーノードからのレスポンス例です:

Response

zk_version      v23.3.1.2823-testing-46e85357ce2da2a99f56ee83a079e892d7ec3726
zk_avg_latency  0
zk_max_latency  0
zk_min_latency  0
zk_packets_received     0
zk_packets_sent 0
zk_num_alive_connections        0
zk_outstanding_requests 0
zk_server_state leader
zk_znode_count  6
zk_watch_count  0
zk_ephemerals_count     0
zk_approximate_data_size        1271
zk_key_arena_size       4096
zk_latest_snapshot_size 0
zk_open_file_descriptor_count   48
zk_max_file_descriptor_count    18446744073709551615
zk_followers    2
zk_synced_followers     2

これで、2 つの分片と 2 つのレプリカを持つ ClickHouse クラスターのセットアップは正常に完了しました。次のステップでは、クラスター内にテーブルを作成します。

データベースを作成する

クラスターが正しくセットアップされ、稼働中であることを確認できたので、UK property prices のサンプルデータセットのチュートリアルで使用したものと同じテーブルを再作成します。これには、1995 年以降のイングランドとウェールズの不動産取引価格に関する約 3,000 万行のデータが含まれています。それぞれ別のターミナルのタブまたはウィンドウで次の各コマンドを実行し、各ホストのクライアントに接続します:

docker exec -it clickhouse-01 clickhouse-client
docker exec -it clickhouse-02 clickhouse-client
docker exec -it clickhouse-03 clickhouse-client
docker exec -it clickhouse-04 clickhouse-client

各ホストの clickhouse-client から以下のクエリを実行すると、デフォルトのデータベースを除き、まだデータベースが作成されていないことを確認できます:

Query

SHOW DATABASES;

Response

   ┌─name───────────────┐
1. │ INFORMATION_SCHEMA │
2. │ default            │
3. │ information_schema │
4. │ system             │
   └────────────────────┘

clickhouse-01 クライアントから、ON CLUSTER 句を使用して uk という新しいデータベースを作成する次の分散DDLクエリを実行します:

CREATE DATABASE IF NOT EXISTS uk 
ON CLUSTER cluster_2S_2R;

各ホストのクライアントから、先ほどと同じクエリをもう一度実行すると、クエリを clickhouse-01 からしか実行していなくても、データベースがクラスター全体に作成されていることを確認できます:

SHOW DATABASES;

   ┌─name───────────────┐
│ INFORMATION_SCHEMA │
│ default            │
│ information_schema │
│ system             │
│ uk                 │
   └────────────────────┘

クラスター上にテーブルを作成する

データベースを作成したら、次はレプリケーション対応のテーブルを作成します。以下のクエリを、いずれかのホストクライアントで実行します。

CREATE TABLE IF NOT EXISTS uk.uk_price_paid_local
ON CLUSTER cluster_2S_2R
(
    price UInt32,
    date Date,
    postcode1 LowCardinality(String),
    postcode2 LowCardinality(String),
    type Enum8('terraced' = 1, 'semi-detached' = 2, 'detached' = 3, 'flat' = 4, 'other' = 0),
    is_new UInt8,
    duration Enum8('freehold' = 1, 'leasehold' = 2, 'unknown' = 0),
    addr1 String,
    addr2 String,
    street LowCardinality(String),
    locality LowCardinality(String),
    town LowCardinality(String),
    district LowCardinality(String),
    county LowCardinality(String)
)
ENGINE = ReplicatedMergeTree('/clickhouse/tables/{database}/{table}/{shard}', '{replica}')
ORDER BY (postcode1, postcode2, addr1, addr2);

これは、元の CREATE ステートメントで使用されているクエリ UK property prices のサンプルデータセットチュートリアルと同一で、 ON CLUSTER 句と ReplicatedMergeTree エンジンの使用を除けば同じです。ON CLUSTER 句は、CREATE、DROP、ALTER、RENAME などの DDL (Data Definition Language) クエリを分散実行するためのもので、これらのスキーマ変更がクラスター内のすべてのノードに適用されるようにします。ReplicatedMergeTree エンジンは通常の MergeTree テーブルエンジンと同様に動作しますが、データもレプリケーションします。これには 2 つのパラメーターを指定する必要があります。

zoo_path: テーブルのメタデータに対する Keeper/ZooKeeper のパス。
replica_name: テーブルのレプリカ名。

zoo_path パラメーターには任意の値を設定できますが、プレフィックスを使用するという慣例に従うことをお勧めします

/clickhouse/tables/{shard}/{database}/{table}

ここで:

{database} と {table} は自動的に置き換えられます。
{shard} と {replica} は、各 ClickHouse ノードの config.xml ファイルであらかじめ定義されたマクロです。

テーブルがクラスター全体で作成されていることを確認するには、以下のクエリを各ホストのクライアントで実行できます。

Query

SHOW TABLES IN uk;

Response

   ┌─name────────────────┐
1. │ uk_price_paid_local │
   └─────────────────────┘

分散テーブルにデータを挿入する

テーブルにデータを挿入する際、ON CLUSTER は INSERT、UPDATE、DELETE などの DML (Data Manipulation Language) クエリには適用されないため、使用できません。データを挿入するには、 Distributed テーブルエンジンを利用する必要があります。 2 分片・1 レプリカのクラスターをセットアップするガイドで学んだように、分散テーブルは異なるホスト上にある分片にアクセスできるテーブルで、Distributed テーブルエンジンを使って定義されます。分散テーブルは、クラスター内のすべての分片をまたぐインターフェイスとして機能します。どのホストのクライアントからでも、次のクエリを実行して、前のステップで作成した既存のレプリケートテーブルを使用する分散テーブルを作成します。

CREATE TABLE IF NOT EXISTS uk.uk_price_paid_distributed
ON CLUSTER cluster_2S_2R
ENGINE = Distributed('cluster_2S_2R', 'uk', 'uk_price_paid_local', rand());

各ホストで、ukデータベースに次のテーブルが表示されるようになります。

   ┌─name──────────────────────┐
1. │ uk_price_paid_distributed │
2. │ uk_price_paid_local       │
   └───────────────────────────┘

データは、以下のクエリを使用して、どのホストクライアントからでも uk_price_paid_distributed テーブルに挿入できます。

INSERT INTO uk.uk_price_paid_distributed
SELECT
    toUInt32(price_string) AS price,
    parseDateTimeBestEffortUS(time) AS date,
    splitByChar(' ', postcode)[1] AS postcode1,
    splitByChar(' ', postcode)[2] AS postcode2,
    transform(a, ['T', 'S', 'D', 'F', 'O'], ['terraced', 'semi-detached', 'detached', 'flat', 'other']) AS type,
    b = 'Y' AS is_new,
    transform(c, ['F', 'L', 'U'], ['freehold', 'leasehold', 'unknown']) AS duration,
    addr1,
    addr2,
    street,
    locality,
    town,
    district,
    county
FROM url(
    'http://prod1.publicdata.landregistry.gov.uk.s3-website-eu-west-1.amazonaws.com/pp-complete.csv',
    'CSV',
    'uuid_string String,
    price_string String,
    time String,
    postcode String,
    a String,
    b String,
    c String,
    addr1 String,
    addr2 String,
    street String,
    locality String,
    town String,
    district String,
    county String,
    d String,
    e String'
) SETTINGS max_http_get_redirects=10;

以下のクエリを実行し、挿入されたデータがクラスター内の各ノードに均等に分散されていることを確認します。

SELECT count(*)
FROM uk.uk_price_paid_distributed;

SELECT count(*) FROM uk.uk_price_paid_local;

   ┌──count()─┐
1. │ 30212555 │ -- 30.21 million
   └──────────┘

   ┌──count()─┐
1. │ 15105983 │ -- 15.11 million
   └──────────┘

結論

2 つの分片と 2 つのレプリカを持つこのクラスター構成の利点は、スケーラビリティと耐障害性の両方を備えていることです。データは別々のホストに分散されるため、各ノードのストレージおよび I/O の負荷を抑えられます。また、クエリは両方の分片にまたがって並列に処理されるため、パフォーマンスとメモリ効率が向上します。特に重要なのは、各分片に別のノード上のバックアップ用レプリカがあるため、1 台のノードが失われてもクラスターは中断することなくクエリを処理し続けられることです。このクラスター構成の主な欠点は、ストレージのオーバーヘッドが増えることです。各分片が複製されるため、レプリカのない構成に比べて 2 倍のストレージ容量が必要になります。さらに、このクラスターは 1 台のノードの障害には耐えられる一方で、どのノードで障害が発生するかや、分片がどのように分散されているかによっては、2 台のノードが同時に失われると動作不能になる可能性があります。この構成は可用性とコストのバランスが取れており、より高いレプリケーション係数のコストをかけずに、一定レベルの耐障害性が求められる本番環境に適しています。 ClickHouse Cloud がスケーラビリティと耐障害性の両方を実現しながらどのようにクエリを処理するかについては、“並列レプリカ” のセクションを参照してください。

​前提条件

​サーバーのセットアップ

​ネットワークとログ

​クラスターの設定

​Keeper configuration

​マクロの設定

​ユーザー設定

​Keeper のセットアップ

​結論

前提条件

サーバーのセットアップ

ネットワークとログ

クラスターの設定

Keeper configuration

マクロの設定

ユーザー設定

Keeper のセットアップ

結論