MySQLテーブルエンジン

MySQLエンジンを使用すると、リモートのMySQLサーバーに保存されているデータに対して、SELECT クエリや INSERT クエリを実行できます。

テーブルを作成する

CREATE TABLE [IF NOT EXISTS] [db.]table_name [ON CLUSTER cluster]
(
    name1 [type1] [DEFAULT|MATERIALIZED|ALIAS expr1],
    name2 [type2] [DEFAULT|MATERIALIZED|ALIAS expr2],
    ...
) ENGINE = MySQL({host:port, database, table, user, password[, replace_query, on_duplicate_clause] | named_collection[, option=value [,..]]})
SETTINGS
    [ connection_pool_size=16, ]
    [ connection_max_tries=3, ]
    [ connection_wait_timeout=5, ]
    [ connection_auto_close=true, ]
    [ connect_timeout=10, ]
    [ read_write_timeout=300, ]
    [ enable_compression=false ]
;

CREATE TABLE クエリの詳細な説明を参照してください。テーブルの構造は、元の MySQL テーブルの構造と異なる場合があります。

カラム名は元の MySQL テーブルと同じである必要がありますが、それらの一部のカラムだけを任意の順序で使用できます。
カラムの型は、元の MySQL テーブルのものと異なっていてもかまいません。ClickHouse は値を ClickHouse のデータ型に cast しようとします。
external_table_functions_use_nulls 設定は、Nullable カラムをどのように処理するかを定義します。デフォルト値: 1。0 の場合、このテーブル関数は Nullable カラムを作成せず、null の代わりにデフォルト値を挿入します。これは配列内の NULL 値にも適用されます。

エンジンパラメータ

host:port — MySQL サーバーのアドレス。
database — リモートのデータベース名。
table — リモートテーブル名、またはそのまま MySQL に渡されるクエリです (テーブル名の代わりにクエリを渡すを参照) 。
user — MySQL ユーザー。
password — ユーザーのパスワード。
replace_query — INSERT INTO クエリを REPLACE INTO に変換するフラグです。replace_query=1 の場合、クエリが置き換えられます。
on_duplicate_clause — INSERT クエリに追加される ON DUPLICATE KEY on_duplicate_clause 式です。例: INSERT INTO t (c1,c2) VALUES ('a', 2) ON DUPLICATE KEY UPDATE c2 = c2 + 1。この場合、on_duplicate_clause は UPDATE c2 = c2 + 1 です。ON DUPLICATE KEY 句で使用できる on_duplicate_clause については、MySQL documentation を参照してください。 on_duplicate_clause を指定するには、replace_query パラメータに 0 を渡す必要があります。replace_query = 1 と on_duplicate_clause を同時に渡すと、ClickHouse は例外を生成します。

引数は名前付きコレクションを使用して渡すこともできます。この場合、host と port は別々に指定する必要があります。この方法は本番環境に推奨されます。 =, !=, >, >=, <, <= のような単純な WHERE 句は MySQL サーバー上で実行されます。それ以外の条件と LIMIT サンプリング制約は、MySQL へのクエリが完了した後にのみ ClickHouse で実行されます。

テーブル名の代わりにクエリを渡す

テーブル名の代わりに、table 引数には MySQL にそのまま渡される SELECT クエリを指定できます。テーブルの構造はクエリの結果から推論されます。クエリは、サブクエリとして記述することも、query 関数でラップすることもできます。

CREATE TABLE mysql_table ENGINE = MySQL('localhost:3306', 'test', (SELECT a, b FROM t1 JOIN t2 USING (id) WHERE a > 0), 'user', 'password');
CREATE TABLE mysql_table ENGINE = MySQL('localhost:3306', 'test', query('SELECT a, b FROM t1 JOIN t2 USING (id) WHERE a > 0'), 'user', 'password');

これは、JOIN、集計、その他のあらゆる処理を MySQL にプッシュダウンする際に役立ちます。このようなテーブルは読み取り専用であり、これに INSERT することはできません。同じ構文は mysql テーブル関数でもサポートされています。

サブクエリ形式 (SELECT ...) は ClickHouse によって解析され、サーバーに送信される前に MySQL の SQL方言 (Identifier をバッククォートで囲む形式) で再シリアライズされます。したがって、有効な ClickHouse SQL である必要があります。ClickHouse が解析しない MySQL 固有の構文を渡すには、query('...') 形式を使用してください。この場合、テキストはそのまま MySQL に送信されます。外側の WHERE、LIMIT、集計など、周囲の ClickHouse クエリの要素は、渡されたクエリにはプッシュダウンされません。これらは完全なクエリ結果を取得した後に ClickHouse で適用されます。MySQL から読み取るデータを制限するには、フィルタを渡すクエリ内に記述してください。external_table_strict_query = 1 を指定すると、プッシュダウンできない外側のフィルタはローカルで適用される代わりに、例外として拒否されます。

| で列挙する必要がある複数のレプリカをサポートしています。例:

CREATE TABLE test_replicas (id UInt32, name String, age UInt32, money UInt32) ENGINE = MySQL(`mysql{2|3|4}:3306`, 'clickhouse', 'test_replicas', 'root', 'clickhouse');

使用例

MySQLでテーブルを作成します。

mysql> CREATE TABLE `test`.`test` (
    ->   `int_id` INT NOT NULL AUTO_INCREMENT,
    ->   `int_nullable` INT NULL DEFAULT NULL,
    ->   `float` FLOAT NOT NULL,
    ->   `float_nullable` FLOAT NULL DEFAULT NULL,
    ->   PRIMARY KEY (`int_id`));
Query OK, 0 rows affected (0,09 sec)

mysql> insert into test (`int_id`, `float`) VALUES (1,2);
Query OK, 1 row affected (0,00 sec)

mysql> select * from test;
+------+----------+-----+----------+
| int_id | int_nullable | float | float_nullable |
+------+----------+-----+----------+
|      1 |         NULL |     2 |           NULL |
+------+----------+-----+----------+
1 row in set (0,00 sec)

通常の引数を使って ClickHouse にテーブルを作成します:

CREATE TABLE mysql_table
(
    `float_nullable` Nullable(Float32),
    `int_id` Int32
)
ENGINE = MySQL('localhost:3306', 'test', 'test', 'bayonet', '123')

または、名前付きコレクションを使用することもできます:

CREATE NAMED COLLECTION creds AS
        host = 'localhost',
        port = 3306,
        database = 'test',
        user = 'bayonet',
        password = '123';
CREATE TABLE mysql_table
(
    `float_nullable` Nullable(Float32),
    `int_id` Int32
)
ENGINE = MySQL(creds, table='test')

MySQLテーブルからデータを取得する:

SELECT * FROM mysql_table

┌─float_nullable─┬─int_id─┐
│           ᴺᵁᴸᴸ │      1 │
└────────────────┴────────┘

設定

既定の設定は接続の再利用すら行わないため、あまり効率的ではありません。これらの設定により、サーバーが 1 秒あたりに実行できるクエリ数を増やせます。

`connection_auto_close`

クエリの実行後に接続を自動的に閉じるようにします。つまり、接続の再利用を無効にします。設定可能な値:

1 — 接続の自動クローズが許可され、接続の再利用は無効になります
0 — 接続の自動クローズは許可されず、接続の再利用は有効になります

デフォルト値: 1。

`connection_max_tries`

フェイルオーバー対応のプールに対する再試行回数を設定します。設定可能な値:

正の整数。
0 — フェイルオーバー対応のプールでは再試行しません。

デフォルト値: 3。

`connection_pool_size`

接続プールのサイズです (すべての接続が使用中の場合、いずれかの接続が空くまでクエリは待機します) 。設定可能な値:

正の整数。

デフォルト値: 16。

`connection_wait_timeout`

空き接続を待機する際のタイムアウト (秒単位) です (すでに connection_pool_size 個の接続がアクティブな場合) 。0 の場合は待機しません。設定可能な値:

正の整数。

デフォルト値: 5。

`connect_timeout`

接続タイムアウト (秒単位) 。設定可能な値:

正の整数。

デフォルト値: 10。

`read_write_timeout`

読み取り/書き込みのタイムアウト (秒) 。設定可能な値:

正の整数。

デフォルト値: 300。

`enable_compression`

MySQLプロトコル接続で圧縮を有効にします。デフォルト値: false。この設定は次に適用されます:

MySQL テーブルエンジン;
MySQL データベースエンジン;
mysql テーブル関数;
MySQLインテグレーションで使用される名前付きコレクション。

有効にすると、ClickHouse はその接続に対して圧縮を要求します。例:

CREATE TABLE mysql_engine_compression
(
    id UInt32,
    name String,
    age UInt32,
    money UInt32
)
ENGINE = MySQL('mysql80:3306', 'clickhouse', 'test_table', 'root', 'password')
SETTINGS enable_compression = 1;

SQLリファレンス

テーブルを作成する

テーブル名の代わりにクエリを渡す

使用例

設定

`connection_auto_close`

`connection_max_tries`

`connection_pool_size`

`connection_wait_timeout`

`connect_timeout`

`read_write_timeout`

`enable_compression`

関連項目

​テーブルを作成する

​テーブル名の代わりにクエリを渡す

​使用例

​設定

​connection_auto_close

​connection_max_tries

​connection_pool_size

​connection_wait_timeout

​connect_timeout

​read_write_timeout

​enable_compression

​関連項目

テーブルを作成する

テーブル名の代わりにクエリを渡す

使用例

設定

`connection_auto_close`

`connection_max_tries`

`connection_pool_size`

`connection_wait_timeout`

`connect_timeout`

`read_write_timeout`

`enable_compression`

関連項目