mysql - ClickHouse Documentation

リモートの MySQLサーバーに保存されているデータに対して、SELECT および INSERT クエリを実行できます。

構文

mysql({host:port, database, table, user, password[, replace_query, on_duplicate_clause] | named_collection[, option=value [,..]]})

引数

引数	説明
`host:port`	MySQLサーバーのアドレス。
`database`	リモートデータベース名。
`table`	リモートテーブル名、またはそのまま MySQL に渡されるクエリ (テーブル名の代わりにクエリを渡すを参照)。
`user`	MySQLユーザー。
`password`	ユーザーのパスワード。
`replace_query`	`INSERT INTO` クエリを `REPLACE INTO` に変換するフラグ。設定可能な値: - `0` - クエリは `INSERT INTO` として実行されます。 - `1` - クエリは `REPLACE INTO` として実行されます。
`on_duplicate_clause`	`INSERT` クエリに追加される `ON DUPLICATE KEY on_duplicate_clause` 式。指定できるのは `replace_query = 0` の場合のみです (`replace_query = 1` と `on_duplicate_clause` を同時に指定すると、ClickHouse で例外が発生します)。例: `INSERT INTO t (c1,c2) VALUES ('a', 2) ON DUPLICATE KEY UPDATE c2 = c2 + 1;` ここでの `on_duplicate_clause` は `UPDATE c2 = c2 + 1` です。`ON DUPLICATE KEY` 句で使用できる `on_duplicate_clause` については、MySQL のドキュメントを参照してください。

引数は名前付きコレクションを使用して渡すこともできます。この場合、host と port は別々に指定する必要があります。本番環境ではこの方法を推奨します。 =, !=, >, >=, <, <= のような単純な WHERE 句は、現在 MySQLサーバー上で実行されます。それ以外の条件と LIMIT のサンプリング制約は、MySQL へのクエリの完了後にのみ ClickHouse で実行されます。

テーブル名の代わりにクエリを渡す

テーブル名の代わりに、3 番目の引数には、そのまま MySQL に渡される SELECT クエリを指定できます。結果として得られるテーブルの構造は、クエリ結果から推論されます。クエリは、サブクエリとして記述することも、query 関数でラップすることもできます。

SELECT * FROM mysql('localhost:3306', 'test', (SELECT a, b FROM t1 JOIN t2 USING (id) WHERE a > 0), 'user', 'password');
SELECT * FROM mysql('localhost:3306', 'test', query('SELECT a, b FROM t1 JOIN t2 USING (id) WHERE a > 0'), 'user', 'password');

これにより、JOIN、集計、そのほかの処理を MySQL にプッシュダウンできます。このようなテーブルは読み取り専用であり、INSERT はできません。同じ構文は MySQL テーブルエンジンでもサポートされています。

サブクエリ形式 (SELECT ...) は ClickHouse で解析され、サーバーに送信される前に MySQL の SQL方言 (Identifier をバッククォートで囲む形式) で再シリアライズされます。そのため、有効な ClickHouse SQL である必要があります。ClickHouse が解析しない MySQL 固有の構文を渡すには、query('...') 形式を使用してください。この形式では、テキストがそのまま MySQL に送信されます。渡したクエリに対して、外側の ClickHouse クエリにある WHERE、LIMIT、集計などがプッシュダウンされることはありません。これらは完全なクエリ結果を取得した後に ClickHouse 側で適用されます。MySQL から読み取るデータを絞り込むには、フィルターを渡すクエリの中に記述してください。external_table_strict_query = 1 を指定すると、プッシュダウンできない外側のフィルターはローカルで適用される代わりに、例外を返して拒否されます。

複数のレプリカをサポートしており、| で区切って指定する必要があります。例えば:

SELECT name FROM mysql(`mysql{1|2|3}:3306`, 'mysql_database', 'mysql_table', 'user', 'password');

または

SELECT name FROM mysql(`mysql1:3306|mysql2:3306|mysql3:3306`, 'mysql_database', 'mysql_table', 'user', 'password');

戻り値

元の MySQL テーブルと同じカラムを持つテーブルオブジェクトです。

MySQL の一部のデータ型は、複数の ClickHouse の型にマッピングされる場合があります。これはクエリレベルの設定 mysql_datatypes_support_level で制御されます。

INSERT クエリでは、テーブル関数 mysql(...) と、カラム名リスト付きのテーブル名を区別するために、キーワード FUNCTION または TABLE FUNCTION を使用する必要があります。以下の例を参照してください。

例

MySQLのテーブル:

mysql> CREATE TABLE `test`.`test` (
    ->   `int_id` INT NOT NULL AUTO_INCREMENT,
    ->   `float` FLOAT NOT NULL,
    ->   PRIMARY KEY (`int_id`));

mysql> INSERT INTO test (`int_id`, `float`) VALUES (1,2);

mysql> SELECT * FROM test;
+--------+-------+
| int_id | float |
+--------+-------+
|      1 |     2 |
+--------+-------+

ClickHouseからデータを取得する:

SELECT * FROM mysql('localhost:3306', 'test', 'test', 'bayonet', '123');

または、名前付きコレクションを使用する方法:

CREATE NAMED COLLECTION creds AS
        host = 'localhost',
        port = 3306,
        database = 'test',
        user = 'bayonet',
        password = '123';
SELECT * FROM mysql(creds, table='test');

┌─int_id─┬─float─┐
│      1 │     2 │
└────────┴───────┘

`enable_compression`

MySQLプロトコル接続の圧縮を有効にします。デフォルト値: false。この設定は次に適用されます:

mysql テーブル関数
MySQL テーブルエンジン
MySQL データベースエンジン
MySQLインテグレーションで使用される名前付きコレクション

有効にすると、ClickHouse は接続に対して圧縮を要求します。例:

SELECT *
FROM mysql(
    'mysql80:3306',
    'clickhouse',
    'test_table',
    'root',
    'password',
    SETTINGS enable_compression = 1
);

置換と挿入:

INSERT INTO FUNCTION mysql('localhost:3306', 'test', 'test', 'bayonet', '123', 1) (int_id, float) VALUES (1, 3);
INSERT INTO TABLE FUNCTION mysql('localhost:3306', 'test', 'test', 'bayonet', '123', 0, 'UPDATE int_id = int_id + 1') (int_id, float) VALUES (1, 4);
SELECT * FROM mysql('localhost:3306', 'test', 'test', 'bayonet', '123');

┌─int_id─┬─float─┐
│      1 │     3 │
│      2 │     4 │
└────────┴───────┘

MySQLテーブルからClickHouseテーブルへのデータコピー:

CREATE TABLE mysql_copy
(
   `id` UInt64,
   `datetime` DateTime('UTC'),
   `description` String,
)
ENGINE = MergeTree
ORDER BY (id,datetime);

INSERT INTO mysql_copy
SELECT * FROM mysql('host:port', 'database', 'table', 'user', 'password');

または、現在の最大 ID を基準に MySQL から増分バッチのみをコピーする場合:

INSERT INTO mysql_copy
SELECT * FROM mysql('host:port', 'database', 'table', 'user', 'password')
WHERE id > (SELECT max(id) FROM mysql_copy);

​構文

​引数

​テーブル名の代わりにクエリを渡す

​戻り値

​例

​enable_compression

​関連

構文

引数

テーブル名の代わりにクエリを渡す

戻り値

例

`enable_compression`

関連