MongoDB

MongoDBエンジンは、リモートの MongoDB コレクションからデータを読み取ることができる読み取り専用テーブルエンジンです。

MongoDB v3.6+ サーバーのみがサポートされています。 Seed list(mongodb+srv) はまだサポートされていません。

テーブルの作成

CREATE TABLE [IF NOT EXISTS] [db.]table_name
(
    name1 [type1],
    name2 [type2],
    ...
) ENGINE = MongoDB(host:port, database, collection, user, password[, options[, oid_columns]]);

エンジンパラメータ

host:port — MongoDBサーバーのアドレス。
database — リモートデータベース名。
collection — リモートコレクション名。
user — MongoDBユーザー。
password — ユーザーパスワード。
options — MongoDB接続文字列オプション（オプションパラメータ）。
oid_columns - WHERE句でoidとして扱うべきカラムのカンマ区切りリスト。デフォルトは_idです。

ヒント

MongoDB Atlasクラウドオファリングを使用している場合、接続URLは「Atlas SQL」オプションから取得できます。 Seed list(mongodb**+srv**) はまだサポートされていませんが、将来的なリリースで追加される予定です。

別の方法として、URIを渡すこともできます：

ENGINE = MongoDB(uri, collection[, oid_columns]);

エンジンパラメータ

uri — MongoDBサーバーの接続URI。
collection — リモートコレクション名。
oid_columns - WHERE句でoidとして扱うべきカラムのカンマ区切りリスト。デフォルトは_idです。

型マッピング

MongoDB	ClickHouse
bool, int32, int64	任意の数値型, String
double	Float64, String
date	Date, Date32, DateTime, DateTime64, String
string	String
document	String(をJSONとして)
array	Array, String(をJSONとして)
oid	String
binary	列にある場合はString, 配列またはドキュメントにある場合はbase64エンコードされた文字列
uuid (binary subtype 4)	UUID
その他すべて	String

MongoDBドキュメントにキーが見つからない場合（たとえば、カラム名が一致しない場合）、デフォルト値またはNULL（カラムがnullableの場合）が挿入されます。

OID

WHERE句でStringをoidとして扱いたい場合は、テーブルエンジンの最後の引数にカラム名を指定してください。これは、MongoDBでデフォルトでoid型を持つ_idカラムでレコードをクエリする際に必要となる場合があります。テーブルの_idフィールドが他の型（たとえばuuid）の場合、空のoid_columnsを指定する必要があります。さもないと、このパラメータのデフォルト値である_idが使用されます。

db.sample_oid.insertMany([
    {"another_oid_column": ObjectId()},
]);

db.sample_oid.find();
[
    {
        "_id": {"$oid": "67bf6cc44ebc466d33d42fb2"},
        "another_oid_column": {"$oid": "67bf6cc40000000000ea41b1"}
    }
]

デフォルトでは、_idのみがoidカラムとして扱われます。

CREATE TABLE sample_oid
(
    _id String,
    another_oid_column String
) ENGINE = MongoDB('mongodb://user:pass@host/db', 'sample_oid');

SELECT count() FROM sample_oid WHERE _id = '67bf6cc44ebc466d33d42fb2'; -- 出力は1になります。
SELECT count() FROM sample_oid WHERE another_oid_column = '67bf6cc40000000000ea41b1'; -- 出力は0になります

この場合、出力は0になります。ClickHouseはanother_oid_columnがoid型であることを知らないため、修正しましょう：

CREATE TABLE sample_oid
(
    _id String,
    another_oid_column String
) ENGINE = MongoDB('mongodb://user:pass@host/db', 'sample_oid', '_id,another_oid_column');

-- または

CREATE TABLE sample_oid
(
    _id String,
    another_oid_column String
) ENGINE = MongoDB('host', 'db', 'sample_oid', 'user', 'pass', '', '_id,another_oid_column');

SELECT count() FROM sample_oid WHERE another_oid_column = '67bf6cc40000000000ea41b1'; -- これで出力は1になります。

サポートされている句

単純な式を持つクエリのみがサポートされています（例えば、WHERE field = <定数> ORDER BY field2 LIMIT <定数>）。そのような式はMongoDBクエリ言語に変換され、サーバー側で実行されます。この制限をすべて無効にするには、mongodb_throw_on_unsupported_queryを使用してください。その場合、ClickHouseはクエリを最善の努力で変換しようとしますが、これにより全テーブルスキャンやClickHouse側での処理が発生する可能性があります。

注記

リテラルの型を明示的に設定することが常に望ましいです。なぜならMongoは厳密な型フィルターを必要とするからです。
たとえば、Dateでフィルタリングしたい場合：

SELECT * FROM mongo_table WHERE date = '2024-01-01'

これは機能しません。Mongoは文字列をDateにキャストしないため、手動でキャストする必要があります。

SELECT * FROM mongo_table WHERE date = '2024-01-01'::Date OR date = toDate('2024-01-01')

これはDate、Date32、DateTime、Bool、UUIDに適用されます。

使用例

MongoDBに sample_mflix データセットがロードされていると仮定します。

MongoDBのコレクションからデータを読み取ることを可能にするClickHouseのテーブルを作成します：

CREATE TABLE sample_mflix_table
(
    _id String,
    title String,
    plot String,
    genres Array(String),
    directors Array(String),
    writers Array(String),
    released Date,
    imdb String,
    year String,
) ENGINE = MongoDB('mongodb://<USERNAME>:<PASSWORD>@atlas-sql-6634be87cefd3876070caf96-98lxs.a.query.mongodb.net/sample_mflix?ssl=true&authSource=admin', 'movies');

クエリ：

SELECT count() FROM sample_mflix_table

   ┌─count()─┐
1. │   21349 │
   └─────────┘

-- JSONExtractStringはMongoDBにプッシュダウンできません
SET mongodb_throw_on_unsupported_query = 0;

-- 評価が7.5を超える「バック・トゥ・ザ・フューチャー」の続編をすべて見つける
SELECT title, plot, genres, directors, released FROM sample_mflix_table
WHERE title IN ('Back to the Future', 'Back to the Future Part II', 'Back to the Future Part III')
    AND toFloat32(JSONExtractString(imdb, 'rating')) > 7.5
ORDER BY year
FORMAT Vertical;

Row 1:
──────
title:     Back to the Future
plot:      A young man is accidentally sent 30 years into the past in a time-traveling DeLorean invented by his friend, Dr. Emmett Brown, and must make sure his high-school-age parents unite in order to save his own existence.
genres:    ['Adventure','Comedy','Sci-Fi']
directors: ['Robert Zemeckis']
released:  1985-07-03

Row 2:
──────
title:     Back to the Future Part II
plot:      After visiting 2015, Marty McFly must repeat his visit to 1955 to prevent disastrous changes to 1985... without interfering with his first trip.
genres:    ['Action','Adventure','Comedy']
directors: ['Robert Zemeckis']
released:  1989-11-22

-- コーマック・マッカーシーの作品に基づくトップ3の映画を見つける
SELECT title, toFloat32(JSONExtractString(imdb, 'rating')) as rating
FROM sample_mflix_table
WHERE arrayExists(x -> x like 'Cormac McCarthy%', writers)
ORDER BY rating DESC
LIMIT 3;

   ┌─title──────────────────┬─rating─┐
1. │ No Country for Old Men │    8.1 │
2. │ The Sunset Limited     │    7.4 │
3. │ The Road               │    7.3 │
   └────────────────────────┴────────┘

トラブルシューティング

DEBUGレベルのログで生成されたMongoDBクエリを見ることができます。

実装の詳細は、mongocxx および mongoc のドキュメントで確認できます。

テーブルの作成​

型マッピング​

OID​

サポートされている句​

使用例​

トラブルシューティング​

テーブルの作成

型マッピング

OID

サポートされている句

使用例

トラブルシューティング