HDFS
このエンジンは、Apache Hadoop エコシステムとの統合を提供し、ClickHouse を介して HDFS 上のデータを管理することを可能にします。このエンジンは、File エンジンおよび URL エンジンに似ていますが、Hadoop 特有の機能を提供します。
この機能は ClickHouse エンジニアによってサポートされていないため、品質が不安定であることが知られています。問題が発生した場合は、自分で修正し、プルリクエストを提出してください。
使用法
エンジンパラメータ
URI- HDFS の全ファイル URI。URIのパス部分にはグロブを含めることができます。この場合、テーブルは読み取り専用になります。format- 利用可能なファイル形式のいずれかを指定します。SELECTクエリを実行するには、形式が入力用にサポートされている必要があり、INSERTクエリを実行するには出力用にサポートされている必要があります。利用可能な形式は、Formats セクションにリストされています。- [PARTITION BY expr]
PARTITION BY
PARTITION BY — オプションです。ほとんどのケースではパーティションキーは必要ありませんが、必要な場合は一般的に月単位のそれよりも細かいパーティションキーは必要ありません。パーティショニングはクエリの速度を向上させません（ORDER BY 式と対照的です）。あまりにも細かいパーティショニングは使用しないでください。クライアント識別子や名前でデータをパーティショニングしないでください（代わりに、クライアント識別子または名前を ORDER BY 式の最初のカラムにしてください）。
月単位でのパーティショニングには、toYYYYMM(date_column) 式を使用します。ここで、date_column は Date 型の日付を持つカラムです。ここでのパーティション名は "YYYYMM" 形式です。
例:
1. hdfs_engine_table テーブルを設定します：
2. ファイルを埋めます：
3. データをクエリします：
実装の詳細
-
読み込みと書き込みは並列で行えます。
-
サポートされていないもの：
ALTERおよびSELECT...SAMPLE操作。- インデックス。
- ゼロコピー 複製は可能ですが、推奨されません。
ゼロコピー複製は生産準備が整っていませんゼロコピー複製は ClickHouse バージョン 22.8 以降でデフォルトで無効です。この機能は本番環境での使用は推奨されません。
パス内のグロブ
複数のパスコンポーネントにグロブを使用できます。処理されるファイルは、存在し、全パターンと一致する必要があります。ファイルのリストは SELECT 中に決定されます（CREATE 時ではありません）。
*—/を除く任意の数の任意の文字（空文字列を含む）の代わりに使用できます。?— 任意の一文字の代わりに使用できます。{some_string,another_string,yet_another_one}— 文字列'some_string', 'another_string', 'yet_another_one'のいずれかの代わりに使用できます。{N..M}— N から M までの範囲内の任意の数の代わりに使用できます（両端を含む）。
{} を使用した構文は、remote テーブル関数に似ています。
例
-
HDFS 上に次の URIs を持つ TSF 形式のファイルがいくつかあるとします：
- 'hdfs://hdfs1:9000/some_dir/some_file_1'
- 'hdfs://hdfs1:9000/some_dir/some_file_2'
- 'hdfs://hdfs1:9000/some_dir/some_file_3'
- 'hdfs://hdfs1:9000/another_dir/some_file_1'
- 'hdfs://hdfs1:9000/another_dir/some_file_2'
- 'hdfs://hdfs1:9000/another_dir/some_file_3'
-
これらの6つのファイルで構成されるテーブルを作成する方法はいくつかあります：
もう一つの方法：
テーブルは両方のディレクトリ内の全ファイルで構成されます（すべてのファイルは、クエリで記述された形式とスキーマに適合している必要があります）：
ファイルのリストに先頭ゼロのある数値範囲が含まれる場合は、各桁ごとに中括弧を使用する構文を使用するか、? を使用してください。
例
file000, file001, ... , file999 というファイルを持つテーブルを作成します：
設定
GraphiteMergeTree と同様に、HDFS エンジンは ClickHouse 設定ファイルを使用して拡張設定をサポートしています。使用できる2つの設定キーがあります：グローバル（hdfs）およびユーザーレベル（hdfs_*）。グローバル設定が最初に適用され、次にユーザーレベルの設定が適用されます（存在する場合）。
設定オプション
libhdfs3 でサポートされている
| parameter | default value |
|---|---|
| rpc_client_connect_tcpnodelay | true |
| dfs_client_read_shortcircuit | true |
| output_replace-datanode-on-failure | true |
| input_notretry-another-node | false |
| input_localread_mappedfile | true |
| dfs_client_use_legacy_blockreader_local | false |
| rpc_client_ping_interval | 10 * 1000 |
| rpc_client_connect_timeout | 600 * 1000 |
| rpc_client_read_timeout | 3600 * 1000 |
| rpc_client_write_timeout | 3600 * 1000 |
| rpc_client_socket_linger_timeout | -1 |
| rpc_client_connect_retry | 10 |
| rpc_client_timeout | 3600 * 1000 |
| dfs_default_replica | 3 |
| input_connect_timeout | 600 * 1000 |
| input_read_timeout | 3600 * 1000 |
| input_write_timeout | 3600 * 1000 |
| input_localread_default_buffersize | 1 * 1024 * 1024 |
| dfs_prefetchsize | 10 |
| input_read_getblockinfo_retry | 3 |
| input_localread_blockinfo_cachesize | 1000 |
| input_read_max_retry | 60 |
| output_default_chunksize | 512 |
| output_default_packetsize | 64 * 1024 |
| output_default_write_retry | 10 |
| output_connect_timeout | 600 * 1000 |
| output_read_timeout | 3600 * 1000 |
| output_write_timeout | 3600 * 1000 |
| output_close_timeout | 3600 * 1000 |
| output_packetpool_size | 1024 |
| output_heartbeat_interval | 10 * 1000 |
| dfs_client_failover_max_attempts | 15 |
| dfs_client_read_shortcircuit_streams_cache_size | 256 |
| dfs_client_socketcache_expiryMsec | 3000 |
| dfs_client_socketcache_capacity | 16 |
| dfs_default_blocksize | 64 * 1024 * 1024 |
| dfs_default_uri | "hdfs://localhost:9000" |
| hadoop_security_authentication | "simple" |
| hadoop_security_kerberos_ticket_cache_path | "" |
| dfs_client_log_severity | "INFO" |
| dfs_domain_socket_path | "" |
HDFS 設定リファレンス では、いくつかのパラメータについて説明されているかもしれません。
ClickHouse の特別オプション
| parameter | default value |
|---|---|
| hadoop_kerberos_keytab | "" |
| hadoop_kerberos_principal | "" |
| libhdfs3_conf | "" |
制限
hadoop_security_kerberos_ticket_cache_pathとlibhdfs3_confは、ユーザー特有ではなくグローバルのみで設定できます。
Kerberos サポート
hadoop_security_authentication パラメータが kerberos の値を持つ場合、ClickHouse は Kerberos を介して認証を行います。
パラメータは ここ にあり、hadoop_security_kerberos_ticket_cache_path は役立つ場合があります。
libhdfs3 の制限により、古典的なアプローチのみがサポートされており、データノード間の通信は SASL で保護されていません（HADOOP_SECURE_DN_USER はそのようなセキュリティアプローチの信頼できる指標です）。参照用に tests/integration/test_storage_kerberized_hdfs/hdfs_configs/bootstrap.sh を使用してください。
hadoop_kerberos_keytab、hadoop_kerberos_principal または hadoop_security_kerberos_ticket_cache_path が指定されている場合、Kerberos 認証が使用されます。この場合、hadoop_kerberos_keytab と hadoop_kerberos_principal は必須です。
HDFS Namenode HA サポート
libhdfs3 は HDFS namenode HA をサポートしています。
- HDFS ノードから
hdfs-site.xmlを/etc/clickhouse-server/にコピーします。 - ClickHouse 設定ファイルに次の部分を追加します：
- 次に、HDFS URI 内の namenode アドレスとして
hdfs-site.xmlのdfs.nameservicesタグの値を使用します。例えば、hdfs://[email protected]:8020/abc/をhdfs://appadmin@my_nameservice/abc/に置き換えます。
仮想カラム
_path— ファイルへのパス。型:LowCardinality(String)。_file— ファイル名。型:LowCardinality(String)。_size— ファイルのサイズ（バイト単位）。型:Nullable(UInt64)。サイズが不明な場合、値はNULLになります。_time— ファイルの最終更新時刻。型:Nullable(DateTime)。時刻が不明な場合、値はNULLになります。
ストレージ設定
- hdfs_truncate_on_insert - 挿入前にファイルを切り詰めることを可能にします。デフォルトでは無効です。
- hdfs_create_new_file_on_insert - 各挿入時に新しいファイルを作成することを可能にします。形式にサフィックスがある場合に適用されます。デフォルトでは無効です。
- hdfs_skip_empty_files - 読み込み時に空のファイルをスキップすることを可能にします。デフォルトでは無効です。
関連項目