AWS Glue カタログ
Experimental feature. Learn more.
ClickHouseは、複数のカタログ(Unity、Glue、Polarisなど)との統合をサポートしています。このガイドでは、ClickHouseを使用してS3バケット内のデータをクエリする手順を説明します。
注記
Glueは多様なテーブルフォーマットをサポートしていますが、この統合はIcebergテーブルのみをサポートしています。
AWSでのGlueの設定
Glueカタログに接続するには、カタログのリージョンを特定し、アクセスキーとシークレットキーを提供する必要があります。
注記
現在、Glueカタログはアクセスキーとシークレットキーのみをサポートしていますが、将来的には追加の認証方法をサポートする予定です。
GlueデータカタログとClickHouse間の接続を作成する
Unityカタログが設定され、認証が完了したら、ClickHouseとUnityカタログの間に接続を確立します。
ClickHouseを使用してGlueデータカタログをクエリする
接続が確立されたので、Glueをクエリし始めることができます:
上記のように、一部のテーブルがIcebergテーブルではなく、例えばiceberg-benchmark.hitsparquet
のようなものがあることがわかります。これらは現在Iceberg以外はサポートされていないため、クエリを実行することはできません。
テーブルをクエリするには:
注記
バックティックは、ClickHouseが複数の名前空間をサポートしていないため、必要です。
テーブルのDDLを確認するには、以下のクエリを実行します:
データレイクからClickHouseへのデータ読み込み
DatabricksからClickHouseにデータを読み込む必要がある場合、まずローカルのClickHouseテーブルを作成します:
次に、Icebergテーブルからデータを読み込みます: