S3 バケット内のデータをクエリする方法

世界中の多くのデータは Amazon S3 バケットに保存されています。このガイドでは、chDB を使ってそれらのデータをクエリする方法を説明します。

セットアップ

まず、仮想環境を作成します。

python -m venv .venv
source .venv/bin/activate

それでは、chDB をインストールします。バージョン 2.0.2 以降であることを確認してください。

pip install "chdb>=2.0.2"

では、IPython をインストールします。

pip install ipython

このガイドの残りでは、コマンドの実行に ipython を使用します。次を実行すると起動できます。

ipython

このコードは、Pythonスクリプトや使い慣れたノートブックでも使用できます。

S3バケット内のファイルを一覧表示する

まずは、Amazonレビューを含む S3バケット内のすべてのファイルを一覧表示してみましょう。これを行うには、s3 テーブル関数を使用し、ファイルへのパス、または複数のファイルを対象とするワイルドカードを渡します。

バケット名だけを渡すと、例外が発生します。

また、ファイルが解析されないように One 入力フォーマットも使用します。これにより、ファイルごとに1行だけが返され、_file 仮想カラムでファイルに、_path 仮想カラムでパスにアクセスできます。

import chdb

chdb.query("""
SELECT
    _file,
    _path
FROM s3('s3://datasets-documentation/amazon_reviews/*.parquet', One)
SETTINGS output_format_pretty_row_numbers=0
""", 'PrettyCompact')

┌─_file───────────────────────────────┬─_path─────────────────────────────────────────────────────────────────────┐
│ amazon_reviews_2010.snappy.parquet  │ datasets-documentation/amazon_reviews/amazon_reviews_2010.snappy.parquet  │
│ amazon_reviews_1990s.snappy.parquet │ datasets-documentation/amazon_reviews/amazon_reviews_1990s.snappy.parquet │
│ amazon_reviews_2013.snappy.parquet  │ datasets-documentation/amazon_reviews/amazon_reviews_2013.snappy.parquet  │
│ amazon_reviews_2015.snappy.parquet  │ datasets-documentation/amazon_reviews/amazon_reviews_2015.snappy.parquet  │
│ amazon_reviews_2014.snappy.parquet  │ datasets-documentation/amazon_reviews/amazon_reviews_2014.snappy.parquet  │
│ amazon_reviews_2012.snappy.parquet  │ datasets-documentation/amazon_reviews/amazon_reviews_2012.snappy.parquet  │
│ amazon_reviews_2000s.snappy.parquet │ datasets-documentation/amazon_reviews/amazon_reviews_2000s.snappy.parquet │
│ amazon_reviews_2011.snappy.parquet  │ datasets-documentation/amazon_reviews/amazon_reviews_2011.snappy.parquet  │
└─────────────────────────────────────┴───────────────────────────────────────────────────────────────────────────┘

このバケットにはParquetファイルのみが格納されています。

S3バケット内のファイルをクエリする

次に、これらのファイルに対してクエリを実行する方法を見ていきましょう。これらの各ファイルの行数を数えるには、次のクエリを実行できます。

chdb.query("""
SELECT
    _file,
    count() AS count,
    formatReadableQuantity(count) AS readableCount    
FROM s3('s3://datasets-documentation/amazon_reviews/*.parquet')
GROUP BY ALL
SETTINGS output_format_pretty_row_numbers=0
""", 'PrettyCompact')

┌─_file───────────────────────────────┬────count─┬─readableCount───┐
│ amazon_reviews_2013.snappy.parquet  │ 28034255 │ 28.03 million   │
│ amazon_reviews_1990s.snappy.parquet │   639532 │ 639.53 thousand │
│ amazon_reviews_2011.snappy.parquet  │  6112495 │ 6.11 million    │
│ amazon_reviews_2015.snappy.parquet  │ 41905631 │ 41.91 million   │
│ amazon_reviews_2012.snappy.parquet  │ 11541011 │ 11.54 million   │
│ amazon_reviews_2000s.snappy.parquet │ 14728295 │ 14.73 million   │
│ amazon_reviews_2014.snappy.parquet  │ 44127569 │ 44.13 million   │
│ amazon_reviews_2010.snappy.parquet  │  3868472 │ 3.87 million    │
└─────────────────────────────────────┴──────────┴─────────────────┘

S3 バケットの HTTP URI を指定しても、同じ結果が得られます:

chdb.query("""
SELECT
    _file,
    count() AS count,
    formatReadableQuantity(count) AS readableCount    
FROM s3('https://datasets-documentation.s3.eu-west-3.amazonaws.com/amazon_reviews/*.parquet')
GROUP BY ALL
SETTINGS output_format_pretty_row_numbers=0
""", 'PrettyCompact')

DESCRIBE 句を使用して、これらの Parquet ファイルのスキーマを見てみましょう:

chdb.query("""
DESCRIBE s3('s3://datasets-documentation/amazon_reviews/*.parquet')
SETTINGS describe_compact_output=1
""", 'PrettyCompact')

    ┌─name──────────────┬─type─────────────┐
│ review_date       │ Nullable(UInt16) │
│ marketplace       │ Nullable(String) │
│ customer_id       │ Nullable(UInt64) │
│ review_id         │ Nullable(String) │
│ product_id        │ Nullable(String) │
│ product_parent    │ Nullable(UInt64) │
│ product_title     │ Nullable(String) │
│ product_category  │ Nullable(String) │
│ star_rating       │ Nullable(UInt8)  │
│ helpful_votes     │ Nullable(UInt32) │
│ total_votes       │ Nullable(UInt32) │
│ vine              │ Nullable(Bool)   │
│ verified_purchase │ Nullable(Bool)   │
│ review_headline   │ Nullable(String) │
│ review_body       │ Nullable(String) │
    └───────────────────┴──────────────────┘

それでは、レビュー数に基づく上位の商品カテゴリを求め、あわせて平均スター評価も計算してみましょう。

chdb.query("""
SELECT product_category, count() AS reviews, round(avg(star_rating), 2) as avg
FROM s3('s3://datasets-documentation/amazon_reviews/*.parquet')
GROUP BY ALL
LIMIT 10
""", 'PrettyCompact')

    ┌─product_category─┬──reviews─┬──avg─┐
│ Toys             │  4864056 │ 4.21 │
│ Apparel          │  5906085 │ 4.11 │
│ Luggage          │   348644 │ 4.22 │
│ Kitchen          │  4880297 │ 4.21 │
│ Books            │ 19530930 │ 4.34 │
│ Outdoors         │  2302327 │ 4.24 │
│ Video            │   380596 │ 4.19 │
│ Grocery          │  2402365 │ 4.31 │
│ Shoes            │  4366757 │ 4.24 │
│ Jewelry          │  1767667 │ 4.14 │
    └──────────────────┴──────────┴──────┘

プライベートな S3 バケット内のファイルをクエリする

プライベートな S3 バケット内のファイルをクエリする場合は、アクセスキーとシークレットキーを渡す必要があります。これらの認証情報は s3 テーブル関数に渡せます。

chdb.query("""
SELECT product_category, count() AS reviews, round(avg(star_rating), 2) as avg
FROM s3('s3://datasets-documentation/amazon_reviews/*.parquet', 'access-key', 'secret')
GROUP BY ALL
LIMIT 10
""", 'PrettyCompact')

このクエリは、バケットが公開されているため動作しません。

別の方法として、named collectionsを使用することもできますが、この方法はまだ chDB ではサポートされていません。

​セットアップ

​S3バケット内のファイルを一覧表示する

​S3バケット内のファイルをクエリする

​プライベートな S3 バケット内のファイルをクエリする

セットアップ

S3バケット内のファイルを一覧表示する

S3バケット内のファイルをクエリする

プライベートな S3 バケット内のファイルをクエリする