Comment interroger des données dans un bucket S3

Une grande partie des données dans le monde est stockée dans des buckets Amazon S3. Dans ce guide, nous verrons comment interroger ces données avec chDB.

Préparation

Commençons par créer un environnement virtuel :

python -m venv .venv
source .venv/bin/activate

Et maintenant, nous allons installer chDB. Assurez-vous d’avoir la version 2.0.2 ou supérieure :

pip install "chdb>=2.0.2"

Nous allons maintenant installer IPython :

pip install ipython

Nous allons utiliser ipython pour exécuter les commandes dans la suite de ce guide, que vous pouvez démarrer en lançant :

ipython

Vous pouvez également utiliser le code dans un script Python ou dans votre notebook préféré.

Lister les fichiers dans un bucket S3

Commençons par lister tous les fichiers dans un bucket S3 contenant des avis Amazon. Pour ce faire, nous pouvons utiliser la fonction de table s3 et lui passer le path d’un fichier ou un joker correspondant à un ensemble de fichiers.

Si vous passez uniquement le nom du bucket, une exception sera levée.

Nous allons également utiliser le format d’entrée One pour que le fichier ne soit pas analysé ; à la place, une seule ligne est renvoyée par fichier, et nous pouvons accéder au fichier via la colonne virtuelle _file et au path via la colonne virtuelle _path.

import chdb

chdb.query("""
SELECT
    _file,
    _path
FROM s3('s3://datasets-documentation/amazon_reviews/*.parquet', One)
SETTINGS output_format_pretty_row_numbers=0
""", 'PrettyCompact')

┌─_file───────────────────────────────┬─_path─────────────────────────────────────────────────────────────────────┐
│ amazon_reviews_2010.snappy.parquet  │ datasets-documentation/amazon_reviews/amazon_reviews_2010.snappy.parquet  │
│ amazon_reviews_1990s.snappy.parquet │ datasets-documentation/amazon_reviews/amazon_reviews_1990s.snappy.parquet │
│ amazon_reviews_2013.snappy.parquet  │ datasets-documentation/amazon_reviews/amazon_reviews_2013.snappy.parquet  │
│ amazon_reviews_2015.snappy.parquet  │ datasets-documentation/amazon_reviews/amazon_reviews_2015.snappy.parquet  │
│ amazon_reviews_2014.snappy.parquet  │ datasets-documentation/amazon_reviews/amazon_reviews_2014.snappy.parquet  │
│ amazon_reviews_2012.snappy.parquet  │ datasets-documentation/amazon_reviews/amazon_reviews_2012.snappy.parquet  │
│ amazon_reviews_2000s.snappy.parquet │ datasets-documentation/amazon_reviews/amazon_reviews_2000s.snappy.parquet │
│ amazon_reviews_2011.snappy.parquet  │ datasets-documentation/amazon_reviews/amazon_reviews_2011.snappy.parquet  │
└─────────────────────────────────────┴───────────────────────────────────────────────────────────────────────────┘

Ce bucket ne contient que des fichiers Parquet.

Interroger des fichiers dans un bucket S3

Voyons maintenant comment interroger ces fichiers. Si nous voulons compter le nombre de lignes dans chacun de ces fichiers, nous pouvons exécuter la requête suivante :

chdb.query("""
SELECT
    _file,
    count() AS count,
    formatReadableQuantity(count) AS readableCount    
FROM s3('s3://datasets-documentation/amazon_reviews/*.parquet')
GROUP BY ALL
SETTINGS output_format_pretty_row_numbers=0
""", 'PrettyCompact')

┌─_file───────────────────────────────┬────count─┬─readableCount───┐
│ amazon_reviews_2013.snappy.parquet  │ 28034255 │ 28.03 million   │
│ amazon_reviews_1990s.snappy.parquet │   639532 │ 639.53 thousand │
│ amazon_reviews_2011.snappy.parquet  │  6112495 │ 6.11 million    │
│ amazon_reviews_2015.snappy.parquet  │ 41905631 │ 41.91 million   │
│ amazon_reviews_2012.snappy.parquet  │ 11541011 │ 11.54 million   │
│ amazon_reviews_2000s.snappy.parquet │ 14728295 │ 14.73 million   │
│ amazon_reviews_2014.snappy.parquet  │ 44127569 │ 44.13 million   │
│ amazon_reviews_2010.snappy.parquet  │  3868472 │ 3.87 million    │
└─────────────────────────────────────┴──────────┴─────────────────┘

Nous pouvons également indiquer l’URI HTTP d’un bucket S3 et obtenir les mêmes résultats :

chdb.query("""
SELECT
    _file,
    count() AS count,
    formatReadableQuantity(count) AS readableCount    
FROM s3('https://datasets-documentation.s3.eu-west-3.amazonaws.com/amazon_reviews/*.parquet')
GROUP BY ALL
SETTINGS output_format_pretty_row_numbers=0
""", 'PrettyCompact')

Voyons le schéma de ces fichiers Parquet à l’aide de la clause DESCRIBE :

chdb.query("""
DESCRIBE s3('s3://datasets-documentation/amazon_reviews/*.parquet')
SETTINGS describe_compact_output=1
""", 'PrettyCompact')

    ┌─name──────────────┬─type─────────────┐
│ review_date       │ Nullable(UInt16) │
│ marketplace       │ Nullable(String) │
│ customer_id       │ Nullable(UInt64) │
│ review_id         │ Nullable(String) │
│ product_id        │ Nullable(String) │
│ product_parent    │ Nullable(UInt64) │
│ product_title     │ Nullable(String) │
│ product_category  │ Nullable(String) │
│ star_rating       │ Nullable(UInt8)  │
│ helpful_votes     │ Nullable(UInt32) │
│ total_votes       │ Nullable(UInt32) │
│ vine              │ Nullable(Bool)   │
│ verified_purchase │ Nullable(Bool)   │
│ review_headline   │ Nullable(String) │
│ review_body       │ Nullable(String) │
    └───────────────────┴──────────────────┘

Calculons maintenant les principales catégories de produits en fonction du nombre d’avis, ainsi que la note moyenne en étoiles :

chdb.query("""
SELECT product_category, count() AS reviews, round(avg(star_rating), 2) as avg
FROM s3('s3://datasets-documentation/amazon_reviews/*.parquet')
GROUP BY ALL
LIMIT 10
""", 'PrettyCompact')

    ┌─product_category─┬──reviews─┬──avg─┐
│ Toys             │  4864056 │ 4.21 │
│ Apparel          │  5906085 │ 4.11 │
│ Luggage          │   348644 │ 4.22 │
│ Kitchen          │  4880297 │ 4.21 │
│ Books            │ 19530930 │ 4.34 │
│ Outdoors         │  2302327 │ 4.24 │
│ Video            │   380596 │ 4.19 │
│ Grocery          │  2402365 │ 4.31 │
│ Shoes            │  4366757 │ 4.24 │
│ Jewelry          │  1767667 │ 4.14 │
    └──────────────────┴──────────┴──────┘

Interroger des fichiers dans un bucket S3 privé

Si nous voulons interroger des fichiers dans un bucket S3 privé, nous devons fournir une clé d’accès et une clé secrète. Nous pouvons transmettre ces identifiants à la fonction de table s3 :

chdb.query("""
SELECT product_category, count() AS reviews, round(avg(star_rating), 2) as avg
FROM s3('s3://datasets-documentation/amazon_reviews/*.parquet', 'access-key', 'secret')
GROUP BY ALL
LIMIT 10
""", 'PrettyCompact')

Cette requête ne fonctionnera pas, car le bucket est public !

Une autre possibilité consiste à utiliser des collections nommées, mais cette approche n’est pas encore prise en charge par chDB.

​Préparation

​Lister les fichiers dans un bucket S3

​Interroger des fichiers dans un bucket S3

​Interroger des fichiers dans un bucket S3 privé

Préparation

Lister les fichiers dans un bucket S3

Interroger des fichiers dans un bucket S3

Interroger des fichiers dans un bucket S3 privé