> ## Documentation Index > Fetch the complete documentation index at: https://clickhouse.com/docs/llms.txt > Use this file to discover all available pages before exploring further. # Comment interroger des fichiers Parquet > Apprenez à interroger des fichiers Parquet avec chDB. Une grande partie des données mondiales se trouve dans des buckets Amazon S3. Dans ce guide, nous allons voir comment interroger ces données à l’aide de chDB.
## Préparation
Commençons par créer un environnement virtuel : ```bash theme={null} python -m venv .venv source .venv/bin/activate ``` Et maintenant, nous allons installer chDB. Assurez-vous d'avoir la version 2.0.2 ou une version ultérieure : ```bash theme={null} pip install "chdb>=2.0.2" ``` Nous allons maintenant installer IPython : ```bash theme={null} pip install ipython ``` Nous allons utiliser `ipython` pour exécuter les commandes dans la suite de ce guide, que vous pouvez lancer en exécutant : ```bash theme={null} ipython ``` Vous pouvez également utiliser le code dans un script Python ou votre notebook préféré.
## Exploration des métadonnées Parquet
Nous allons explorer un fichier Parquet du jeu de données [avis Amazon](/docs/fr/get-started/sample-datasets/amazon-reviews). Mais d'abord, installons `chDB` : ```python theme={null} import chdb ``` Lorsque nous interrogeons des fichiers Parquet, nous pouvons utiliser le format d’entrée [`ParquetMetadata`](/docs/fr/reference/formats/Parquet/ParquetMetadata) pour renvoyer les métadonnées Parquet plutôt que le contenu du fichier. Utilisons la clause `DESCRIBE` pour voir les champs renvoyés avec ce format : ```python theme={null} query = """ DESCRIBE s3( 'https://datasets-documentation.s3.eu-west-3.amazonaws.com/amazon_reviews/amazon_reviews_2015.snappy.parquet', ParquetMetadata ) SETTINGS describe_compact_output=1 """ chdb.query(query, 'TabSeparated') ``` ```text theme={null} num_columns UInt64 num_rows UInt64 num_row_groups UInt64 format_version String metadata_size UInt64 total_uncompressed_size UInt64 total_compressed_size UInt64 columns Array(Tuple(name String, path String, max_definition_level UInt64, max_repetition_level UInt64, physical_type String, logical_type String, compression String, total_uncompressed_size UInt64, total_compressed_size UInt64, space_saved String, encodings Array(String))) row_groups Array(Tuple(num_columns UInt64, num_rows UInt64, total_uncompressed_size UInt64, total_compressed_size UInt64, columns Array(Tuple(name String, path String, total_compressed_size UInt64, total_uncompressed_size UInt64, have_statistics Bool, statistics Tuple(num_values Nullable(UInt64), null_count Nullable(UInt64), distinct_count Nullable(UInt64), min Nullable(String), max Nullable(String)))))) ``` Examinons maintenant les métadonnées de ce fichier. `columns` et `row_groups` contiennent tous deux des tableaux de tuples avec de nombreuses propriétés ; nous allons donc les exclure pour l’instant. ```python theme={null} query = """ SELECT * EXCEPT(columns, row_groups) FROM s3( 'https://datasets-documentation.s3.eu-west-3.amazonaws.com/amazon_reviews/amazon_reviews_2015.snappy.parquet', ParquetMetadata ) """ chdb.query(query, 'Vertical') ``` ```text theme={null} Row 1: ────── num_columns: 15 num_rows: 41905631 num_row_groups: 42 format_version: 2.6 metadata_size: 79730 total_uncompressed_size: 14615827169 total_compressed_size: 9272262304 ``` D’après cette sortie, on voit que ce fichier Parquet contient plus de 40 millions de lignes, réparties en 42 groupes de lignes, avec 15 colonnes de données par ligne. Un groupe de lignes correspond à une partition logique horizontale des données en lignes. Chaque groupe de lignes possède des métadonnées associées, et les outils de requête peuvent exploiter ces métadonnées pour interroger efficacement le fichier. Jetons un coup d'œil à l’un des groupes de lignes : ```python theme={null} query = """ WITH rowGroups AS ( SELECT rg FROM s3( 'https://datasets-documentation.s3.eu-west-3.amazonaws.com/amazon_reviews/amazon_reviews_2015.snappy.parquet', ParquetMetadata ) ARRAY JOIN row_groups AS rg LIMIT 1 ) SELECT tupleElement(c, 'name') AS name, tupleElement(c, 'total_compressed_size') AS total_compressed_size, tupleElement(c, 'total_uncompressed_size') AS total_uncompressed_size, tupleElement(tupleElement(c, 'statistics'), 'min') AS min, tupleElement(tupleElement(c, 'statistics'), 'max') AS max FROM rowGroups ARRAY JOIN tupleElement(rg, 'columns') AS c """ chdb.query(query, 'DataFrame') ``` ```text theme={null} name total_compressed_size total_uncompressed_size min max 0 review_date 493 646 16455 16472 1 marketplace 66 64 US US 2 customer_id 5207967 7997207 10049 53096413 3 review_id 14748425 17991290 R10004U8OQDOGE RZZZUTBAV1RYI 4 product_id 8003456 13969668 0000032050 BT00DDVMVQ 5 product_parent 5758251 7974737 645 999999730 6 product_title 41068525 63355320 ! Small S 1pc Black 1pc Navy (Blue) Replacemen... 🌴 Vacation On The Beach 7 product_category 1726 1815 Apparel Pet Products 8 star_rating 369036 374046 1 5 9 helpful_votes 538940 1022990 0 3440 10 total_votes 610902 1080520 0 3619 11 vine 11426 125999 0 1 12 verified_purchase 102634 125999 0 1 13 review_headline 16538189 27634740 🤹🏽‍♂️🎤Great product. Practice makes perfect. D... 14 review_body 145886383 232457911 🚅 +🐧=💥 😀 ```
## Interroger les fichiers Parquet
Ensuite, interrogeons le contenu du fichier. Pour cela, il suffit d’adapter la requête ci-dessus en supprimant `ParquetMetadata`, puis, par exemple, de calculer la valeur `star_rating` la plus fréquente parmi tous les avis : ```python theme={null} query = """ SELECT star_rating, count() AS count, formatReadableQuantity(count) FROM s3( 'https://datasets-documentation.s3.eu-west-3.amazonaws.com/amazon_reviews/amazon_reviews_2015.snappy.parquet' ) GROUP BY ALL ORDER BY star_rating """ chdb.query(query, 'DataFrame') ``` ```text theme={null} star_rating count formatReadableQuantity(count()) 0 1 3253070 3.25 million 1 2 1865322 1.87 million 2 3 3130345 3.13 million 3 4 6578230 6.58 million 4 5 27078664 27.08 million ``` Fait intéressant, il y a plus d’avis 5 étoiles que toutes les autres notes réunies ! On dirait que les gens apprécient les produits sur Amazon ou, quand ce n’est pas le cas, ils ne prennent tout simplement pas la peine de laisser une note.