Comment interroger un serveur ClickHouse distant

Dans ce guide, nous allons voir comment interroger un serveur ClickHouse distant depuis chDB.

Préparation

Commençons par créer un environnement virtuel :

python -m venv .venv
source .venv/bin/activate

Et maintenant, nous allons installer chDB. Assurez-vous d’avoir la version 2.0.2 ou une version ultérieure :

pip install "chdb>=2.0.2"

Nous allons maintenant installer pandas et ipython :

pip install pandas ipython

Nous allons utiliser ipython pour exécuter les commandes dans la suite du guide, que vous pouvez lancer avec :

ipython

Vous pouvez également utiliser le code dans un script Python ou dans votre notebook préféré.

Une introduction à ClickPy

Le serveur ClickHouse distant que nous allons interroger est ClickPy. ClickPy suit tous les téléchargements des paquets PyPI et vous permet d’explorer les statistiques des paquets via une interface utilisateur. La base de données sous-jacente peut être interrogée à l’aide de l’utilisateur play. Vous pouvez en savoir plus sur ClickPy dans son dépôt GitHub.

Interroger le service ClickHouse ClickPy

Importons chDB :

import chdb

Nous allons interroger ClickPy à l’aide de la fonction remoteSecure. Cette fonction prend au minimum un nom d’hôte, un nom de table et un nom d’utilisateur. Nous pouvons écrire la requête suivante pour renvoyer le nombre de téléchargements par jour du paquet openai sous forme de Pandas DataFrame :

query = """
SELECT
    toStartOfDay(date)::Date32 AS x,
    sum(count) AS y
FROM remoteSecure(
  'clickpy-clickhouse.clickhouse.com', 
  'pypi.pypi_downloads_per_day', 
  'play'
)
WHERE project = 'openai'
GROUP BY x
ORDER BY x ASC
"""

openai_df = chdb.query(query, "DataFrame")
openai_df.sort_values(by=["x"], ascending=False).head(n=10)

               x        y
2024-10-02  1793502
2024-10-01  1924901
2024-09-30  1749045
2024-09-29  1177131
2024-09-28  1157323
2024-09-27  1688094
2024-09-26  1862712
2024-09-25  2032923
2024-09-24  1901965
2024-09-23  1777554

Faisons maintenant la même chose pour obtenir les téléchargements de scikit-learn :

query = """
SELECT
    toStartOfDay(date)::Date32 AS x,
    sum(count) AS y
FROM remoteSecure(
  'clickpy-clickhouse.clickhouse.com', 
  'pypi.pypi_downloads_per_day', 
  'play'
)
WHERE project = 'scikit-learn'
GROUP BY x
ORDER BY x ASC
"""

sklearn_df = chdb.query(query, "DataFrame")
sklearn_df.sort_values(by=["x"], ascending=False).head(n=10)

               x        y
2024-10-02  1793502
2024-10-01  1924901
2024-09-30  1749045
2024-09-29  1177131
2024-09-28  1157323
2024-09-27  1688094
2024-09-26  1862712
2024-09-25  2032923
2024-09-24  1901965
2024-09-23  1777554

Fusion de DataFrames Pandas

Nous avons maintenant deux DataFrames, que nous pouvons fusionner à partir de la date (qui correspond à la colonne x), comme ceci :

df = openai_df.merge(
  sklearn_df, 
  on="x", 
  suffixes=("_openai", "_sklearn")
)
df.head(n=5)

            x  y_openai  y_sklearn
2018-02-26        83      33971
2018-02-27        31      25211
2018-02-28         8      26023
2018-03-01         8      20912
2018-03-02         5      23842

Nous pouvons alors calculer le ratio entre les téléchargements d’OpenAI et ceux de scikit-learn comme ceci :

df['ratio'] = df['y_openai'] / df['y_sklearn']
df.head(n=5)

            x  y_openai  y_sklearn     ratio
2018-02-26        83      33971  0.002443
2018-02-27        31      25211  0.001230
2018-02-28         8      26023  0.000307
2018-03-01         8      20912  0.000383
2018-03-02         5      23842  0.000210

Interroger des DataFrames Pandas

Ensuite, supposons que nous voulions trouver les dates présentant les meilleurs et les pires ratios. Nous pouvons revenir à chDB et calculer ces valeurs :

chdb.query("""
SELECT max(ratio) AS bestRatio,
       argMax(x, ratio) AS bestDate,
       min(ratio) AS worstRatio,
       argMin(x, ratio) AS worstDate
FROM Python(df)
""", "DataFrame")

   bestRatio    bestDate  worstRatio   worstDate
0   0.693855  2024-09-19    0.000003  2020-02-09

Si vous souhaitez en savoir plus sur l’interrogation de DataFrames Pandas, consultez le guide du développeur sur les DataFrames Pandas.

​Préparation

​Une introduction à ClickPy

​Interroger le service ClickHouse ClickPy

​Fusion de DataFrames Pandas

​Interroger des DataFrames Pandas

Préparation

Une introduction à ClickPy

Interroger le service ClickHouse ClickPy

Fusion de DataFrames Pandas

Interroger des DataFrames Pandas