In this guide, we're going to learn how to query a remote ClickHouse server from chDB.
Setup
まず、仮想環境を作成します。
python -m venv .venv
source .venv/bin/activate
次に、chDBをインストールします。
バージョン2.0.2以上であることを確認してください:
pip install "chdb>=2.0.2"
次に、pandasとipythonをインストールします:
pip install pandas ipython
このガイドの残りの部分でコマンドを実行するために、ipython
を使用します。これを起動するには、次のコマンドを実行します:
コードをPythonスクリプトやお気に入りのノートブックで使用することもできます。
An intro to ClickPy
私たちがクエリを実行するリモートClickHouseサーバーはClickPyです。
ClickPyはPyPIパッケージのすべてのダウンロードを追跡し、UIを介してパッケージの統計を探索できます。
基礎データベースはplay
ユーザーを使用してクエリが可能です。
ClickPyの詳細については、GitHubリポジトリを参照してください。
Querying the ClickPy ClickHouse service
まずchDBをインポートします:
remoteSecure
関数を使ってClickPyにクエリを実行します。
この関数は、ホスト名、テーブル名、ユーザー名を最低限必要とします。
次のクエリを記述して、openai
パッケージの1日あたりのダウンロード数をPandas DataFrameとして返します:
query = """
SELECT
toStartOfDay(date)::Date32 AS x,
sum(count) AS y
FROM remoteSecure(
'clickpy-clickhouse.clickhouse.com',
'pypi.pypi_downloads_per_day',
'play'
)
WHERE project = 'openai'
GROUP BY x
ORDER BY x ASC
"""
openai_df = chdb.query(query, "DataFrame")
openai_df.sort_values(by=["x"], ascending=False).head(n=10)
x y
2392 2024-10-02 1793502
2391 2024-10-01 1924901
2390 2024-09-30 1749045
2389 2024-09-29 1177131
2388 2024-09-28 1157323
2387 2024-09-27 1688094
2386 2024-09-26 1862712
2385 2024-09-25 2032923
2384 2024-09-24 1901965
2383 2024-09-23 1777554
次に、scikit-learn
のダウンロード数を返すために同じことを行います:
query = """
SELECT
toStartOfDay(date)::Date32 AS x,
sum(count) AS y
FROM remoteSecure(
'clickpy-clickhouse.clickhouse.com',
'pypi.pypi_downloads_per_day',
'play'
)
WHERE project = 'scikit-learn'
GROUP BY x
ORDER BY x ASC
"""
sklearn_df = chdb.query(query, "DataFrame")
sklearn_df.sort_values(by=["x"], ascending=False).head(n=10)
x y
2392 2024-10-02 1793502
2391 2024-10-01 1924901
2390 2024-09-30 1749045
2389 2024-09-29 1177131
2388 2024-09-28 1157323
2387 2024-09-27 1688094
2386 2024-09-26 1862712
2385 2024-09-25 2032923
2384 2024-09-24 1901965
2383 2024-09-23 1777554
Merging Pandas DataFrames
現在、2つのDataFrameができたので、日付(x
列)に基づいてマージできます:
df = openai_df.merge(
sklearn_df,
on="x",
suffixes=("_openai", "_sklearn")
)
df.head(n=5)
x y_openai y_sklearn
0 2018-02-26 83 33971
1 2018-02-27 31 25211
2 2018-02-28 8 26023
3 2018-03-01 8 20912
4 2018-03-02 5 23842
次に、Open AIのダウンロード数とscikit-learn
のダウンロード数の比率を計算します:
df['ratio'] = df['y_openai'] / df['y_sklearn']
df.head(n=5)
x y_openai y_sklearn ratio
0 2018-02-26 83 33971 0.002443
1 2018-02-27 31 25211 0.001230
2 2018-02-28 8 26023 0.000307
3 2018-03-01 8 20912 0.000383
4 2018-03-02 5 23842 0.000210
Querying Pandas DataFrames
次に、最高と最低の比率の日付を見つけたいとしましょう。
chDBに戻ってそれらの値を計算できます:
chdb.query("""
SELECT max(ratio) AS bestRatio,
argMax(x, ratio) AS bestDate,
min(ratio) AS worstRatio,
argMin(x, ratio) AS worstDate
FROM Python(df)
""", "DataFrame")
bestRatio bestDate worstRatio worstDate
0 0.693855 2024-09-19 0.000003 2020-02-09
Pandas DataFramesのクエリについてさらに学ぶには、Pandas DataFrames開発者ガイドを参照してください。