> ## Documentation Index
> Fetch the complete documentation index at: https://clickhouse.com/docs/llms.txt
> Use this file to discover all available pages before exploring further.

# chDBを使い始める

> chDB は ClickHouse を基盤としたインプロセス SQL OLAP Engine です

このガイドでは、chDB の Python 版を使い始める方法を説明します。
まず S3 上の JSON ファイルをクエリし、続いてその JSON ファイルを基に chDB でテーブルを作成して、データに対していくつかのクエリを実行します。
また、Apache Arrow や Panda を含むさまざまなフォーマットでクエリ結果を返す方法を確認し、最後に Pandas DataFrames をクエリする方法を学びます。

<div id="setup">
  ## セットアップ
</div>

まずは仮想環境を作成します：

```bash theme={null}
python -m venv .venv
source .venv/bin/activate
```

それでは、chDB をインストールします。
バージョンが 2.0.3 以降であることを確認してください。

```bash theme={null}
pip install "chdb>=2.0.2"
```

それでは、[ipython](https://ipython.org/) をインストールしましょう。

```bash theme={null}
pip install ipython
```

このガイドの以降のコマンドは `ipython` で実行します。次のコマンドで起動できます。

```bash theme={null}
ipython
```

このガイドでは Pandas と Apache Arrow も使用するので、これらのライブラリもインストールしましょう。

```bash theme={null}
pip install pandas pyarrow
```

<div id="querying-a-json-file-in-s3">
  ## S3 内の JSON ファイルをクエリする
</div>

それでは、S3 バケットに保存されている JSON ファイルをどのようにクエリするか見ていきましょう。
[YouTube の低評価データセット](/docs/ja/get-started/sample-datasets/youtube-dislikes) には、2021 年までの YouTube 動画に対する低評価が 40 億行以上含まれています。
このデータセット内の JSON ファイルの 1 つを使って作業を進めます。

chdb をインポートします:

```python theme={null}
import chdb
```

次のクエリを実行すると、JSONファイルの1つの構造を確認できます。

```python theme={null}
chdb.query(
  """
  DESCRIBE s3(
    's3://clickhouse-public-datasets/youtube/original/files/' ||
    'youtubedislikes_20211127161229_18654868.1637897329_vid.json.zst',
    'JSONLines'
  )
  SETTINGS describe_compact_output=1
  """
)
```

```text theme={null}
"id","Nullable(String)"
"fetch_date","Nullable(String)"
"upload_date","Nullable(String)"
"title","Nullable(String)"
"uploader_id","Nullable(String)"
"uploader","Nullable(String)"
"uploader_sub_count","Nullable(Int64)"
"is_age_limit","Nullable(Bool)"
"view_count","Nullable(Int64)"
"like_count","Nullable(Int64)"
"dislike_count","Nullable(Int64)"
"is_crawlable","Nullable(Bool)"
"is_live_content","Nullable(Bool)"
"has_subtitles","Nullable(Bool)"
"is_ads_enabled","Nullable(Bool)"
"is_comments_enabled","Nullable(Bool)"
"description","Nullable(String)"
"rich_metadata","Array(Tuple(
    call Nullable(String),
    content Nullable(String),
    subtitle Nullable(String),
    title Nullable(String),
    url Nullable(String)))"
"super_titles","Array(Tuple(
    text Nullable(String),
    url Nullable(String)))"
"uploader_badges","Nullable(String)"
"video_badges","Nullable(String)"
```

そのファイル内の行数を数えることもできます。

```python theme={null}
chdb.query(
  """
  SELECT count()
  FROM s3(
    's3://clickhouse-public-datasets/youtube/original/files/' ||
    'youtubedislikes_20211127161229_18654868.1637897329_vid.json.zst',
    'JSONLines'
  )"""
)
```

```text theme={null}
336432
```

このファイルには、30万件を少し超えるレコードが含まれています。

chdb はまだクエリパラメータの受け渡しに対応していませんが、パスを取り出して f-string 経由で渡すことができます。

```python theme={null}
path = 's3://clickhouse-public-datasets/youtube/original/files/youtubedislikes_20211127161229_18654868.1637897329_vid.json.zst'
```

```python theme={null}
chdb.query(
  f"""
  SELECT count()
  FROM s3('{path}','JSONLines')
  """
)
```

<Warning>
  これはプログラム内で定義した変数に対して行う分には問題ありませんが、ユーザー入力に対しては行わないでください。そうしないと、クエリが SQL インジェクションの脆弱性を持つことになります。
</Warning>

<div id="configuring-the-output-format">
  ## 出力フォーマットの設定
</div>

デフォルトの出力フォーマットは `CSV` ですが、`output_format` パラメータで変更できます。
chDB は ClickHouse のデータフォーマットに加えて、[`独自のフォーマット`](/docs/ja/chdb/reference/data-formats) にも対応しており、その中には Pandas DataFrame を返す `DataFrame` も含まれます。

```python theme={null}
result = chdb.query(
  f"""
  SELECT is_ads_enabled, count()
  FROM s3('{path}','JSONLines')
  GROUP BY ALL
  """,
  output_format="DataFrame"
)

print(type(result))
print(result)
```

```text theme={null}
<class 'pandas.core.frame.DataFrame'>
   is_ads_enabled  count()
0           False   301125
1            True    35307
```

あるいは、Apache Arrowテーブルを取得するには、次のとおりです:

```python theme={null}
result = chdb.query(
  f"""
  SELECT is_live_content, count()
  FROM s3('{path}','JSONLines')
  GROUP BY ALL
  """,
  output_format="ArrowTable"
)

print(type(result))
print(result)
```

```text theme={null}
<class 'pyarrow.lib.Table'>
pyarrow.Table
is_live_content: bool
count(): uint64 not null
----
is_live_content: [[false,true]]
count(): [[315746,20686]]
```

<div id="creating-a-table-from-json-file">
  ## JSON ファイルからテーブルを作成する
</div>

次に、chDBでテーブルを作成する方法を見ていきましょう。
これには別のAPIを使用する必要があるため、まずそれをインポートします。

```python theme={null}
from chdb import session as chs
```

次に、セッションを初期化します。
セッションをディスクに永続化する場合は、ディレクトリ名を指定する必要があります。
空欄のままにすると、データベースはインメモリとなり、Python プロセスを終了するとすぐに失われます。

```python theme={null}
sess = chs.Session("gettingStarted.chdb")
```

次に、データベースを作成します。

```python theme={null}
sess.query("CREATE DATABASE IF NOT EXISTS youtube")
```

これで、`CREATE...EMPTY AS` を使って、JSON ファイルのスキーマに基づく `dislikes` テーブルを作成できます。
すべてのカラム型が `Nullable` にならないように、[`schema_inference_make_columns_nullable`](/docs/ja/reference/settings/formats#schema_inference_make_columns_nullable) 設定を使用します。

```python theme={null}
sess.query(f"""
  CREATE TABLE youtube.dislikes
  ORDER BY fetch_date 
  EMPTY AS 
  SELECT * 
  FROM s3('{path}','JSONLines')
  SETTINGS schema_inference_make_columns_nullable=0
  """
)
```

次に、`DESCRIBE` 句を使用してスキーマを確認できます:

```python theme={null}
sess.query(f"""
   DESCRIBE youtube.dislikes
   SETTINGS describe_compact_output=1
   """
)
```

```text theme={null}
"id","String"
"fetch_date","String"
"upload_date","String"
"title","String"
"uploader_id","String"
"uploader","String"
"uploader_sub_count","Int64"
"is_age_limit","Bool"
"view_count","Int64"
"like_count","Int64"
"dislike_count","Int64"
"is_crawlable","Bool"
"is_live_content","Bool"
"has_subtitles","Bool"
"is_ads_enabled","Bool"
"is_comments_enabled","Bool"
"description","String"
"rich_metadata","Array(Tuple(
    call String,
    content String,
    subtitle String,
    title String,
    url String))"
"super_titles","Array(Tuple(
    text String,
    url String))"
"uploader_badges","String"
"video_badges","String"
```

次に、そのテーブルにデータを挿入しましょう：

```python theme={null}
sess.query(f"""
  INSERT INTO youtube.dislikes
  SELECT * 
  FROM s3('{path}','JSONLines')
  SETTINGS schema_inference_make_columns_nullable=0
  """
)
```

これら2つの手順は、`CREATE...AS` を使えば一度に実行することもできます。
では、その方法で別のテーブルを作成してみましょう。

```python theme={null}
sess.query(f"""
  CREATE TABLE youtube.dislikes2
  ORDER BY fetch_date 
  AS 
  SELECT * 
  FROM s3('{path}','JSONLines')
  SETTINGS schema_inference_make_columns_nullable=0
  """
)
```

<div id="querying-a-table">
  ## テーブルにクエリを実行する
</div>

最後に、テーブルにクエリを実行してみましょう。

```sql theme={null}
df = sess.query("""
  SELECT uploader, sum(view_count) AS viewCount, sum(like_count) AS likeCount, sum(dislike_count) AS dislikeCount
  FROM youtube.dislikes
  GROUP BY ALL
  ORDER BY viewCount DESC
  LIMIT 10
  """,
  "DataFrame"
)
df
```

```text theme={null}
                             uploader  viewCount  likeCount  dislikeCount
0                             Jeremih  139066569     812602         37842
1                     TheKillersMusic  109313116     529361         11931
2  LetsGoMartin- Canciones Infantiles  104747788     236615        141467
3                    Xiaoying Cuisine   54458335    1031525         37049
4                                Adri   47404537     279033         36583
5                  Diana and Roma IND   43829341     182334        148740
6                      ChuChuTV Tamil   39244854     244614        213772
7                            Cheez-It   35342270        108            27
8                            Anime Uz   33375618    1270673         60013
9                    RC Cars OFF Road   31952962     101503         49489
```

では次に、高評価と低評価の比率を計算するために、DataFrame にカラムを 1 つ追加するとしましょう。
次のようなコードを書けます。

```python theme={null}
df["likeDislikeRatio"] = df["likeCount"] / df["dislikeCount"]
```

<div id="querying-a-pandas-dataframe">
  ## Pandas DataFrame へのクエリ
</div>

次に、chDB からその DataFrame に対してクエリを実行できます。

```python theme={null}
chdb.query(
  """
  SELECT uploader, likeDislikeRatio
  FROM Python(df)
  """,
  output_format="DataFrame"
)
```

```text theme={null}
                             uploader  likeDislikeRatio
0                             Jeremih         21.473548
1                     TheKillersMusic         44.368536
2  LetsGoMartin- Canciones Infantiles          1.672581
3                    Xiaoying Cuisine         27.842182
4                                Adri          7.627395
5                  Diana and Roma IND          1.225857
6                      ChuChuTV Tamil          1.144275
7                            Cheez-It          4.000000
8                            Anime Uz         21.173296
9                    RC Cars OFF Road          2.051021
```

Pandas DataFrames に対するクエリについて詳しくは、[Pandas DataFrames をクエリする開発者ガイド](/docs/ja/chdb/guides/querying-pandas)も参照してください。

<div id="next-steps">
  ## 次のステップ
</div>

このガイドで、chDB の概要をつかんでいただけたなら幸いです。
使い方をさらに詳しく知りたい場合は、以下の開発者向けガイドを参照してください。

* [Pandas DataFramesのクエリ](/docs/ja/chdb/guides/querying-pandas)
* [Apache Arrowのクエリ](/docs/ja/chdb/guides/querying-apache-arrow)
* [JupySQLでのchDBの利用](/docs/ja/chdb/guides/jupysql)
* [既存のclickhouse-local databaseでのchDBの利用](/docs/ja/chdb/guides/clickhouse-local)