Skip to content

ClickHouse と Power BI をエンドツーエンドで列指向に: Arrow Flight コネクタのパブリックプレビュー開始

t02em6f031p u05hhh163u1 5da388ffe5d5 512alex f
2026年11月19日 · 13分で読む

Arrow Flight SQL 経由で Power BI を ClickHouse に直接接続します。

ClickHouse はデータを列で保存します。Power BI もデータを列で保存します。これまで、一方からもう一方へデータを渡すには、いったん行に変換してからもう一度列に戻す必要がありました。

このたび、Power BI 用 ClickHouse Arrow Flight コネクタのパブリックプレビューを発表します。データエコシステム全体で標準化が進むオープン標準の Arrow Flight SQL を介して Power BI を ClickHouse に直接接続し、データを最初から最後まで列指向のまま保ちます。

実用面でのメリットは、間に何もデプロイせずに Power BI サービスから直接更新を実行できること、大規模なロードが高速になること、そしてそれを処理する ClickHouse 側の負荷が大幅に減ることです。

新しいコネクタが必要な理由

既存の Power BI 用 ClickHouse コネクタは ODBC 上に構築されています。これまで多くのダッシュボードを支えてきており、今後も完全にサポートされます。一方で、Power BI の接続基盤は Arrow ネイティブのドライバーへと移行しつつあり、新しいコネクタはこのプラットフォームの向かう先に合わせて構築されています。その理由はデータの形にあります。

ODBC は 1990 年代前半に設計された仕組みで、データを行単位で転送します。そのため更新のたびに、ClickHouse から列指向データを取り出して行に変換し、行のまま転送して、Power BI の中で再び列に戻す処理が走ります。動作はしますが、同じ言語を話す 2 人が読むために、本をわざわざ別の言語に翻訳してから元の言語に訳し戻すようなものです。

新しいコネクタはこの翻訳を省きます。

行と列の比較: 同じテーブルを 2 通りの方法で転送した例 (サンプルデータ)。

そもそも Arrow Flight SQL とは?

ClickHouse には 25.8 から Arrow Flight インターフェースがあり、26.4 前後で大幅に作り直しましたが、これまでちゃんと紹介する機会がありませんでした。そこで手短に説明します。これは積み重なった次のレイヤーから成り立っています。

  • Apache Arrow は、型付きの連続したバッファを使って、テーブルをカラムごとにメモリ上に配置するための標準形式です。2 つのプログラムがどちらも Arrow を扱えれば、何も変換せずに一方から他方へテーブルを受け渡せます。
  • Arrow Flight は、そうした Arrow テーブルをネットワーク越しに送信するための gRPC ベースのプロトコルです。バッチはメモリ上と同じレイアウトのままネットワークを流れます。
  • Arrow Flight SQL は、そこにデータベースの機能を加えたものです。SQL クエリを送信して Arrow バッチを受け取る仕組みに加え、クライアントがテーブルや型を検出するためのメタデータ呼び出しを備えています。

これらと並んで目にする 4 番目の名前が ADBC (Arrow Database Connectivity) です。クライアント側の API で、ODBC や JDBC に対応する Arrow ネイティブ版にあたります。アプリケーションが ADBC で呼び出しを行い、ADBC ドライバーがサーバーと Flight SQL で通信します。

ClickHouse でもこれを用意しており、Arrow ネイティブのクライアントを使いたいアプリケーション向けに独自のオープンソース ADBC ドライバーをメンテナンスしています (ClickHouse とは HTTP で通信します)。Power BI 自体に Flight SQL ドライバーが同梱されているため Power BI コネクタでは不要ですが、独自のアプリケーションを構築する場合には利用できます。

ClickHouse 側から見れば、別のポートで待ち受けるインターフェースが 1 つ増えるだけです。動作を確かめるには数行の Python コードで十分です:

import pyarrow.flight as flight

client = flight.FlightClient("grpc+tls://<host>:9090")
token = client.authenticate_basic_token("default", "<password>")
options = flight.FlightCallOptions(headers=[token])

# Send SQL, get Arrow back.
info = client.get_flight_info(
    flight.FlightDescriptor.for_command("SELECT country, count() FROM orders GROUP BY country;"),
    options,
)
table = client.do_get(info.endpoints[0].ticket, options).read_all()
print(table)

この table は本物の Arrow テーブルです。テキストからのパースは一切行われておらず、途中で値が変換されることもありません。

なぜ誰もが Arrow に賭けているのか?

そうしなければ、あらゆるツールが他のあらゆるツールへデータを渡す独自の方法を編み出し、境界のたびに変換コストを払うことになるからです。

ここ数年で、データエコシステムは共通フォーマットとして静かに Arrow へと収束してきました。Apache Spark は JVM と Python の間でデータを移動するのに Arrow を使っています。pandas は DataFrame のバックエンドに Arrow を使えますし、Polars は最初から Arrow のメモリモデルの上に構築されています。DataFusion はエンドツーエンドで Arrow ネイティブなクエリエンジンであり、DuckDB はコピーなしで Arrow を読み書きします。データ変換の領域でも、dbt v2 とその Fusion エンジンが ADBC ドライバー経由でデータウェアハウスと通信します。

そして今、ラストワンマイルである BI と可視化ツールが追いつきつつあります。Microsoft は Power BI と Fabric の接続基盤を ADBC と Flight SQL へと移行させており、それによって今回のコネクタが実現しました。

「私たちの目標は、データがどこにあっても、Microsoft Fabric を最も簡単にデータへ接続し、統合し、価値を引き出せる場所にすることです。新しい ClickHouse コネクタは ADBC と Flight SQL による Fabric のモダンなデータ接続スタックを活用し、高性能でオープン標準に基づいた ClickHouse データへのアクセス経路をユーザーに提供します。」

Faisal Mohamood 氏、Microsoft データ統合担当コーポレートバイスプレジデント

基盤となる単一の列指向フォーマット、ネットワーク上の単一のプロトコル、そしてその上に広がるツール群。

列指向データベースにとって、これは二重に朗報です。データを本来の形から変える必要が一切なくなり、しっかり作り込んだ 1 つのインターフェースでクライアントのエコシステム全体に対応できます。

新しいコネクタの仕組み

Power BI サービスには、Flight SQL 用の ADBC ドライバーがすでに同梱されています。新しいコネクタはこのドライバーを使い、TLS で暗号化された gRPC 接続を ClickHouse の Arrow Flight インターフェースへ直接開きます。クエリは SQL として送信され、結果は Arrow レコードバッチとして返ってきます。

仕組みはこれだけです 🙂

ODBC コネクタでは Power BI サービスと ClickHouse の間にゲートウェイマシンが必要です。Arrow Flight コネクタは直接接続します。

Power BI サービス自体がその接続を行うため、オンプレミスデータゲートウェイのデプロイやサイジング、パッチ適用は不要で、ドライバーのインストールもいりません。Power BI で接続を作成すると、「データ ゲートウェイ」欄には単に (なし) と表示されます。

Power BI 上の ClickHouse Arrow Flight (Preview)。データ ゲートウェイは (なし) に設定されています。

データ転送以外にも、このコネクタは Power BI のファーストクラスのデータソースに求められる機能を備えています:

  • クエリフォールディング。 Power Query で組み立てたフィルタ、ソート、GROUP BY、内部結合は SQL として ClickHouse にプッシュダウンされるため、重い処理は ClickHouse が担い、Power BI は必要なデータだけを受け取ります。
  • 忠実な型表現。 Decimal や UInt64 の値は途中で浮動小数点数を経由することなく、そのまま正確に Power Query へ届きます (その後 Power BI のデータモデル側で独自の数値型が適用されるため、精度が重要なカラムでは「固定小数点数」を選択してください)。
  • デフォルトでの暗号化。 すべての接続は完全な証明書検証を伴う TLS 上の gRPC で行われます。平文モードはありません。
  • ネイティブクエリ。 完全に制御したい場合は、Value.NativeQuery を使って記述した SQL をそのまま渡せます。

実際、速くなるのか?

はい。計測結果は次のとおりです。

Power BI サービス上で両方のコネクタから同じテーブルをロードしました。1,000 万行、20 カラムで、整数、固定小数点数、タイムスタンプ、文字列 (実際のテーブルと同様に高カーディナリティのものもいくつか含む) を現実的な割合で混ぜたテーブルです。Arrow Flight は直接接続しました。ODBC については可能な限り好条件を揃えるため、隣接するクラウドリージョンで ClickHouse の近くに配置したゲートウェイ VM に最新の ODBC ドライバーを入れて経由させました。両者を交互に 3 回ずつ実行しています。

Power BI サービスにおけるインポートモードでの 1,000 万行の更新。棒グラフは 3 回の実行の中央値、ドットは各回の値を示します。

Arrow Flight (ゲートウェイなし)ODBC + ゲートウェイ
更新時間 (中央値)278 s390 s
更新時間 (全実行)271 / 278 / 286 s377 / 390 / 460 s
ClickHouse がクエリに費やした時間約 5 s約 150 s
ロード 1 回あたりの ClickHouse CPU 時間5.2 s32.4 s
中間で稼働させるマシンなしゲートウェイ VM 1 台 (更新 1 回あたり約 2.5 分間、4 vCPU の約 40% を使用)

🔬 テスト環境。 AWS us-west-2 上の ClickHouse Cloud サービスで、16 GiB のレプリカ 3 台で ClickHouse 26.11 を稼働。Power BI ワークスペースは Azure West US の共有容量上。ゲートウェイは West US 2 の 4 vCPU / 16 GB Azure VM 上で、2026年10月ビルドのゲートウェイと ClickHouse ODBC ドライバー 1.5.5 を使用。どちらのセマンティックモデルも同じテーブルを変換なしでロードし、ロードされたデータが両経路で完全に一致することを確認済みです。

結果として、更新は約 1.4 倍高速になり、それを処理する ClickHouse の CPU 作業量はおよそ 6 分の 1 に減りました。ODBC ではドライバー経由で行を引き出している間、クエリが 2 分半にわたって開いたままになります。Arrow Flight では、ClickHouse 側の処理は約 5 秒で完了します。

ClickHouse が 150 秒ではなく 5 秒で応答するのに、なぜ更新全体は 30 倍速くならないのでしょうか? 更新処理の大半はデータが到着した後に起きるからです。Power BI は受け取った 1,000 万行をインメモリモデルへと圧縮しますが、その作業はどちらのコネクタでデータを受け取っても同じです。Arrow Flight が変えるのは、そこに至るまでのすべての工程です。

留意点

本コネクタはパブリックプレビュー段階であり、ぜひフィードバックをお寄せください。現時点で最も快適に動作するのはインポートモードで、DirectQuery のサポートはまだ成熟の途上にあり、改善がすでに進められています。現在の既知の制限事項とその対応状況については、ClickHouse Power BI ドキュメントを参照し、コネクタの GitHub リポジトリで公開中の Issue をご確認ください。

試すには

ClickHouse Cloud の場合、サポートチケットを起票し、お使いのサービスで Arrow Flight の有効化を依頼してください。

セルフマネージドの ClickHouse の場合 (26.5 以降)、ポートと証明書を指定してインターフェースを有効にします:

<clickhouse>
    <arrowflight_port>9090</arrowflight_port>
    <arrowflight>
        <enable_ssl>true</enable_ssl>
        <ssl_cert_file>/path/to/server.crt</ssl_cert_file>
        <ssl_key_file>/path/to/server.key</ssl_key_file>
    </arrowflight>
</clickhouse>

続いて、Power BI サービスで次の操作を行います:

  1. データを取得を選択し、ClickHouse Arrow Flight を検索します。
  2. サーバーと Arrow Flight ポート (ClickHouse Cloud では 9090)、必要に応じてデータベースを入力します。
  3. ClickHouse のユーザー名とパスワードでサインインします。
  4. テーブルを選択してロードします。

セットアップはこれだけです。インストールするドライバーも、間にデプロイするものもありません。

このコネクタはオープンソースで公開しており、うまく動いた点や課題があればぜひお聞かせください。Issue やフィードバックはコネクタのリポジトリでお待ちしています。

それでは、快適なダッシュボード作りを!

今すぐ始める

自社のデータで ClickHouse を試してみませんか? 数分で ClickHouse Cloud を始められ、$300 分の無料クレジットを受け取れます。

サインアップ

この記事をシェア

  • Y Combinator icon
  • X icon
  • Bluesky icon
  • Facebook icon
  • LinkedIn icon

Subscribe to our newsletter

Stay informed on feature releases, product roadmap, support, and cloud offerings!

Follow us

XBlueskySlackGithubTelegramMeetupRSS