"We aggregate the user's history in ClickHouse and use it as a data store for training and inference. Even when reading 10s of millions of rows, the performance was very nice and not the bottleneck when training new models."
- Use cases
- Machine learning and GenAI
機械学習とGenAI
機械学習ワークロードを支える究極のリアルタイムデータベース。ClickHouseを使えば、分析データでGenAIを活用することがこれまで以上に簡単になります。
- ML専用データストアの必要性を排除し、データスタックをシンプルに
- 超高速な集約によるデータ準備で、ペタバイト規模のモデルトレーニングを実現
- 線形および近似手法による高速で効率的なベクトル検索を実行
- あらゆるプロバイダーの事前構築モデルをプラグアンドプレイで直接利用
- 豊富なインテグレーションスイートを通じて、お気に入りのMLツールで開発
企業がClickHouseでAIワークロードを支える理由をご覧ください。
最高クラスの取り込み速度。連続的なデータストリームを処理し、正確な予測と結果を生み出す最新の情報を活用できます。
スケールでの比類なきクエリパフォーマンス。数十億行をミリ秒でクエリ。反復時間を短縮し、データの効率を最大化します。
強力な自動スケーリング。予測不可能なワークロードに対応する設計。インフラストラクチャを気にせず、機械学習に集中できます。
Python用インプロセスOLAP SQLエンジンとして利用可能。chDBを使って、Pythonコードで直接ClickHouseのフルパワーを活用できます。
大規模データを扱う開発者にスケールで信頼されています
ClickHouse for ML & AI
ClickHouseは、複雑なデータからインサイトを引き出すことを容易にするために設計されています。データ量に関わらず。集約によるモデルトレーニングと評価のための貴重な情報の抽出、User Defined Functionsによる推論の実行、ベクトル検索の実行など、ClickHouseはデータ効率を最大化し、あらゆるアプリケーションでAIの力を解き放ちます。
ClickHouse is trusted at scale to ingest and process billions of new events per day from a wide range of sources and formats. For continuous streams of data, ClickPipes seamlessly manages your ingestion pipelines so that you don't have to.
Features like User Defined Functions, described in more depth below, can be used to invoke models at insert time. This gives you the ability to pass incoming data to a model, receive the output, and store these results along with your ingested data. All without having to spin up other processes or jobs.
Native table functions make it easy to query data wherever it lives, whether locally or in object stores such as GCS and S3, or applying transformations via services like HuggingFace.
ClickHouse User Defined Functions give you the flexibility to run Python scripts - or whichever executable language you prefer - directly in ClickHouse. These scripts can be triggered at insert or query time, making it easy to invoke pre-built models from providers like OpenAI and HuggingFace, or your own.
Our extensive suite of statistical and aggregation functions scale seamlessly over petabytes of data, providing powerful model training and evaluation resources. With support for the most granular precision data types and codecs, you don't need to worry about reducing granularity.
With ClickHouse, executing vector searches using linear or approximate techniques is effortless, with out-of-the-box support and blazing speed.
ClickHouse is trusted all over the world to power customer-facing applications, where real-time responsiveness is critical.
With ClickHouse, you have everything you need to enrich your customer experiences through machine learning workloads run on your data, all in one place.
Our vibrant and growing ecosystem of integrations makes it easy to leverage your notebooks, visualization tools, and more, directly with ClickHouse.
価値ある体験とインサイトを創造
魅力的なパーソナライゼーション機能の構築、セマンティック検索のプロダクトへの組み込み、生コンテンツからの要約インサイトの自動生成など、ClickHouseはデータを活用したAI搭載機能を構築するために必要な機能を提供します。
データスタックを統一
ベクトル検索などの特定の機械学習タスクに使用される専門的なデータストアの必要性を排除します。ClickHouseを使えば、分析の実行、機械学習ワークロードの実行、アドホッククエリの管理を、すべて一つの統合データストアで実現できます。
データを効率的に管理
ClickHouseの効率的なリソース管理により、コスト効率を最大化します。カラム指向設計が最高クラスの圧縮率を実現し、ストレージの負担を軽減し、最も負荷の高いMLワークロードでも高速処理を保証します。
お気に入りのツールを使用
お気に入りのMLツールでClickHouseを直接活用できます。成長を続けるインテグレーションコミュニティには、人気の機械学習フレームワーク、可視化ツール、ノートブックなどが含まれています。
Supporting references
ClickHouseでMLを始めるための詳細なガイドについては、ブログをご覧ください:
- Vector Search with ClickHouse - Part 1
- Vector Search with ClickHouse - Part 2
- Video: ClickHouse for AI - Vectors, Embedding, Semantic Search, and more - Alexey Milovidov, ClickHouse
- Video: Vector Search In ClickHouse - Dale McDiarmid
- Using Langchain with ClickHouse
- Using Deepnote with ClickHouse
- Analyzing Hugging Face datasets with ClickHouse
- Using ClickHouse UDFs to integrate with OpenAI models
- Forecasting Using ClickHouse Machine Learning Functions
- Helicone's Migration from Postgres to ClickHouse for Advanced LLM Monitoring
- ClickHouse and the Machine Learning Data Layer
- Powering Feature Stores with ClickHouse
ClickHouse Cloudを無料で始めましょう
30日間のトライアルと300ドルのクレジットで、お好きなペースでお試しいただけます。