ベクトル検索に ClickHouse を使おう!
- 検索前に、ClickHouse のフィルタリング機能や全文検索機能でデータセットを絞り込めます。
- データセットに対して分析を実行できます。
- 既存のデータに対して
JOINを実行できます。 - 新たなデータベースを別途管理して、インフラストラクチャを複雑にする必要がありません。
1
埋め込みを作成する
データ (ドキュメント、イメージ、または構造化データ) は、埋め込み に変換する必要があります。埋め込みの作成には、OpenAI Embeddings API またはオープンソースの Python ライブラリ SentenceTransformers を使用することを推奨します。埋め込みは、データを表す多数の浮動小数点数の配列と考えることができます。詳しくは、埋め込みについて詳しく学べる OpenAI のガイド を参照してください。
2
埋め込みを保存する
埋め込みを生成したら、それらを ClickHouse に保存する必要があります。各埋め込みは個別の行に保存し、フィルタリング、集計、分析のためのメタデータを含めることができます。以下は、キャプション付きのイメージを保存できるテーブルの例です。
3
関連する埋め込みを検索する
データセット内で犬の写真を検索したいとします。このクエリは、指定した犬のイメージに関連している可能性が最も高い上位 10 件のイメージについて、
cosineDistance のような距離関数を使えば、犬のイメージの埋め込みを使って、関連するイメージを検索できます。_file 名と caption を返します。