🔍

WeaviateでMUVERAを試す

に公開
2025/12/25

この記事は、情報検索・検索技術Advent Calendar 2025 の24日目の記事です。

はじめに

Googleが提案したマルチベクトル検索の効率化手法である「MUVERA」が気になっていたのですが、Weaviateでも標準機能として利用可能になっています。そこで、実際にどの程度のステップで導入でき、どのようなパフォーマンスが得られるのかを検証してみました。

MUVERAとは

ベクトル検索を行う際に、ベクトルを一つだけ使う方法とColBERTのように複数のベクトルを使う方法があります。

  1. シングルベクトル
    • 文章全体を1つのベクトルに圧縮。高速(MIPS)だが、情報の損失が多い
  2. マルチベクトル(例:ColBERT)
    • トークンごとに1つの埋め込みを生成することで、クエリや文章あたりの複数の埋め込みを生成する
    • シングルベクトル表現に比べて、解釈可能性や汎化能力で優れている

https://arxiv.org/abs/2004.12832

マルチベクトル検索では、埋め込み数が桁違いに増加するため大量のメモリが必要となります。また、クエリと文書の類似度計算に Chamfer類似度(MaxSim) という非線形な計算を用いるのですが、これが既存の高速なベクトル近傍探索(MIPS)アルゴリズム(FaissやHNSWなど)と相性が悪く、大規模運用での大きな壁となっていました。

MUVERA (Multi-Vector Retrieval via Fixed Dimensional Encodings) は、この複雑なマルチベクトル同士の計算を、「特定の変換をかけたシングルベクトル同士の内積」に変換してしまう手法です。

https://arxiv.org/abs/2405.19504

MUVERAの核となるアイデアは、マルチベクトルのChamfer類似度(MaxSim)と変換後のシングルベクトルの内積が近ければ、シングルベクトルに置き換えられるというものです。クエリと文書に対して非対称にFixed Dimensional Encodings(FDE、固定次元エンコーディング)を生成します。

以下では、マルチベクトルからシングルベクトルに変換する方法を説明します。

① 空間分割(Space Partitioning)
まず、ベクトル空間を B 個の領域に分割します。これには k-meansクラスタリング や SimHash(ランダムな超平面による分割)が使われます。
SimHashはベクトル空間 \mathbb{R}^d を2^{k_{sim}}個の領域に分割するための手法で、ランダムな超平面を使って空間を切断します。

次に、クエリと文書のベクトルをそれぞれの領域に振り分け、領域ごとに集約します。

  • クエリベクトル: クラスタ内の全ベクトルの和をとる
  • 文書ベクトル: クラスタ内の全ベクトルの平均をとる
    • すべての単純な合計だとドキュメントの長さに強く依存してしまい、長文が優位になってしまう


図:MUVERAによるマルチベクトルの変換プロセス(Step 1)(出典:Weaviate Blog - MUVERA)

その後、空のクラスタ対策を行います。
領域数B を増やした時に特定のクラスタにドキュメントベクトルが全くない場合が増えてしまい、 クエリベクトルがそのクラスタに含まれていると内積がゼロになってしまい関係のあるドキュメントを見逃してしまう。MUVERAでは「もっとも近いベクトル」を割り当てることで、この欠落を防いでいます。

図:MUVERAによるマルチベクトルの変換プロセス(Step 2)(出典:Weaviate Blog - MUVERA)

② 次元削減(Random Linear Projection)
集約後のベクトルは B \times d 次元(分割数 × 元のベクトルの次元)という巨大なものになります。これを扱いやすくするため、ランダム線形射影を適用します。

\psi(x) = \frac{1}{\sqrt{d_{\text{proj}}}} S x

ここで使われる行列 S の各要素は +1 または -1 で構成されます。これは「ジョンソン=リンデンシュトラウスの補題(JL Lemma)」に基づき、次元を減らしてもベクトルの内積(類似度)を高い確率で保存できるという数学的保証を利用しています。

③ 複数回の繰り返し(Repetition)
1回の空間分割だけでは、似たベクトル同士が偶然別の領域に分かれてしまうリスクがあります。そこで、このプロセスを R_{\text{reps}} 回繰り返し、結果を連結します。これにより、近似の精度を飛躍的に高めます。

F_q(Q) = \left( \vec{q}^{1,\psi}, \vec{q}^{2,\psi}, \dots, \vec{q}^{R_{\text{reps}},\psi} \right)

ここまでで R_{reps} * B * d_{proj} 次元のベクトルになります。

④ 最終射影
最後に、連結して長くなったベクトルをもう一度ランダム線形射影にかけ、最終的な固定次元 d_{\text{final}} に落とし込みます。これで、シングルベクトルが完成します。

WeaviateでMUVERAを試す方法

WeaviateでMUVERA(Multi-Vector Compression)を利用するのは非常に簡単で、インデックス作成時に encoding の設定を一行追加するだけで対応できます。

本記事ではその実装ポイントをかいつまんで解説します。なお、動作するコードの全体像は以下のGitHubリポジトリで公開していますので、併せて参考にしてください。
http://github.com/takatori/weaviate-sample/blob/main/notebook/muvera.ipynb

コレクションの作成とMUVERAの設定

まず、Weaviateとの接続を確立し、コレクション(Weaviateにおけるスキーマ単位)を作成します。

import weaviate
from weaviate.classes.config import Configure, Property, DataType

client = weaviate.connect_to_local()
if client.collections.exists(MUVERA_CLASS_NAME):
    client.collections.delete(MUVERA_CLASS_NAME)

client.collections.create(
    name=MUVERA_CLASS_NAME,
    vector_config=[
        Configure.MultiVectors.self_provided(
            name="multi_vector",
            # muveraの設定はこれだけ
            encoding=Configure.VectorIndex.MultiVector.Encoding.muvera(),
        ),
    ],
    properties=[
        Property(name="d_id", data_type=DataType.TEXT),
        Property(name="q_id", data_type=DataType.TEXT, index_filterable=True),
        Property(name="title", data_type=DataType.TEXT),
        Property(name="text", data_type=DataType.TEXT),
    ],
)

vector_config でベクトルの設定を行いますが、MUVERAを有効化するために必要なのは、encoding に Configure.VectorIndex.MultiVector.Encoding.muvera() を指定することだけです。とても簡単に実装できます。なお、今回はデフォルト設定を使用しましたが、必要に応じて以下の3つのパラメータを調整することも可能です。

  • ksim: SimHash分割関数でサンプリングされるガウスベクトルの数。ハッシュのビット数、つまり空間分割ステップで作成されるバケットの数を決定します
  • dprojections: 次元削減ステップにおける、ランダム線形投影後のサブベクトルの次元数。値を小さくすると、最終的な固定次元エンコーディングの全体サイズが抑えられメモリ消費を削減できますが、情報の損失により検索精度が低下する可能性があります
  • repetition: 空間分割と次元削減のステップを繰り返す回数です

データの投入

データの投入方法は以下の通りです。MUVERAを有効にしている場合、投入されたマルチベクトルは裏側で自動的にシングルベクトルに変換され、インデックスに格納されます。

muvera_col = client.collections.get(MUVERA_CLASS_NAME)

# subsetにはドキュメントの元データ、emb_subsetには事前に埋め込み済みのマルチベクトル(リストのリスト)が格納されている想定
with muvera_col.batch.fixed_size(batch_size=16) as batch:
    for obj, emb in zip(subset, emb_subset):
        batch.add_object(
            properties={
                "d_id": obj["id"],
                "q_id": obj["q_id"],
                "text": obj["text"],
                "title": obj["title"],
            },
            vector={"multi_vector": emb.tolist()},
        )

検索の実行

検索時も、インデックス時と同様にクエリのマルチベクトルをそのまま渡すだけです。


response = await async_col.query.near_vector(
    near_vector=q_vecs,
    target_vector="multi_vector",
    limit=topk,
    filters=Filter.by_property("q_id").equal(q_id),
    return_metadata=MetadataQuery(distance=True)
)

評価実験

今回は、日本語検索のベンチマークである JQaRA データセットを用い、JaColBERT および JaColBERTv2.5 の評価を行いました。

Weaviate上のMUVERAでインデックスした際の結果と、JQaRA公式リポジトリで公開されているJaColBERT および JaColBERTv2.5の評価値との比較は以下の通りです。
https://github.com/hotchpotch/JQaRA?tab=readme-ov-file

モデル名 指標 MUVERA (今回) 公表値 差分
JaColBERT nDCG@10 0.5144 0.5488 -0.0344
MRR@10 0.7910 0.8116 -0.0206
JaColBERTv2.5 nDCG@10 0.6176 0.6420 -0.0244
MRR@10 0.8480 0.8647 -0.0167

MUVERAによる圧縮を行っているため、公式値と比較すると若干のスコア低下は見られます。しかし、その差はわずかであり、十分に実用的な精度を維持できていると言えそうです。

本来、ColBERTのようなマルチベクトルをそのまま扱う場合、膨大なメモリ(RAM)を消費します。筆者のローカル環境では、圧縮なしの状態ではメモリ不足のためインデックス構築すら困難でしたが、MUVERAを適用することでスムーズに動作させることができました。

今回はMUVERAのみを試しましたが、ここからさらに量子化を組み合わせることで、精度を極力保ちつつ、さらにメモリ消費を抑えることも可能です。

まとめ

WeaviateでMUVERAを試してみましたが、マルチベクトルをシングルベクトルに変換することでメモリ消費を抑え、高速化を図るというアプローチは非常に合理的だと感じました。

今回の実験結果を見る限り、精度とパフォーマンスのバランスも良く、十分に実用的なレベルと言えそうです。こうした高度な機能を、インデックスの設定ひとつで手軽に導入できる点は、Weaviateの大きなメリットではないでしょうか。

今回はデフォルト設定での検証となりましたが、今後はクラスタ数(ksim)や repetition などのパラメータを調整することで、検索結果にどのような変化が出るのかをさらに詳しく見ていきたいです。

参考

https://github.com/hotchpotch/JQaRA?tab=readme-ov-file

https://docs.weaviate.io/weaviate/configuration/compression/multi-vectors#muvera-encoding

Discussion