Zenn
Closed6

jina-embeddings-v3: Multilingual Embeddings With Task LoRA

LLM
embeddings
Jina
kun432kun432

2024/09/17追記
HuggingFaceのレポジトリ公開されてた
https://huggingface.co/jinaai/jina-embeddings-v3

https://twitter.com/arankomatsuzaki/status/1835915779386245361

https://arxiv.org/abs/2409.10173

Claude-3.5-Sonnetによる要約

1. どんなもの？

この論文は、「jina-embeddings-v3」という新しいテキスト埋め込みモデルを紹介しています。このモデルは5億7000万のパラメータを持ち、多言語データや長文脈検索タスクで最先端の性能を達成しています。最大8192トークンの文脈長をサポートし、クエリ-文書検索、クラスタリング、分類、テキストマッチングなどのタスク固有の低ランク適応（LoRA）アダプタを備えています。また、マトリョーシカ表現学習を訓練プロセスに組み込み、埋め込みの次元数を柔軟に調整できるようにしています。MTEBベンチマークでの評価では、英語タスクにおいてOpenAIやCohereの最新の独自埋め込みを上回り、多言語タスクではmultilingual-e5-large-instructを上回る性能を示しています。

2. 先行研究と比べてどこがすごい？

jina-embeddings-v3の主な優位点は以下の通りです：

  1. 多言語性能：英語だけでなく、多言語タスクでも高い性能を示しています。
  2. 長文脈処理：最大8192トークンの文脈長をサポートし、長文書の処理に優れています。
  3. タスク適応性：LoRAアダプタを用いて、異なるタスクに特化した埋め込みを生成できます。
  4. 効率性：LLMベースの埋め込みモデルと比較して、はるかに少ないパラメータ数で同等以上の性能を達成しています。
  5. 柔軟性：マトリョーシカ表現学習により、埋め込みの次元数を柔軟に調整できます。

これらの特徴により、jina-embeddings-v3は先行研究と比較して、より汎用的で効率的な埋め込みモデルとなっています。

3. 技術や手法の肝はどこ？

jina-embeddings-v3の主要な技術的特徴は以下の通りです：

  1. XLM-RoBERTaをベースとしたアーキテクチャ：多言語処理能力の基盤となっています。
  2. 回転位置埋め込み（RoPE）：長文脈処理を可能にしています。
  3. タスク特化型LoRAアダプタ：異なるタスクに適応する能力を提供しています。
  4. マトリョーシカ表現学習：埋め込みの次元数の柔軟な調整を可能にしています。
  5. 合成データと選好学習データセットの使用：一般的な検索失敗ケースへの対処を改善しています。
  6. FlashAttention 2の統合：計算効率を向上させています。

これらの技術の組み合わせにより、jina-embeddings-v3は多様なタスクと言語に対して高い性能を発揮しています。

4. どうやって有効だと検証した？

jina-embeddings-v3の有効性は、以下の方法で検証されています：

  1. MTEBベンチマーク：英語および多言語タスクでの包括的な評価を行い、他の最先端モデルと比較しています。
  2. LongEmbed MTEBタスク：長文書検索タスクでの性能を評価しています。
  3. 検索失敗ケースの分析：合成データと実際の検索ベンチマークを用いて、一般的な検索失敗ケースへの対処能力を評価しています。
  4. アブレーション研究：マトリョーシカ表現学習と非対称検索アダプタの効果を個別に分析しています。
  5. 多言語性能の評価：中国語、ドイツ語、スペイン語、フランス語、ロシア語など、複数の言語でのタスク性能を評価しています。

これらの評価を通じて、jina-embeddings-v3が多様なタスクと言語で高い性能を示すことが確認されています。

5. 議論はある？

論文では以下の点について議論されています：

  1. モデルサイズとパフォーマンスのトレードオフ：jina-embeddings-v3は、LLMベースのモデルと比較して大幅に小さいにもかかわらず、競争力のある性能を示しています。これは、実世界のアプリケーションにおける実用性を高めています。
  2. タスク特化型アダプタの効果：LoRAアダプタの使用が、異なるタスクでの性能向上にどのように寄与しているかが議論されています。
  3. 多言語性能：英語以外の言語でも高い性能を示していますが、一部のタスクでは改善の余地があることが示唆されています。
  4. 長文脈処理の課題：8192トークンまでの長い文脈をサポートしていますが、特定の長文タスクではさらなる改善が必要であることが議論されています。
  5. 検索失敗ケースへの対処：合成データの使用が検索性能の向上に寄与していますが、さらなる改善の可能性も示唆されています。

これらの議論点は、モデルの現在の強みと今後の改善の方向性を示しています。

6. 次に読むべき論文は？

この研究をさらに深めるために、以下の論文を読むことをお勧めします：

  1. Wang et al. (2022) "Text embeddings by weakly-supervised contrastive pre-training": コントラスティブ学習を用いた埋め込みモデルのトレーニングに関する基礎的な研究です。
  2. Hu et al. (2021) "LoRA: Low-Rank Adaptation of Large Language Models": LoRAの基本概念と応用について詳しく説明しています。
  3. Kusupati et al. (2022) "Matryoshka Representation Learning": マトリョーシカ表現学習の詳細な説明と応用例を提供しています。
  4. Zhang et al. (2024) "mGTE: Generalized long-context text representation and reranking models for multilingual text retrieval": 長文脈多言語テキスト検索モデルに関する最新の研究です。
  5. Lee et al. (2024) "Gecko: Versatile text embeddings distilled from large language models": LLMから知識を蒸留して小規模な埋め込みモデルを作成する手法を提案しています。

これらの論文は、jina-embeddings-v3で使用されている主要な技術や関連する最新の研究動向について、より深い理解を提供します。

kun432kun432
評価スコアからjina-embeddings-v3が他モデルよりも優れているタスク、逆に他モデルが優れているタスクをリストアップしてください。タスクの説明も追加してください。

jina-embeddings-v3が優れているタスク

  1. 英語の分類タスク (Classification Average [acc.]): 82.58%

    • 説明: テキストを事前に定義されたカテゴリに分類する能力を評価
    • 次点: multilingual-e5-large-instruct (77.56%)

  2. 英語の文章類似度タスク (STS Average [Spearman]): 85.80%

    • 説明: 2つの文章の意味的類似度を評価する能力を測定
    • 次点: multilingual-e5-large-instruct (84.78%)

  3. 多言語での文章類似度タスク (STS Average [Spearman %]): 69.83%

    • 説明: 複数言語での文章の意味的類似度を評価する能力を測定
    • 次点: multilingual-e5-large-instruct (68.77%)

  4. 長文書検索タスク (LongEmbed MTEB Tasks Average): 70.39%

    • 説明: 長い文書から関連情報を検索する能力を評価
    • 次点: baai-bge-m3 (56.56%)

他のモデルが優れているタスク

  1. 英語の検索タスク (Retrieval Average [nDCG@10 %]): 53.87%

    • 説明: クエリに関連する文書を検索する能力を評価
    • 優位: text-embedding-3-large (55.44%)

  2. 英語のクラスタリングタスク (Clustering Average [v–measure]): 45.27%

    • 説明: 類似したテキストをグループ化する能力を評価
    • 優位: text-embedding-3-large (49.00%)

  3. 英語の要約評価タスク (Summarization Average [Spearman]): 29.7%

    • 説明: 生成された要約の品質を評価する能力を測定
    • 優位: Cohere-embed-multilingual-v3.0 (30.99%)

  4. 多言語でのペア分類タスク (Pair Classification Average [AveP]): 76.91%

    • 説明: 2つのテキストが関連しているかどうかを判断する能力を評価
    • 優位: multilingual-e5-large-instruct (77.79%)

  5. 多言語でのクラスタリングタスク (Clustering Average [v–measure]): 46.71%

    • 説明: 複数言語でのテキストのグループ化能力を評価
    • 優位: multilingual-e5-large-instruct (52.12%)

  6. 多言語での再ランキングタスク (Reranking Average): 63.98%

    • 説明: 検索結果の順位を改善する能力を評価
    • 優位: multilingual-e5-large-instruct (69.02%)
kun432kun432
タスク特化型LoRAアダプタとはどういうものですか？またどう使い分けるのでしょうか？

タスク特化型LoRAアダプタの概要

タスク特化型LoRAアダプタは、jina-embeddings-v3モデルの重要な特徴の一つです。LoRA（Low-Rank Adaptation）は、大規模言語モデルを効率的に微調整するための技術です。jina-embeddings-v3では、この技術を活用して異なるタスクに特化したアダプタを実装しています。

主な特徴：

  1. 軽量性：LoRAアダプタは元のモデルパラメータの1%未満の追加メモリしか必要としません。
  2. タスク特化：各アダプタは特定のタスクに最適化されています。
  3. 柔軟性：ベースモデルを変更せずに、異なるタスクに適応できます。
  4. 効率性：完全な微調整と比較して、計算コストが大幅に削減されます。

LoRAアダプタの種類と使い分け

jina-embeddings-v3は5つの異なるLoRAアダプタを提供しており、それぞれ特定のタスクに最適化されています：

  1. 分類アダプタ（classification）：

    • 用途：テキスト分類タスク
    • 使用例：感情分析、トピック分類、意図分類など

  2. テキストマッチングアダプタ（text-matching）：

    • 用途：テキスト間の類似性を評価するタスク
    • 使用例：意味的テキスト類似度（STS）、対称的な検索タスクなど

  3. 検索アダプタ（retrieval）：

    • 用途：非対称な検索タスク
    • 使用例：質問応答、文書検索
    • 特徴：クエリ用と文書用の2つの別々のアダプタを使用

  4. 分離アダプタ（separation）：

    • 用途：クラスタリングや再ランキングタスク
    • 使用例：文書クラスタリング、検索結果の再ランキング

  5. 検索文書アダプタ（retrieval.passage）：

    • 用途：検索タスクにおける文書側の処理
    • 特徴：検索アダプタと対をなす

アダプタの使い分け

  1. タスクの種類に基づく選択：

    • 実行するタスクの性質に応じて適切なアダプタを選択します。
    • 例：分類タスクなら分類アダプタ、文書検索なら検索アダプタを使用

  2. 入力の役割に基づく選択：

    • 特に検索タスクでは、入力がクエリか文書かによってアダプタを使い分けます。
    • 例：クエリには検索アダプタ、文書には検索文書アダプタを使用

  3. タスクの対称性に基づく選択：

    • 対称的なタスク（両方の入力が同じ扱い）と非対称的なタスク（入力の役割が異なる）で使い分けます。
    • 例：テキスト類似度にはテキストマッチングアダプタ、Q&A検索には検索アダプタを使用

  4. 柔軟な適用：

    • 一部のタスクでは、複数のアダプタを試して最適なものを選択することも可能です。
    • 例：クラスタリングタスクで分離アダプタとテキストマッチングアダプタを比較

これらのタスク特化型LoRAアダプタを適切に使い分けることで、jina-embeddings-v3は様々なNLPタスクで高い性能を発揮することができます。

kun432kun432

クエリ・文書のような非対称検索の失敗ケースについて

検索失敗ケースについてはどのように書かれていますか？

検索失敗ケースの分析と対策

論文では、一般的な埋め込みモデルで観察される4つの主要な検索失敗ケースを特定し、それらに対処するための方法を提案しています。

1. 特定された検索失敗ケース

  1. 誤解を招く構文的類似性（F1）：

    • 問題：クエリと構文的に類似しているが、実際には関連性の低い文書が優先されてしまう。
    • 例：表面的な単語の一致が多いが、意味的には異なる文書が選ばれる。

  2. 固有名詞の誤解釈（F2）：

    • 問題：固有名詞が正しく認識されず、部分的な一致に基づいて不適切な文書が関連付けられる。
    • 例：「Sofia Albert」と「Albert Stone」のような名前の混同。

  3. 極性質問の理解不足（F3）：

    • 問題：複雑なYes/No質問（極性質問）が適切に処理されない。
    • 例：質問に直接答えていない関連コンテンツを含む文書が検索される。

  4. 低品質文書の優先（F4）：

    • 問題：文書の品質を考慮せず、単に類似性や関連性のみに基づいて検索が行われる。
    • 例：短い、反復的な、または情報価値の低い文書が検索結果として返される。

2. 対策方法

これらの失敗ケースに対処するため、以下の方法が採用されています：

  1. 合成データの生成：

    • F1、F2、F3に対処するため、特定の失敗ケースを標的とした合成テキスト例を作成。
    • 各例は、クエリテキスト、優先される回答、7つのネガティブ例で構成。

  2. 選好学習データセットの活用：

    • F4に対処するため、Open Assistantプロジェクトのoasst1とoasst2データセットを使用。
    • これらのデータセットには、人間の判断に基づく品質スコア（0-1）が付与されたLLM生成の質問と回答が含まれる。

  3. トレーニングデータへの変換：

    • 選好学習データセットを、ハードネガティブトレーニングデータに変換。
    • 最高品質の回答を正例とし、品質スコアが0.3ポイント以上低い回答を負例として扱う。

3. 効果の検証

提案された対策の有効性を評価するため、以下の2つの定量的評価が行われました：

  1. 既存の検索ベンチマークでの評価：

    • HotpotQAやNaturalQuestionsなどのデータセットを使用。
    • 結果：検索アダプタでトレーニングしたモデルが、これらの失敗ケースをより効果的に処理。

  2. 大規模な合成テストセットでの評価：

    • より多くの挑戦的な例を含む合成データセットを生成して評価。
    • 結果：提案モデルが他の3つのモデルを全タスクで上回る性能を示す。

4. 制限事項と今後の課題

  • 合成例が訓練データと密接に整合している可能性があり、実際の難しいケースへの対応能力は更なる検証が必要。
  • F4（低品質文書の優先）については、LLMが高品質データで訓練されているため、合成データでの評価が困難。

これらの分析と対策により、jina-embeddings-v3は一般的な検索失敗ケースに対してより堅牢なモデルとなっています。

kun432kun432

まあ評価は参考程度に。

この評価アプローチの限界の1つは、合成例がトレーニングデータとあまりにも密接に関連している可能性があり、モデルがこれらの失敗事例をより簡単に解決してしまう可能性があることです。

このスクラップは2ヶ月前にクローズされました