「Embedding Gemma」を試す

!pip install -U sentence-transformers

from sentence_transformers import SentenceTransformer

# 🤗 Hub からダウンロード
model = SentenceTransformer("google/embeddinggemma-300m")

%%time

# クエリとドキュメントを与えて推論を実行
query = "Which planet is known as the Red Planet?"
documents = [
    "Venus is often called Earth's twin because of its similar size and proximity.",
    "Mars, known for its reddish appearance, is often referred to as the Red Planet.",
    "Jupiter, the largest planet in our solar system, has a prominent red spot.",
    "Saturn, famous for its rings, is sometimes mistaken for the Red Planet."
]
query_embeddings = model.encode_query(query)
document_embeddings = model.encode_document(documents)
print(query_embeddings.shape, document_embeddings.shape)

# 類似性を計算して順位を決定する
similarities = model.similarity(query_embeddings, document_embeddings)
print(similarities)

(768,) (4, 768)
tensor([[0.4989, 0.7087, 0.5910, 0.5932]])
CPU times: user 669 ms, sys: 23.5 ms, total: 693 ms
Wall time: 805 ms

query = "どの惑星が赤い惑星として知られていますか？"
documents = [
    "金星は、その大きさと地球への近さから、しばしば地球の双子と呼ばれている。",
    "赤い外観で知られる火星は、しばしば赤い惑星と呼ばれる。",
    "太陽系で最大の惑星である木星には、目立つ赤い斑点がある。",
    "土星はその環で有名だが、時に赤い惑星と間違われることがある。"
]
query_embeddings = model.encode_query(query)
document_embeddings = model.encode_document(documents)

similarities = model.similarity(query_embeddings, document_embeddings)
print(similarities)

tensor([[0.4239, 0.6757, 0.5397, 0.6041]])

import torch

query = "中華そばのオススメを教えて。"
documents = [
    "木の温もりあふれるブックカフェで、自家焙煎の深煎りコーヒーと季節のタルトを味わいながら、窓辺から路面電車をのんびり眺められるんだ。",
    "庭にハーブが茂るガーデンカフェでは、ハンドドリップの浅煎りとフレッシュハーブティーが選べて、小鳥のさえずりが BGM 代わりになるよ。",
    "港直送の鯖を炙りしめ鯖にしてくれる専門店、皮目の香ばしさと酢のきりりとした酸味が口いっぱいに広がるんだ。",
    "カウンター割烹の金目鯛の煮付けは、甘辛ダレが骨の隅々まで染みていて、白ご飯が思わずおかわり必至だよね。",
    "昔ながらの屋台ラーメンは鶏ガラの澄んだ醤油スープと細ちぢれ麺が相性抜群で、深夜の胃袋にしみるんだ。",
    "真っ白な豚骨スープに焦がしニンニク油をひと垂らしした濃厚ラーメン、替え玉が無料でつい無限ループしてしまうよ。",
    "スリランカ式の混ぜて食べるプレートカレーでは、15種類のスパイスが複雑に重なって食べ進めるほど香りが花開くんだ。",
    "野菜がごろごろ入った欧風ビーフカレーは、赤ワインとバターのコクが効いたシャバっとルウで後を引くよ。",
    "薪窯ナポリピッツァのマルゲリータは、モッツァレラがびよーんと伸びて焼き立てを頬張る瞬間がたまらない。",
    "４種のチーズをのせたクアトロフォルマッジに蜂蜜を垂らすスタイルが人気で、塩気と甘さのコントラストがクセになるんだ。",
    "しゅわっととろけるバスクチーズケーキ専門店、表面の香ばしい焦げと濃厚クリーミーな中身のギャップが病みつきになるよ。",
    "パリパリの薄皮たい焼きは羽根つきで端っこまで香ばしく、黒あんか白あんか毎回真剣に迷っちゃうんだよね。",
]

query_embeddings = model.encode_query(query)
document_embeddings = model.encode_document(documents)

similarities = model.similarity(query_embeddings, document_embeddings).detach().flatten().cpu() 
similarities_sorted = torch.argsort(similarities, descending=True)

for rank, idx in enumerate(similarities_sorted.tolist(), 1):
    print(f"{rank:>2}. score:{similarities[idx]:.4f}, idx:{idx}, {documents[idx]}")

 1. score:0.5013, idx:4, 昔ながらの屋台ラーメンは鶏ガラの澄んだ醤油スープと細ちぢれ麺が相性抜群で、深夜の胃袋にしみるんだ。
 2. score:0.4980, idx:2, 港直送の鯖を炙りしめ鯖にしてくれる専門店、皮目の香ばしさと酢のきりりとした酸味が口いっぱいに広がるんだ。
 3. score:0.4749, idx:0, 木の温もりあふれるブックカフェで、自家焙煎の深煎りコーヒーと季節のタルトを味わいながら、窓辺から路面電車をのんびり眺められるんだ。
 4. score:0.4737, idx:5, 真っ白な豚骨スープに焦がしニンニク油をひと垂らしした濃厚ラーメン、替え玉が無料でつい無限ループしてしまうよ。
 5. score:0.4620, idx:10, しゅわっととろけるバスクチーズケーキ専門店、表面の香ばしい焦げと濃厚クリーミーな中身のギャップが病みつきになるよ。
 6. score:0.4606, idx:11, パリパリの薄皮たい焼きは羽根つきで端っこまで香ばしく、黒あんか白あんか毎回真剣に迷っちゃうんだよね。
 7. score:0.4529, idx:8, 薪窯ナポリピッツァのマルゲリータは、モッツァレラがびよーんと伸びて焼き立てを頬張る瞬間がたまらない。
 8. score:0.4397, idx:9, ４種のチーズをのせたクアトロフォルマッジに蜂蜜を垂らすスタイルが人気で、塩気と甘さのコントラストがクセになるんだ。
 9. score:0.4325, idx:3, カウンター割烹の金目鯛の煮付けは、甘辛ダレが骨の隅々まで染みていて、白ご飯が思わずおかわり必至だよね。
10. score:0.4273, idx:7, 野菜がごろごろ入った欧風ビーフカレーは、赤ワインとバターのコクが効いたシャバっとルウで後を引くよ。
11. score:0.4231, idx:6, スリランカ式の混ぜて食べるプレートカレーでは、15種類のスパイスが複雑に重なって食べ進めるほど香りが花開くんだ。
12. score:0.4230, idx:1, 庭にハーブが茂るガーデンカフェでは、ハンドドリップの浅煎りとフレッシュハーブティーが選べて、小鳥のさえずりが BGM 代わりになるよ。

query_embeddings = model.encode_query(query, truncate_dim=256)
document_embeddings = model.encode_document(documents, truncate_dim=256)
print(query_embeddings.shape, document_embeddings.shape)

similarities = model.similarity(query_embeddings, document_embeddings).detach().flatten().cpu() 
similarities_sorted = torch.argsort(similarities, descending=True)

for rank, idx in enumerate(similarities_sorted.tolist(), 1):
    print(f"{rank:>2}. score:{similarities[idx]:.4f}, idx:{idx}, {documents[idx]}")

(256,) (12, 256)
 1. score:0.6485, idx:2, 港直送の鯖を炙りしめ鯖にしてくれる専門店、皮目の香ばしさと酢のきりりとした酸味が口いっぱいに広がるんだ。
 2. score:0.6349, idx:5, 真っ白な豚骨スープに焦がしニンニク油をひと垂らしした濃厚ラーメン、替え玉が無料でつい無限ループしてしまうよ。
 3. score:0.6330, idx:4, 昔ながらの屋台ラーメンは鶏ガラの澄んだ醤油スープと細ちぢれ麺が相性抜群で、深夜の胃袋にしみるんだ。
 4. score:0.6263, idx:10, しゅわっととろけるバスクチーズケーキ専門店、表面の香ばしい焦げと濃厚クリーミーな中身のギャップが病みつきになるよ。
 5. score:0.6130, idx:11, パリパリの薄皮たい焼きは羽根つきで端っこまで香ばしく、黒あんか白あんか毎回真剣に迷っちゃうんだよね。
 6. score:0.6124, idx:8, 薪窯ナポリピッツァのマルゲリータは、モッツァレラがびよーんと伸びて焼き立てを頬張る瞬間がたまらない。
 7. score:0.5943, idx:6, スリランカ式の混ぜて食べるプレートカレーでは、15種類のスパイスが複雑に重なって食べ進めるほど香りが花開くんだ。
 8. score:0.5921, idx:9, ４種のチーズをのせたクアトロフォルマッジに蜂蜜を垂らすスタイルが人気で、塩気と甘さのコントラストがクセになるんだ。
 9. score:0.5897, idx:0, 木の温もりあふれるブックカフェで、自家焙煎の深煎りコーヒーと季節のタルトを味わいながら、窓辺から路面電車をのんびり眺められるんだ。
10. score:0.5761, idx:7, 野菜がごろごろ入った欧風ビーフカレーは、赤ワインとバターのコクが効いたシャバっとルウで後を引くよ。
11. score:0.5733, idx:1, 庭にハーブが茂るガーデンカフェでは、ハンドドリップの浅煎りとフレッシュハーブティーが選べて、小鳥のさえずりが BGM 代わりになるよ。
12. score:0.5422, idx:3, カウンター割烹の金目鯛の煮付けは、甘辛ダレが骨の隅々まで染みていて、白ご飯が思わずおかわり必至だよね。

git clone https://github.com/ggml-org/llama.cpp && cd llama.cpp
cmake -B build
cmake --build build --config Release

./build/bin/llama-server \
    -hf ggml-org/embeddinggemma-300M-qat-q4_0-GGUF \
    --embeddings

curl -s -X POST \
    "http://localhost:8080/embedding" \
    -H "Content-Type: application/json" \
    -d '{"input": "中華そばのオススメを教えて。"}' \
    | jq -r .

[
  {
    "index": 0,
    "embedding": [
      [
        0.015231691300868988,
        0.04141731560230255,
        -0.027156468480825424,
        0.05304545909166336,
        -0.033894360065460205,
        (snip)
        0.001146463444456458,
        0.009237105026841164,
        0.04414373263716698,
        0.013885578140616417,
        -0.015416877344250679
      ]
    ]
  }
]