「mmBERT」を試す

pip freeze | egrep -i "torch|transformers"

(snip)
torch==2.8.0+cu126
(snip)
transformers==4.56.1

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("jhu-clsp/mmBERT-base")
model = AutoModel.from_pretrained("jhu-clsp/mmBERT-base")

inputs = tokenizer("こんにちは！", return_tensors="pt")
outputs = model(**inputs)

print(output)

BaseModelOutput(last_hidden_state=tensor([[[ 0.3067,  0.0925,  0.1090,  ...,  0.0581,  0.1096,  0.2321],
         [-0.4184,  1.9025,  0.9804,  ..., -0.4715,  0.9599,  0.7419],
         [ 2.1417,  1.4769,  0.2067,  ..., -0.2386,  0.4229, -2.3545],
         [-2.2371, -0.0058,  1.7873,  ...,  0.1961,  1.0382, -0.9054],
         [ 0.1254,  0.2303,  0.0912,  ..., -0.0398,  0.3619, -0.3636]]],
       grad_fn=<NativeLayerNormBackward0>), hidden_states=None, attentions=None)

from transformers import AutoTokenizer, AutoModelForMaskedLM
import torch

tokenizer = AutoTokenizer.from_pretrained("jhu-clsp/mmBERT-base")
model = AutoModelForMaskedLM.from_pretrained("jhu-clsp/mmBERT-base")

def predict_masked_token(text):
    inputs = tokenizer(text, return_tensors="pt")
    with torch.no_grad():
        outputs = model(**inputs)
    
    mask_indices = torch.where(inputs["input_ids"] == tokenizer.mask_token_id)
    predictions = outputs.logits[mask_indices]
    top_tokens = torch.topk(predictions, 5, dim=-1)
    
    return [tokenizer.decode(token) for token in top_tokens.indices[0]]

# Works across languages
texts = [
    "日本の首都は <mask> です。",
    "<mask> est la capitale de la France",
    "The capital of the United States is <mask>.",
    "La capital de España es <mask>.",
    "Die Hauptstadt von Deutschland ist <mask>."
]

for text in texts:
    predictions = predict_masked_token(text)
    print(f"Text: {text}")
    print(f"Predictions: {predictions}")

Text: 日本の首都は <mask> です。
Predictions: [' Tokyo', ' Kyoto', ' 東京', '東京', ' 大阪']
Text: <mask> est la capitale de la France
Predictions: ['Paris', 'Lille', 'Lyon', 'Nice', 'Marseille']
Text: The capital of the United States is <mask>.
Predictions: [' Washington', ' Chicago', ' Philadelphia', ' in', ' Seattle']
Text: La capital de España es <mask>.
Predictions: [' Madrid', ' Barcelona', ' Bilbao', ' Sevilla', ' Zaragoza']
Text: Die Hauptstadt von Deutschland ist <mask>.
Predictions: [' Berlin', ' Bonn', ' Hamburg', ' München', ' Stuttgart']

from transformers import AutoTokenizer, AutoModel
import torch
from sklearn.metrics.pairwise import cosine_similarity

tokenizer = AutoTokenizer.from_pretrained("jhu-clsp/mmBERT-base")
model = AutoModel.from_pretrained("jhu-clsp/mmBERT-base")

def get_embeddings(texts):
    inputs = tokenizer(texts, padding=True, truncation=True, return_tensors="pt")
    
    with torch.no_grad():
        outputs = model(**inputs)
        embeddings = outputs.last_hidden_state.mean(dim=1)
    
    return embeddings.numpy()

multilingual_texts = [
    "Artificial intelligence is transforming technology",
    "La inteligencia artificial está transformando la tecnología",
    "L'intelligence artificielle transforme la technologie", 
    "人工智能正在改变技术",
    "人工知能は技術を変革している",
]

embeddings = get_embeddings(multilingual_texts)
similarities = cosine_similarity(embeddings)
print("Cross-lingual similarity matrix:")
print(similarities)

Cross-lingual similarity matrix:
[[1.         0.8655733  0.8534732  0.9032274  0.83438045]
 [0.8655733  0.9999998  0.8938034  0.8164481  0.8094829 ]
 [0.8534732  0.8938034  0.99999994 0.79947156 0.8113538 ]
 [0.9032274  0.8164481  0.79947156 1.         0.895693  ]
 [0.83438045 0.8094829  0.8113538  0.895693   1.        ]]

from transformers import AutoTokenizer, AutoModel
import torch
from sklearn.metrics.pairwise import cosine_similarity
import numpy as np

tokenizer = AutoTokenizer.from_pretrained("jhu-clsp/mmBERT-base")
model = AutoModel.from_pretrained("jhu-clsp/mmBERT-base")

def get_embeddings(texts):
    inputs = tokenizer(texts, padding=True, truncation=True, return_tensors="pt")
    with torch.no_grad():
        outputs = model(**inputs)
        embeddings = outputs.last_hidden_state.mean(dim=1)
    return embeddings.numpy()

documents = [
    "木の温もりあふれるブックカフェで、自家焙煎の深煎りコーヒーと季節のタルトを味わいながら、窓辺から路面電車をのんびり眺められるんだ。",
    "庭にハーブが茂るガーデンカフェでは、ハンドドリップの浅煎りとフレッシュハーブティーが選べて、小鳥のさえずりが BGM 代わりになるよ。",
    "港直送の鯖を炙りしめ鯖にしてくれる専門店、皮目の香ばしさと酢のきりりとした酸味が口いっぱいに広がるんだ。",
    "カウンター割烹の金目鯛の煮付けは、甘辛ダレが骨の隅々まで染みていて、白ご飯が思わずおかわり必至だよね。",
    "昔ながらの屋台ラーメンは鶏ガラの澄んだ醤油スープと細ちぢれ麺が相性抜群で、深夜の胃袋にしみるんだ。",
    "真っ白な豚骨スープに焦がしニンニク油をひと垂らしした濃厚ラーメン、替え玉が無料でつい無限ループしてしまうよ。",
    "スリランカ式の混ぜて食べるプレートカレーでは、15種類のスパイスが複雑に重なって食べ進めるほど香りが花開くんだ。",
    "野菜がごろごろ入った欧風ビーフカレーは、赤ワインとバターのコクが効いたシャバっとルウで後を引くよ。",
    "薪窯ナポリピッツァのマルゲリータは、モッツァレラがびよーんと伸びて焼き立てを頬張る瞬間がたまらない。",
    "４種のチーズをのせたクアトロフォルマッジに蜂蜜を垂らすスタイルが人気で、塩気と甘さのコントラストがクセになるんだ。",
    "しゅわっととろけるバスクチーズケーキ専門店、表面の香ばしい焦げと濃厚クリーミーな中身のギャップが病みつきになるよ。",
    "パリパリの薄皮たい焼きは羽根つきで端っこまで香ばしく、黒あんか白あんか毎回真剣に迷っちゃうんだよね。",
]

query = "中華そばのオススメを教えて。"

document_embeddings = get_embeddings(documents)
query_embedding = get_embeddings([query])  # Pass query as a list

similarities = cosine_similarity(query_embedding, document_embeddings)
similarities_sorted = np.argsort(similarities[0])[::-1]

for rank, idx in enumerate(similarities_sorted.tolist(), 1):
    print("{}: ({:.4f}) {}".format(rank, similarities[0][idx], documents[idx]))

1: (0.8864) 昔ながらの屋台ラーメンは鶏ガラの澄んだ醤油スープと細ちぢれ麺が相性抜群で、深夜の胃袋にしみるんだ。
2: (0.8771) カウンター割烹の金目鯛の煮付けは、甘辛ダレが骨の隅々まで染みていて、白ご飯が思わずおかわり必至だよね。
3: (0.8770) 真っ白な豚骨スープに焦がしニンニク油をひと垂らしした濃厚ラーメン、替え玉が無料でつい無限ループしてしまうよ。
4: (0.8760) 野菜がごろごろ入った欧風ビーフカレーは、赤ワインとバターのコクが効いたシャバっとルウで後を引くよ。
5: (0.8687) パリパリの薄皮たい焼きは羽根つきで端っこまで香ばしく、黒あんか白あんか毎回真剣に迷っちゃうんだよね。
6: (0.8679) スリランカ式の混ぜて食べるプレートカレーでは、15種類のスパイスが複雑に重なって食べ進めるほど香りが花開くんだ。
7: (0.8667) 港直送の鯖を炙りしめ鯖にしてくれる専門店、皮目の香ばしさと酢のきりりとした酸味が口いっぱいに広がるんだ。
8: (0.8656) ４種のチーズをのせたクアトロフォルマッジに蜂蜜を垂らすスタイルが人気で、塩気と甘さのコントラストがクセになるんだ。
9: (0.8647) 庭にハーブが茂るガーデンカフェでは、ハンドドリップの浅煎りとフレッシュハーブティーが選べて、小鳥のさえずりが BGM 代わりになるよ。
10: (0.8498) しゅわっととろけるバスクチーズケーキ専門店、表面の香ばしい焦げと濃厚クリーミーな中身のギャップが病みつきになるよ。
11: (0.8460) 薪窯ナポリピッツァのマルゲリータは、モッツァレラがびよーんと伸びて焼き立てを頬張る瞬間がたまらない。
12: (0.8419) 木の温もりあふれるブックカフェで、自家焙煎の深煎りコーヒーと季節のタルトを味わいながら、窓辺から路面電車をのんびり眺められるんだ。