AI Chat

trefun

試す

手元環境が貧弱なので小さいモデルで

En

https://huggingface.co/gpt2-medium

Jp

trefun

下準備

Win の WSL2 で実行するときに GPU 使うように

trefun

Langchain

LLM に Open AI 使うのは高いので HF から適当に軽いモデルを引っ張ってテストする
あらかじめTOKENを生成して下記のように指定

import os
os.environ["HUGGINGFACEHUB_API_TOKEN"] = "token"

呼び出しは下記のように

from langchain import PromptTemplate, HuggingFaceHub, LLMChain

## シンプル呼び出し

prompt1 = "好きな食べ物は?"
llm = HuggingFaceHub(repo_id="rinna/japanese-gpt2-medium")

print (llm(prompt1))

## chain 呼び出し

prompt2 = PromptTemplate( input_variables=["something"], template="好きな{something}は?",
)
chain = LLMChain(prompt=prompt2, llm=HuggingFaceHub(repo_id="rinna/japanese-gpt2-medium"))

print(chain.run("食べ物"))

trefun

LangChain2 - Embeddings

単語や分をベクトル化して覚えさせる感じ。例によってデフォだと有料API叩かないといけないので

例

embeddings = HuggingFaceEmbeddings(model_name="oshizo/sbert-jsnli-luke-japanese-base-lite")

textsplitter

https://note.com/npaka/n/nda9dc5eae1df

trefun

メモリ

文脈に対応するために

https://note.com/npaka/n/n155e66a263a2

trefun

LLM に使うモデルが貧弱だと基本うまく動かない。