⛳

ローカルLLMを動かしてみた

に公開
LLM
tech

初めに

以前ローカルでLLMを動かした際、どうやって動かしたのか

  1. ollamaをインストールします
    https://ollama.com/download/windows

  2. pipでollamaライブラリをインストールする
    '''git
    pip install ollama
    '''

  3. pythonで下記コードを実行する
    '''python
    host = 'http://localhost:11434'
    client = ollama.Client(host=host)
    prompt = "丁寧な回答をしてください"
    client.generate(
    model=self.model_name,
    prompt=prompt,
    options={
    'temperature': 0.3,
    'top_p': 0.9,
    'max_tokens': 500,
    }
    )

'''

Discussion