Zenn
Open8

AI tools

輝輝

llama.cpp

動作確認

  • model をダウンロードして models ディレクトリの下に置く

  • llama.cpp をビルドして起動する

    make llama-server
./llama-server -m models/llama-2-7b-chat.Q5_K_S.gguf -c 2048

  • openai の 例を適用してみた（curl） ✅

    • https://platform.openai.com/docs/quickstart
      curl "http://localhost:8080/chat/completions" \
    -H "Content-Type: application/json" \
    -H "Authorization: Bearer $OPENAI_API_KEY" \
    -d '{
        "model": "gpt-4o-mini",
        "messages": [
            {
                "role": "system",
                "content": "You are a helpful assistant."
            },
            {
                "role": "user",
                "content": "Write a haiku that explains the concept of recursion."
            }
        ]
    }'

  • UI でやってみた ✅

輝輝

gpt-researcher

Ref

memo

  • setup llama.cpp as the LLM server
    • maual
    • settings
      # set the custom OpenAI API url
OPENAI_BASE_URL="http://localhost:8080"
# set the custom OpenAI API key
OPENAI_API_KEY="sk-no-key-required"
# set the TAVILY_API_KEY
TAVILY_API_KEY="my-key"

# specify the custom OpenAI API llm model  
FAST_LLM="openai:gpt-4o-mini"
# specify the custom OpenAI API llm model  
SMART_LLM="openai:gpt-4o"

DOC_PATH=./my-docs
    • OPENAI_API_KEY: real key not needed
    • TAVILY_API_KEY: get this key from https://app.tavily.com/ for free use
    • other: default is OK

issues

  • reported issues by me
  • まだ安定していないみたいで、下記のエラーが出た
      File "/Users/xxx/study/AI/tools/gpt-researcher/gpt_researcher/actions/agent_creator.py", line 59, in handle_json_error
    return json_data["server"], json_data["agent_role_prompt"]
           ~~~~~~~~~^^^^^^^^^^
KeyError: 'server'

      File "/Users/xxx/study/AI/tools/gpt-researcher/gpt_researcher/skills/researcher.py", line 149, in __get_context_by_search
    sub_queries.append(query)
    ^^^^^^^^^^^^^^^^^^
AttributeError: 'str' object has no attribute 'append'
INFO:     connection closed
輝輝

LM Studio

  • Ref
  • 所感
    • 複数のLLM Modelを統合してダウンロード・選択して動作できるので便利
    • しかし、OSS LLM Model のを使ってみたところ間違った答えにあったことがある（ChatGPTが正しく答えた）
      • Q：please create a mermaid class diagram
      • A：生成したmermaid図が間違ったフォーマットになっている
      • モデル：Llama-3.2-1B-Instruct-Q8_0-GGUF/llama-3.2-1b-instruct-q8_0.gguf