👾

Ollama導入メモ (DeepSeek/Gemma 3/ELYZA)

に公開
Ollama
evox2
tech

これは何？

Ollama で主要なローカルLLMを適当に試すためのセットアップログ。

  • 対象モデル
    • 推論：DeepSeek-R1 (70B)
    • 開発：Qwen 2.5 Coder (32B)
    • Google系：Gemma 3 (27B) / TranslateGemma (27B)
    • 日本語：ELYZA-JP-8B / Llama-3.1-Swallow (70B)

環境

  • Windows 11 Pro 25H2
    • EVO-X2 (Strix Halo)

DeepSeek-R1(70B) のインストール

  1. DeepSeek-R1 インストール
    ollama run deepseek-r1:70b

Qwen 2.5 Coder(32B) のインストール

  1. Qwen 2.5 Coder インストール
    ollama run qwen2.5-coder:32b

Gemma 3(27B)/TranslateGemma(27B) のインストール

  1. Gemma 3 インストール
    ollama run gemma3:27b
ollama pull translategemma:27b

ELYZA-JP-8B のインストール

  1. ELYZA-JP-8B インストール
    # ダウンロード & リネーム
ollama pull hf.co/elyza/Llama-3-ELYZA-JP-8B-GGUF:Q4_K_M
ollama cp hf.co/elyza/Llama-3-ELYZA-JP-8B-GGUF:Q4_K_M elyza:8b
# 起動
ollama run elyza:8b
  2. ELYZA-JP-8B 起動
    ollama run elyza:8b

Swallow 70B のインストール

  1. Swallow 70B インストール (ELYZA-JP-70B どこ？)
    ollama run hf.co/mmnga/tokyotech-llm-Llama-3.1-Swallow-70B-Instruct-v0.1-gguf:Q4_K_M

おわり

インストールばっかで触る時間がない。

Discussion