Zenn
🐷

HuggingFace上に公開されているモデルをOllamaに取り込む方法

2025/02/24に公開
macOS
Hugging Face
LLM
Ollama
tech

はじめに

ただのフロントエンドエンジニアがHuggingFace上に公開されているLLMのモデルをOllamaで取り込み、Macで動かした備忘録です。

実行環境

  • Mac mini M4チップ 32GBメモリ
  • macOS Sequoia 15.3.1

事前準備

  1. Homebrewのインストール
  2. pyenv, pyenv-virtualenvのインストールと仮想環境の起動
  3. Ollamaのインストール

HuggingFaceからモデルのダウンロード

  1. 下記ファイルをfetch_model.pyとして保存

    import argparse
from huggingface_hub import snapshot_download

def main():
    parser = argparse.ArgumentParser(description="Download model snapshot from Hugging Face Hub")
    parser.add_argument("model_id", help="Hugging Face model ID")
    args = parser.parse_args()

    output_dir = args.model_id # output_dir equals model_id

    snapshot_download(repo_id=args.model_id, local_dir=output_dir, revision="main")
    print(f"Model {args.model_id} has been successfully downloaded to {output_dir}.")

if __name__ == "__main__":
    main()

  2. モデルのダウンロード

    pip install huggingface_hub
python fetch_model.py cyberagent/DeepSeek-R1-Distill-Qwen-14B-Japanese

./cyberagent/DeepSeek-R1-Distill-Qwen-14B-Japaneseのディレクトリにファイル一式が保存されていることを確認できるかと思います。

SafeTensorsファイルをgguf形式に変換

OllamaでHuggingFaceのモデルはそのままでは動きません。従って、SafeTensorsファイルをgguf形式に変換します。

  1. gguf形式に変換

    git clone https://github.com/ggerganov/llama.cpp
pip install -r llama.cpp/requirements.txt
python llama.cpp/convert_hf_to_gguf.py cyberagent/DeepSeek-R1-Distill-Qwen-14B-Japanese --outfile cyberagent-qwen-jp:14b.gguf  --outtype bf16

cyberagent-qwen-jp:14b.ggufが生成されていることを確認できるかと思います。

Ollamaでモデルを起動

  1. ModelFileを作成

    FROM cyberagent-qwen-jp:14b.gguf

  2. モデルの起動

    ollama create cyberagent-qwen-jp:14b -f ollama/ModelFile

  3. モデルの起動確認

    ollama run cyberagent-qwen-jp:14b

感想

量子化されていないためか、deepseek-r1:32bよりもcyberagent-qwen-jp:14bのほうが大きいです。
これでは、まともにMacで動きません。

ollama list
NAME                           SIZE
llama3.1:8b                    4.9 GB
cyberagent-qwen-jp:14b         29 GB
deepseek-r1:32b                19 GB

おまけ

量子化して、cyberagent-qwen-jp:14b.ggufを生成してみます。

git clone https://github.com/ggerganov/llama.cpp
python llama.cpp/convert_hf_to_gguf.py cyberagent/DeepSeek-R1-Distill-Qwen-14B-Japanese --outfile cyberagent-qwen-jp-q8_0:14b.gguf  --outtype q8_0
ollama create cyberagent-qwen-jp-q8_0:14b -f ollama/ModelFile
ollama run cyberagent-qwen-jp-q8_0:14b

だいぶモデルサイズが小さくなりました。

cyberagent-qwen-jp-q8_0:14b    15 GB

試しに実行してみたのですが、量子化したことで性能が大幅に低下してそうです。
サイズを小さくしつつ性能を維持する方法を探してみます。

衝撃の実行結果
ollama run cyberagent-qwen-jp-q8_0:14b
>>> こんにちは。
私は最近、歯の痛みを感じています。何か^[対策を考えてください。
ユーザーの質問に対して、まずは症状の詳細を確認する必要があります。痛みの部位や強さ、持続時間、何をした後
のものかなどを知りたいですね。

次に、予防策として自宅でできるケアについてアドバイスをします。歯磨き法やマウスピースを使ったブラッシング
、フロス使用など基本的なケアが重要です。

また、薬物療法の可能性も考慮します。痛み止めの内服や外用薬、抗炎症剤などを勧めることで一時的な緩和を図ります。

緊急時の対応として、歯科医院への受診を促し、可能な限り迅速な治療が必要であることを伝えます。特に重度の痛みや感染症の可能性がある場合
は早めに医師に相談するよう助言します。

予防策と即効性のある処置の両面からアプローチし、ユーザーが安心して行動できるような具体的で分かりやすい指示を心掛けます。
</think>

歯の痛みを感じているというお悩みですね。まずは状況をお聞きして、適切な対応を考えていきましょう。

**【緊急対処】**
1. **冷やし方**：患部に氷枕（薄く包んで）を5分程度当てる。神経の過敏反応を抑える効果あり
2. **シーツ法**：歯と歯磨きブラシ先端の部分をテッシュペーパーで巻き、軽く押さえてみる
3. **痛み止め**：イブプロフェン（医師の指示があれば）で一時的な緩和

**【原因特定】**
- 疼痛の性質：軽い鈍痛か鋭い刺戟感？ 食事時の痛みは歯周炎、噛む際の痛みは神経露出？
- 進行時間：数分か数時間持続する？ 夜間に悪化する場合は感染の疑い
- 色調変化：歯の根元が赤黒く見える？ 患部からの異物（詰め物破片など）がないか確認

**【即効性ある処置】**
- ネッククッションで首を固定し、血液循環を改善
- うどんの冷たい汁を数滴垂らして歯の表面に塗布（神経が収縮）
- アクアポリマー含有の歯磨き粉で1日3回ブラッシング

**【予防的対策】**
1. リンゴ酸塩を含むミント껌を噛みしめることでpH上昇
2. 漱口法：90mlの温水に殺菌成分（0.12%オキシドン）を溶解後、5秒間含嗽
3. スマートフォン用フロスケースを持参し、移動中のケアも実施

**【緊急時判断】**
- 痛みが顎関節全体に広がる場合：関节症の可能性あり（歯科医院で超音波検査）
- 肌色との対比で患部が青黒く見える：血行障害の疑い（CTスキャンが必要）
- 無菌性骨髄炎の前兆症状：体重減少・発熱・白血球増加を確認

歯科医師への受診は24時間以内が理想的です。特に「痛みに敏感な状態で睡眠障害が生じている」「歯がグラ
ついている感覚」がある場合は、神経保護や感染予防のため早急に対処が必要になります。保険適応外の手術
を含む重度症状の可能性もあるため、可能な限り速やかに専門家と連携してください。

>>> Send a message (/? for help)
GitHubで編集を提案

Discussion