🐒
VSCode+Contiune+ollama環境
やったことは恥と思わず書く
猿真似でもしないよりましである。徒然草85「狂人の真似とて大路を走らば即ち狂人なり」賢しいフリをすれば逆もまた。
ollama に "phi4" を入れる。
-
メモリが32GBなら 15B、量子化されたモデルを使って 9GBなので溢れはしない。
-
ollama 入手:
curl -fsSL https://ollama.com/install.sh | sh
→ /usr/local/bin/ollama が入ってくる。
- CUDAやってみる? ソースコード。 → https://github.com/ollama/ollama.git
$ git status
ブランチ ollama_v0.3.0_cc37build
-
build : 以下を見ろと書かれている:
https://github.com/ollama/ollama/blob/main/docs/development.md -
私の手元環境は GPUがかなり古い・・
NVIDIA-SMI 470.256.02 Driver Version: 470.256.02 CUDA Version: 11.4
* 量子化で小さいモデルなら良いが選択余地が減るので GPU/CUDA は pending.. -
拾ってくる: ollama pull phi4
pulling fd7b6731c33c... 100% ▕████████████████▏ 9.1 GB
pulling 32695b892af8... 100% ▕████████████████▏ 275 B
pulling fa8235e5b48f... 100% ▕████████████████▏ 1.1 KB
pulling 45a1c652dddc... 100% ▕████████████████▏ 82 B
pulling f5d6f49c6477... 100% ▕████████████████▏ 486 B
verifying sha256 digest
writing manifest
removing any unused layers
success
- VSCode で continue を入れる。
クリック一発。
- config.json を編集する。
~/.continue/config.json を開いて
{
"models": [
{
"model": "phi4",
"provider": "ollama",
"apiKey": "",
"title": "phi3-15B-Q4_K_M",
"apiBase": "http://localhost:11434"
}
],
"allowAnonymousTelemetry": false,
準備完了である。
- 使ってみる。
コードを解説してくれる @Codebase を試す。
-
VSCode: Unixbenchのソースコードが有るフォルダからいくつかファイルを開いておいてみる
-
VSCode: プライマリサイドバー
にあるアイコン
を選択する。
-
coninueの commandダイアログにカーソル持っていくとこんな感じで
-
@CodeBaseで「↵」するとこんな感じで・・・
-
説明をどんどん書いてくれる。
-
🐒真似出来ました。
Discussion