多分あとでちゃんと調べて追記するけど、
LM Studioはライセンス的に商用利用が怪しいっぽいので、趣味はともかく仕事で使えるかどうかは分からないので注意
自分は今のところプライベートで遊んでるだけ

実際にObsidian Copilot + LM Studioで使う場合はこんな感じらしい
https://zenn.dev/allllllllez/articles/20240507_lm_studio_with_obsidian

LM Studioを起動するといきなり有名モデルをダウンロードする画面が出る

ほとんど知らないモデルだけどLlamaぐらいはさすがに聞いたことがあるのでとりあえずダウンロード済み。ちなみにモデルの詳細を見に行くとこのような画面になる

LLama 3のモデルがいっぱい並んでいて、8BとかQ4_Kとかの意味は先ほどのnoteのLM Studioの解説記事が詳しい。 FULL GPU OFFLOAD POSSIBLE や PARTIAL GPU OFFLOAD POSSIBLE は最初意味が分からなかったが、モデルのサイズが大きいほどPARTIALになるのを見るにどうやら自分のグラボのメモリにモデルが乗り切るかどうかで変わるっぽい。
自分のGeForce RTX 3060 Tiは8GBなので、モデルサイズ6GBあたりがメモリに乗り切るかどうかのラインらしい。LM StudioのUIをよく見たら右上の方に Estimated VRAM capacity: 8.00GB と表示されているので多分これを見て判断してくれてそう。
モデルとメモリの関係の知識も0の素人なのでツールが自動で判断してくれるのはありがたい

チャットの画面で実際にLlama 3の4.9GBほどのモデルをロードしてみる

Windows標準のタスクマネージャーでGPUの様子を観測してみると、モデルのロードが始まってからゴリッとGPUのメモリが使われる様子が分かる。
実際にチャットしてみるとこんな回答。多分GPT-4oとかには敵わないのだろうけど、結構それっぽい回答な気がする。

そして実際にGPUが使われたのかを見てみると、確かに2回チャットした瞬間にGPUの使用率がいきなり100%近くに到達している様子が分かる。これを見ると本当に自分のPCでLLMが動いたという実感が湧く。

右側のUIはプロンプトやContext Lengthなど色々な設定が可能らしいが、今の自分の知識では何が何なのか全然わからん。一番気になるのはGPU Settingsのところで、LOW, 50/50, MAXのボタンがあるということはLLMを動かす際にGPUを何割使うかを設定できるということっぽい？
試しにLowにしてみるとGPUメモリの使用率がガクッと減った

この状態でチャットの Regenerate を押して再回答してもらうと、回答の速度が露骨に遅い。カクカクという感じｗ GPUの使用率も先ほどよりは全然上がっていないので確かにGPUへ割り振る仕事は大幅に減ったらしい。

最初のモデル一覧での FULL GPU OFFLOAD POSSIBLE や PARTIAL GPU OFFLOAD POSSIBLE の話と照らし合わせると、本来はGPUメモリに乗り切らない大きなモデルであってもGPUへのオフロード割合を減らせばおそらく使えるということなのだろう。その場合、GPUメモリに乗り切らない分は普通のメモリの方に載せられているのかな？

ということは、生成速度は落ちるけど高性能な大きいサイズのモデルを動かすか、低性能だけどGPUに100%乗る小さなモデルを高速で動かすかのトレードオフを自分で選択できるということになりそう。

よく見るとさっきのチャット画面のUIではプリセットと書かれているので、このGPUへのオフロード割合も含めてこのあたりの設定は自分で作っておいて用途に応じて切り替えるという使い方が想定されているのかな。

右側のUIのよく見るとExport Chat Settingsという項目があり、そのSave Settings as Presetを押すと今の設定を保存できた。
一度保存したプリセットをLM Studio上でリネームしたりできるようなUIではなさそうだけど、設定自体はJSONで出力されているので多分エディタなどで適当に編集すれば直せそうな気はする。

LM Studioの使い方は大体わかった

obsidianからチャットが呼び出せるだけならLM Studioを使えばいいのであまり意味がなくて、Copilotが他にどういうことができそうなのかctrl + pで検索してみた

パッと分かりそうな機能として、要約とか翻訳を呼び出せるっぽい。
obsidianのエディタに適当な文章を書いてからctrl + pで要約や翻訳の機能を呼び出してみる

なるほど、要約だろうと翻訳だろうと結局はチャットのUIに集約されるということか。なんかこのあたりもうちょっとシームレスに統合されたUIを期待していたのだけど、チャットのUIをワンボタンでコピーできるならそんなに悪い使い勝手でもないかな

他にもツイートに変換してくださいとか、用語を抜き出してくださいなどの機能がctrl + pから呼び出せる。
サーバーのログを見るに、これらが行っているのは結局のところ範囲選択したテキストの前に機能に対応するプロンプトを付けて、サーバーにリクエストしているだけらしい。

なるほどな。これだけで色々な機能を実現できるのがLLMのすごいところだし、この特徴のおかげでAPIの投げ先が各種クラウドのLLMだろうとローカルのLLMだろうと同じように機能するってことか。

ObsidianのCopilotプラグインも大体分かった。LLMにやらせたい仕事は今のところあまり思いつかないけど、何かやらせたくなったらローカルLLMに仕事をさせられるというのは面白いかな。

これを調べていたときと関係なくyoutubeに流れてきたObsidian Copilotの動画を見てみたら、embdding modelとRAGについての機能紹介がされていた。
https://youtu.be/NSoKRYNlOls?si=rFFxpbLtU2l5E1EP&t=322

ローカルLLMでもRAGって可能なのか。embdding modelというものがそれを可能にするための技術なのだろうけど、今はその知識が全然無いので一旦後回し。
embddingについて理解したらまた改めてObsidian CopilotのRAGについて調べてみたい

実際に自分でも試してみる。
まずcontinueとGitHub Copilotのタブ補完が競合しないように、自分はVSCodeのプロファイル機能でcontinue用のプロファイルを新規作成してそちらではGitHub Copiotをdisabledにした。

continueの設定は公式ドキュメントがollama推しっぽいのでこれをベースにして、LM Studioの用の設定とマージした。
https://docs.continue.dev/setup/configuration#local-and-offline-configuration
https://docs.continue.dev/reference/Model Providers/lmstudio

{
  "models": [
    {
      "title": "LM Studio",
      "provider": "lmstudio",
      "model": "second-state/StarCoder2-3B-GGUF"
    }
  ],
  "customCommands": [
    {
      "name": "test",
      "prompt": "{{{ input }}}\n\nWrite a comprehensive set of unit tests for the selected code. It should setup, run tests that check for correctness including important edge cases, and teardown. Ensure that the tests are complete and sophisticated. Give the tests just as chat output, don't edit any file.",
      "description": "Write unit tests for highlighted code"
    }
  ],
  "tabAutocompleteModel": {
    "title": "Starcoder 3b",
    "provider": "lmstudio",
    "model": "second-state/StarCoder2-3B-GGUF"
  },
  "allowAnonymousTelemetry": true,
  "embeddingsProvider": {
    "provider": "lmstudio",
    "model": "nomic-embed-text"
  }
}

modelはタブ補完用にオススメされているstarcoderをLM StudioでロードしてAPIサーバーを起動しておく。
https://docs.continue.dev/setup/select-model#autocomplete

チャット、タブ補完、embeddingsのそれぞれで別々のモデルを指定できるっぽいけど、少なくともLM Studioのサーバー機能では1つのモデルしかロードできなかったので、実際には機能ごとにモデルの切り替えはできなさそう？

まずはチャットを試してみる。

何か明らかに人間向けじゃない回答してる・・・？一応英語でも質問してみる。

チャットのUIでの表示が崩壊してそう。右に出しているcontinueのログを見ると、回答自体はそれなりに正しい雰囲気を感じる。

このあたりはプロンプトを工夫する必要があるのかな？もしくはstarcoderモデル自体がチャットには不向きなのか。

次はタブ補完
config.jsonでタブ補完のモデルを設定しているので動くはずだが、最初はなぜか動かなかった。たしか ctrl + shift + pで Continue: Toggle Auto Complete Enabledをする必要があったかもしれない。

エディタ上で緑のラインが引かれている部分が補完で出してくれた部分。 token, log-level というCLIのオプション名だけを与えて中身を補完で出してもらった。
GPUがゴリゴリ使われている様子が見れて楽しい。チャットだと自分が質問を書いている間はGPUはヒマをしているのに対して、コード補完は常に補完候補を出すために計算をしているっぽい。コード補完の方が意外にGPUをブン回すことになるのかもしれない。

他のコードでもちょっとタブ補完を試してみたが、GitHub Copilotと比べるとだいぶ信頼性が低いという印象。それっぽいコードは出してくれるけど存在しないメソッドも普通に出してくる。初期の頃のGitHub Copilotよりもさらに危なっかしい感じ。

実装しようとしている関数にコメントなどを付けておくと、そこから意図を汲み取ろうとしている姿勢は感じ取れる。

一方で補完の速度は割と申し分なし。LM Studioの設定でGPUを100%使う設定にしてるからかな。

continue自体にはもっと色々な機能があるようだけど、モデルの性能によって使えるか使えないかが変わってきそうなので、starcoder以外のプログラミング特化のモデルをもう少し揃えておこう

モデル沼だこれは・・・

https://docs.continue.dev/features/tab-autocomplete
continueのドキュメントでタブ補完用のモデルとして starcoderやdeepseek-coderがオススメされていたのでLM Studioで落としてみたが、タブ補完が動くものと動かないものがあった。
その違いが何なのか、というかそもそもタブ補完ってどういう仕組みで動いているのか？

VSCode上のcontinueのログを見てみると、こういう構造になっていた

Settings:
contextLength: 4096
model: TheBloke/deepseek-coder-6.7B-instruct-GGUF/deepseek-coder-6.7b-instruct.Q4_K_S.gguf
maxTokens: 1024
temperature: 0.01
stop: <｜fim▁begin｜>,<｜fim▁hole｜>,<｜fim▁end｜>,//,<｜end▁of▁sentence｜>,

,

,/src/,#- coding: utf-8,```,
function,
class,
module,
export,
import
raw: true
log: undefined

############################################

<｜fim▁begin｜>import dayjs from "dayjs";
import type { WorkflowReport, TestReport } from "../analyzer/analyzer.js";
import type { Exporter } from "./exporter.js";

....

    try {
      await s3.put(outputPath, JSON.stringify(reports));
      this.logger.info(`Export ${type} reports to ${outputPath}`);
    } catch (error) {
  <｜fim▁hole｜>
      

    }
  }

...

<｜fim▁end｜>==========================================================================
==========================================================================
Completion:

fim▁begin, fim▁hole,fim▁end このあたりのタグが何やら意味ありげ。ちなみにエディタ上でカーソルが存在している位置は fim▁hole。
そして最後の Completion: が空なので補完候補が出てきていないということ。

正しく補完候補を出してくれるモデルの場合、最後のCompletionにこんな感じに何かしらが表示されている。

Completion:


      this.logger.error("Failed to export reports", error);

正しく動くモデルとそうでないモデルを見比べたとき、命名規則に違いがあることに気がついた。

動くモデル：lmstudio-community/deepseek-coder-6.7B-kexer-GGUF/deepseek-coder-6.7B-kexer-Q4_K_M.gguf
動かないモデル：TheBloke/deepseek-coder-6.7B-instruct-GGUF/deepseek-coder-6.7b-instruct.Q4_K_S.gguf

タブ補完が動かない方は instruct という名前が追加されている。
調べてみたところ、instructという名前が付いたモデルはおそらくチャット向きのモデルということらしい。starcoderやdeepseek-coderは元々コーディング向けのモデルなので、instructはチャットでコード生成してもらうのに特化したモデル、instructが付いていないのはタブ補完に特化したモデル、ということなのだと思う。

https://huggingface.co/deepseek-ai/deepseek-coder-6.7b-instruct

2. Model Summary
   deepseek-coder-6.7b-instruct is a 6.7B parameter model initialized from deepseek-coder-6.7b-base and fine-tuned on 2B tokens of instruction data.

huggingfaceのREADMEを見てみたら、instructの方は会話データでfine-tunedされたと書かれている。当たりだった。

ちなみに他のモデルでもチャット用にfine-tunedされたものと2種類用意されていることが多いが、命名規則は必ずしも instruct とは限らないことも分かった。例えばgoogleのcodegemmaでは it と付いているものが他モデルで言うところの instruct らしい。
https://huggingface.co/google/codegemma-1.1-7b-it-GGUF

CodeGemma is a collection of lightweight open code models built on top of Gemma. CodeGemma models are text-to-text and text-to-code decoder-only models and are available as a 7 billion pretrained variant that specializes in code completion and code generation tasks, a 7 billion parameter instruction-tuned variant for code chat and instruction following and a 2 billion parameter pretrained variant for fast code completion.

さらに、モデルによってはさっきログで見た補完用のタグっぽい fim▁begin, fim▁hole ,fim▁endなどの名前は統一されていない。

https://docs.continue.dev/features/tab-autocomplete#i-want-better-completions-should-i-use-gpt-4

continueのドキュメントにコード補完用のプロンプトの話が書かれていて、リンクされているcontinueのコードはみるとなかなかすごい。モデルごとに補完用のプロンプトのテンプレートを用意していて、モデル名の文字列でラフにマッチングしてどれを使うか選択しているらしい。

https://github.com/continuedev/continue/blob/d2bc6359e8ebf647892ec953e418042dc7f8a685/core/autocomplete/templates.ts

ということは、continueのconfig.jsonで指定するモデル名とLM Studioのサーバーで動かすモデル名が一致していないとおそらく正しく動かない。
ollamaは分からないが、少なくともLM StudioはAPIのパラメータにモデル名が含まれていたとしてもサーバーで起動するモデルを自動で入れ替えてくれないので、実はcontinueのconfig.jsonのモデル名は適当でもLM Studioは一応何らかの応答は返す。ただタブ補完に関してはモデル名が不一致だと正しく動かない可能性が高いことが分かった。

色々なモデルでタブ補完を試してみたけど、モデルの性能以前にそもそも動かないこともある。
別のパターンとして、動きはしていてcontinueのログの Completion に候補も出てるけどエディタになぜか表示されないパターンもあった。
モデルに問題があるのか、continue側に問題があるのか、あるいはたまたま両者の噛み合わせが悪いのかなどの判断が難しい。

さらに言うと、continue側でタブ補完のためのパラメータがたくさん存在する。デフォルトでいい感じになっていると思いたいが、モデルの種類やサイズに色々なバリエーションがあることを考えると真の性能を発揮するためには本当は細かくチューニングする必要がありそうな気がする。
https://docs.continue.dev/features/tab-autocomplete#tabautocompleteoptions

総じて、タブ補完というタスクは意外にもチャットより難しいのでは？という感想を抱いた。
チャットの方が自由度が高いので難しいタスクだと今まで考えていたので、自分の中ではこれはかなり意外だった。

自分のマシンスペックやcontinueとのかみ合わせがたまたま合うモデルが見つかればそこそこ役に立つ補完をしてくれるが、Extensionを入れればまず動いて補完の精度も高いGitHub Copilotと比べると厳しいと言わざるを得ない。

ちなみに自分の環境で一番しっくりきたモデルは second-state/StarCoder2-7B-GGUF/starcoder2-7b-Q3_K_M.gguf でした。

https://huggingface.co/second-state/StarCoder2-7B-GGUF

@docs 以外にも @url や @issue あたりは面白そうだったが、これらをタイプしても有効になってそうな見た目に変化しないので使えなさそう？
チャット欄にAdd contextという文字列があるのでそれをクリックするとこのプルダウンが表示され、ここに載っているものであれば @ で呼び出しても有効になりそうな感じがする。

自分の環境に何かが足りていないのか、あるいはcontinue側がドキュメントだけ用意して未実装なのかは分からないが残念。

https://docs.continue.dev/customization/slash-commands

GitHub Copilot Chatのようにスラッシュコマンドも用意されている。

/edit

Copilot Chatで言うところのinline chatに近い。コードを選択してコンテキストに送り、どう変更してほしいかを入力するとdiffを作ってくれる。

/cmd

シェルスクリプトを生成してくれる。Copilot Chatで最近よくお世話になっている機能だけど、この程度であればローカルLLMのllama 3.1でもいけるらしい。

生成されたコマンドはターミナルにも自動で送られるので、enterを押せばすぐに実行できる。便利

その他

自分が試した限り、 /edit, /comment, /share, /cmdは動いた。
その他は動かなかった。/commit はなぜかgit diffが検出されなくて使えなかったのと、/issueや/soはそもそもチャット欄に入力してもコマンドとして認識されていなかった。

さっきの @ で指定するコンテキストと同様で、自分のcontinueの設定が足りないのかそれともcontinue側が未実装なのか分かっていない。