WindowsでLM Studioを使ってLLMを動かしてみた

これはなに？

Windows環境でその環境内で可能な限り大きいLLMを動かす実験をしてみた
2025/09/13現時点の情報なので、1ヶ月後には無効になってる可能性もあります

普通に動かすまで

全体が余裕でGPUに収まるサイズのLLMを選ぶ
何も設定を変えずに動かしてみる
ここで動けばとりあえず大丈夫

メインメモリーに収まるけどGPUには収まらないけどMoEなLLMの場合
Force Model Expert Weights onto CPU にチェックを入れる
これ以外何も設定を変えずに動かしてみる
ここで動けばとりあえず大丈夫

上記以外のLLMはこの後の作業でなんとかなるものでは無いので諦めましょう
（gpt-oss-120bを64GメモリーのWindowsで動かすとかは無理

コンテキスト長を増やす

次にコンテキスト長を最大に増やして動かします
ここで動けばんの問題もなければ利用可能なので、settingに記憶させましょう
ここでメモリー使用量が多すぎてloadがエラーになる場合は次へ

ロード時のメモリーの状態を確認する

タスクマネージャのパフォーマンスでメインメモリーが溢れているのか、GPUメモリーが溢れているのかを確認しつつ、以下の作業を何度か繰り返す
メインメモリーが不足気味でGPUメモリーに空きがある場合は KVキャッシュをGPUメモリーにオフロードを有効にする

Flash Attentionを有効にして、Kキャッシュ量子化とVキャッシュ量子化を有効にする
F32->F16->Q8_0 ... みたいにキャッシュ容量を減らすと入ることがある

どうしても入らないとき

コンテキスト長を少しずつ短くして入るポイントを探す
このときにタスクマネージャで何のメモリーが足りないかを確認しつつ調整を繰り返す

逆に余裕がある場合

メインメモリーもGPUも余裕があってMoEモデルを利用している場合は、エキスパート数を増やしたりしてギリギリを狙う
（エキスパート数が増えると応答の品質が良くなるらしい。しらんけど

結果

Qwen3-Coder-30b 最大コンテキスト長でうごいたぁ〜