🪟

古いWinowsPCで動く!? LMStudioでGPT-OSSを使ってはじめてのローカルLLM!! (GPT-OSS20B編)

に公開

けつろん、とってもかんたん、こ、こいつCPUで動くぞ・・・!!
10.80 tok/secくらいの動作だったよ

GPT-OSSのリリース

2025/08/06 未明 GPT-OSSがリリースされました!
この機会にローカルLLMにチャレンジしたいと思います!

はじめてのろーかるLLM

わたしのシステムです
6年前くらいのPCなので・・・うごくんかな?w
Radeonはお察しください

  • ストレージ:1.41 TB
  • グラフィックス カード:8 GB AMD Radeon RX 5700 XT
  • メモリ:RAM 64.0 GB
  • CPU:AMD Ryzen 9 3950X 16-Core Processor 3.49 GHz

では、手順

LMStudioインストール

LMStudioが必要なのでダウンロード
https://lmstudio.ai/

  • 必要に応じた権限を選択

  • インストールディレクトリ選択

  • わくわくしながらまつ

  • キャラがちょっとキモくてかわいい

LMStudioの初回起動時のモデルダウンロード

  • GetStartedをクリック
    最初「GetStarted」がおせないけど、少し経つと押せました
    スキップする場合は、右上に薄く「SKIP→」があるのでスキップ可能です
    システムスキャンしてくれてるみたいです

  • 「ユーザ」を選択します
    あなたのレベル・・・?ローカルLLMはよちよちなので

先の選択どれを選んでも同じだったので、システムに余裕がある方は、ここでgpt-oss-120bモデルも確認できると思います

  • 12GBあるんでのんびり待ちます

ダウンロード完了しました

  • 「Start a New Chat」 を押してスタート!

LMStudioの起動

  • もう一度「Start a New Chart」を押します

  • ロード中

  • ロードできたっぽい!

  • 入力できる!

さっそくプロンプトを投げてみる

  • ご挨拶してみる
    おお、うごくぞ!?
    よちよちがんばってくれます

  • Reasoning Effortの変更
    そのままだと日本語が不安定というのを見たので、Reasoning EffortをHightにしてみます。

  • 佐賀のこと聞いてみる
    ちょっと佐賀のこと聞いてみましょう
    「10.80 tok/sec 1086 tokens 1.14s to first token Stop reason: EOS Token Found」
    おそい!がんばれっ!でもCPUでこれなら十分だとおもいます。
    (気持ちだけでも早くと20倍速にしました)

佐賀牛 吉野ケ里遺跡 唐津城
わぁーすごいーできてるー
でも、焼き物(伊万里焼、有田焼、唐津焼)ではないんだw

終わりに

動かすだけなら、6年くらい前に作ったPCでも動きました!!
考えたくはないでですが、ネットがない状況でも動かせるのは大きいですね。
中国系以外の選択肢が増えたことは純粋に業界にとって良いことだなーと思いました!

120Bはどうなの?

一応、120Bも選べます
PowerUserかDeveloperに変更して、MissionControl
ModelSearch>BestMatch>Only include Staff Picks that can fit on my deviceのチェックを外す
メモリが71G位いるみたいですね…w

チャレンジして出来たら記事にしてみようと思います~(たぶんむりだろうな~PCかおうw

Discussion