Qwenが閉じ始めたのでGemma 4を選んだ——GPUなしPCでローカルLLMをファインチューニング
ローカルLLMをファインチューニング（FT）してみたかった。
クラウドのAPIでFTしたことはある。でもあれはマネージドサービスの話。手元のPCで、自分だけのLLMを育てるのは別の世界だと思ってた。GPUも積んでないし。
調べてみたら、Colabで無料GPU借りればすぐできた。ただ、FTそのものより どのモデルを選ぶか の方がずっと悩んだ。
モデルが多すぎる
2026年5月時点で、FTできるオープンモデルはざっとこれだけある。
| モデル | パラメータ | 推論RAM | 日本語 | ライセンス | 出元 |
|---|---|---|---|---|---|
| Qwen 3.5-27B | 27B | ~16GB | ◎ | Apache 2.0 | Alibaba |
| Gemma 4 E4B | 4.5B | ~6GB | ◎ | Apache 2.0 | |
| Gemma 4-26B MoE | 26B（実効3.8B） | ~8GB | ◎ | Apache 2.0 | |
| DeepSeek V4 Flash | 284B（実効13B） | ~26GB | ○ | MIT | DeepSeek |
| Phi-4 | 14B | ~9GB | △ | MIT | Microsoft |
| Llama 3.1-8B | 8B | ~5GB | △ | Meta Community | Meta |
| Swallow 8B | 8B | ~5GB | ◎◎ | Llama 3.1 Community | 東工大 |
※ 日本語の ◎◎ は日本語特化モデル（Llama 3.1ベースを日本語データで追加学習したもの）
※ ライセンス: Apache 2.0・MITは商用利用OK・改変自由。Meta/Llama Communityは商用OKだが利用規約への同意が必要
Qwenは日本語が強くてライセンスも緩い。最初はこれで決まりだと思った。
はずだった。
Qwenが閉じ始めてる
Qwen 3.5を使おうと思って調べていたら、不穏な記事を見つけた。
ファクトチェックしてみたら、全部本当だった。正直、ここまでとは思わなかった。
2026年3月以降に起きたこと:
- 技術リード（Lin Junyang）が事実上の解任。「辞任」と発表されたが、チームメンバーが「自分の意思ではなかった」と示唆してる
- コアメンバーがMetaやByteDanceへ流出
- 後任にはGoogle DeepMindのGemini開発者を招聘。商業化シフトに見える
- Alibabaは AI インフラに3年で8兆円投資してる。回収しないといけない
もともと Maxシリーズ（最上位モデル）はQwen3からずっとウェイト非公開・API限定 で、オープンなのは中型以下だけ。そこに人材流出と商業化シフトが重なってる。
小〜中規模モデル（27B、35B等）はまだ Apache 2.0 で公開されてる。今すぐ使えなくなるわけじゃない。ただ最上位はすでにクローズドで、中型以下もいつ同じ道をたどるかわからない。
プロダクトに組み込む前提なら、ちょっと怖い。
Gemma 4 にした理由
消去法に近い。
- Google製 — 少なくとも出元の信頼性は高い
- Apache 2.0 — Gemma 3までは商用制約があったけど、4で外れた
- Colab無料枠で動く — E2B（2.3B）と E4B（4.5B）は T4 16GB に収まる
- Unsloth対応 — FTのツールチェーンが整ってる
日本語もQwenと遜色ない。JCommonsenseQA（日本語の常識推論ベンチマーク）ではGemma 4が96.51%、Qwen 3.5が96.16%で、ほぼ互角という実測データがある。
FTとRAGの違い
Gemma 4に決めたところで、そもそもFTって何をするものなのか。「専門知識を入れる」と思ってたけど、それは半分間違いだった。
| FT | RAG | |
|---|---|---|
| たとえ | 新人に研修して叩き込む | カンペを見ながら答えさせる |
| 向いてる | 口調・応対パターン・推論の癖 | 最新情報・社内ドキュメント |
| 更新 | 再学習（重い） | ドキュメント差し替え（軽い） |
| 間違えたとき | 嘘を堂々とつく | 「見つかりませんでした」と返せる |
明日の天気や店の空き状況みたいに 日々変わるデータ を入れたいなら、FTじゃなくてRAG。FTは「どう答えるか」のスタイルを変えるのに向いてる。
現実的には両方組み合わせるのが主流。知識はRAGで渡して、応対スタイルはFTで覚えさせる。
LoRAって何
FTの最大のハードルはGPUメモリ。モデル全体を学習しようとしたらVRAMが足りない。
そこで使うのが LoRA（ローラ、Low-Rank Adaptation）。モデル全体を学習するんじゃなくて、小さな「付箋」を貼って、付箋の部分だけ学習する。元のモデルには触らない。
Gemma 4 E4B だと、LoRAで学習するのは全パラメータのうち たった0.23%。500ページの本に付箋を1枚貼るくらいの感覚。だからT4 16GBでも動く。
Colabでやってみた
理屈はわかった。手を動かす。全体で15〜20分。
準備
- Google Colab を開く
-
ファイル → ノートブックを開く → GitHub タブで
unslothai/notebooksを検索 -
nb/Gemma4_(E4B)-Text.ipynbを選ぶ（AMD-で始まるのはAMD GPU用なので注意） - ドライブにコピー しておく
- ランタイム → ランタイムのタイプを変更 → T4 GPU を選択
実行ステップ
ノートブックのセルを上から順に実行するだけ。
| ステップ | やること | 所要時間 |
|---|---|---|
| 1. Installation | Unslothをインストール | 数分 |
| 2. モデル読み込み | Gemma 4 E4B をダウンロード（約10.8GB） | 5〜8分 |
| 3. LoRA設定 | 付箋の場所とサイズを決める | 数秒 |
| 4. Data Prep | 学習データを整える（サンプル: 英語会話3000件） | 1分 |
| 5. Train | 学習を回す（60ステップ） | 5〜6分 |
| 6. Inference | FTしたモデルに質問してみる | 数秒 |
| 7. Save | モデルを保存する | 数分 |
Training Lossが下がっていく
Trainのセルを実行すると、こういう数字が出てくる。
| Step | Training Loss |
|---|---|
| 1 | 10.52 |
| 4 | 9.99 |
| 8 | 9.75 |
| 10 | 7.32 |
| 11 | 7.29 |
この数字が モデルの「間違い度合い」 。下がっていくのは、学習データに合わせてモデルが調整されてる証拠。たった60ステップで10.52→7.29、3割減ってる。
見ていて地味にテンション上がる。自分が育ててるモデルが、目の前で賢くなっていく感覚。
フィボナッチを聞いてみた
Inferenceのセルで、FTしたモデルに質問してみる。サンプルの質問は「1, 1, 2, 3, 5, 8, の続きは？」。
13, 21, 34, 55, 89, ... This is the Fibonacci sequence, where each number is the sum of the two preceding ones.
（13, 21, 34, 55, 89, ... これはフィボナッチ数列で、各数は前の2つの数の和です。）
正解。数列の続きだけじゃなくて、「フィボナッチ数列で、前の2つを足したもの」って説明までしてくれた。
持ち帰ろうとしたら
FTしたモデルをローカルPCで動かすには、GGUF（ジージーユーエフ）という形式に変換する必要がある。CPUだけで推論できる形式で、OllamaやLM Studioで読み込める。
ノートブックの Save セクションにGGUF変換のコードがある。if False を if True に書き換えて実行。
変換が始まって、プログレスバーが進んで...
「使用可能な RAM をすべて使用した後で、セッションがクラッシュしました。」
E4B（4.5B）のGGUF変換は、Colabの無料枠だとメモリが足りなかった。学習自体は成功してたのに、持ち帰る段階で落ちた。
次回は E2B（2.3B）でやるか、LoRAアダプタだけ保存して Colab 上で使う方向にする。
FTは思ったより近かった
正直、ファインチューニングって「GPU何枚も積んだサーバーで何日も回す」イメージだった。Colabで無料GPU借りて、Unslothで軽くして、LoRAでパラメータの0.23%だけ学習する。それで15〜20分。思ってたのと全然違った。
FTそのものより、どのモデルを選ぶかの方がずっと考えることが多い。Qwenのクローズド化みたいに、技術以外の要素が判断に入ってくるのも面白かった。
次は日本語データでFTして、Gemma 4の日本語がどこまで良くなるか試してみたい。
Discussion