【2025/3時点 やってみた】いくつかの言語モデルをClineで試した感想

5070Tiで動かす環境が整ったので、いくつかの最近の言語モデルのサーバを立てて、Cline(稀にRoo Codeも)を動かした感想をここに書いておきます。先に乱暴な結論書いておきますが、学習されてもいいならGeminiの無料分でいいんじゃとも思いました。

環境

こちらの記事(https://zenn.dev/articles/7a02027414cd52 )と一緒です。WindowsのLM Studioでサーバを立てて、別マシンでVSCodeを立ててそこのCline(Roo Code)から繋いでいます。
また、この後runpodでRTX4090やRTX5090も借りて試したので、そちらの感想も書きます。

Clineで送ってみた質問

「React + TypeScript + Viteの簡単なアプリケーションを作ってください」

使用したモデル

特に記載なければ4bit量子化modelを使ってます。これは6bitだと5070Tiの16GBに載らない事が多いためです。

• DeepSeek R1: 14b, 32b
• QwQ: 32b (これだけ3bit)
• Gemma-3: 1b, 4b, 12b (それぞれ-it)
• mistral-small-3.1-24b-instruct-2503

感想

• どのモデルでも、パラメータ数で精度がだいぶ変わります。「〇〇が××と精度並んだ！超えた！」みたいな話があってもそれは設定の環境上で超えたわけで、実用的かとはまた別になります。VRAMとか処理速度からしても5070Tiで12b~14b, 5090で32bがまともに動くぐらいに見えます。4090はVRAMとしては32b載るものの、実用上はしんどい気もします。企業ならがんばって5090買った方がいいでしょう。そりゃ5090輸出規制かかるわけだ
• Gemma-3: 1b, 4bでも受け答えはできるものの、適当にはぐらかしているように見えました。フェルマーの最終定理の質問(a^n + b^n = c^n でn>3の時に解はあるか。ただし a, b, cはそれぞれ別の自然数でnも自然数)をした場合も1b, 4bは「もうちょっと詳しく教えて」というのに対し、12bは「これはフェルマーの最終定理ですね」みたいにちゃんとわかって返してくるようになります
• QwQ: サイズを一番落として3bitのものを使いましたが、結構遅そうな感じでした。まだ5090では試してないのであとで触ってみます
• mistral-small-3.1: これは5070Tiでも動作し、精度もなかなかよさげに見えました。しかしいかんせんDeepSeek R1 12bやGemma-3 12bなどと比べても10倍くらい遅い感じがします(6tok/sec). 5090ではまだ試してないので確認します
• Deep Seek R1: これはもともと触ってました。14bが5070Tiでまともに動きますが、Clineだと途中から同じファイルを編集繰り返します。5090であれば32bも動かせるようになります。より一段と賢くなりますね

現時点の結論

32bなら本当にClaudeやGeminiと戦えそう。ただしその為には5090は欲しい。mistral-small-3.1やQwQは蒸留版が見つからなかったので、それらが出て12bぐらいまで落とせると4090や5070Tiでも使えて本当に世界が変わりそう