Zenn
😊

Qwen3 32B A3Bを動かす

に公開
LLM
llama.cpp
qwen3
2070super
qwen32ba3b
tech

Qwen3 32B A3Bを動かす

Qwen3 32B A3Bとは？

  1. Qwen3とは、先日(2025/04/29)に発表された最新のQwenファミリーのモデルです。そして、その中のQwen3 32B A3BとはMoEアーキテクチャを持つモデルで、アクティブパラメータが3Bと規模が小さいパソコンでも動かせるようになっています。

実行環境

  • Ryzen 7 3700X
  • 2070Super(vram8G)
  • 64Gram
  • llama.cpp(2025/04/25 build)

モデル

動かしてみる

llama-server -m .\llama\models\Unsloth\Qwen-30B-A3B-GGUF\Qwen3-30B-A3B-Q6_K.gguf -ngl 999 -ot ".*ffn_.*_exps.*=CPU"

prompt eval time =    6641.20 ms /   901 tokens (    7.37 ms per token,   135.67 tokens per second)
       eval time =   98921.76 ms /  1000 tokens (   98.92 ms per token,    10.11 tokens per second)
      total time =  105562.97 ms /  1901 tokens

このの記事での実行コマンドでは、共有テンソルのみをGPUにロードするという使用上、今回のモデルでは、vram8Gを使い切らなかったが、実験してみたところ速度的には変わらなかった

生成結果

プロンプト：「まどマギで一番可愛いのはだれですか？」

「まどかマギカ（魔法少女まどか☆マギカ）」における「一番可愛い」という評価は、視聴者の主観に大きく左右されるため、明確な答えは存在しません。ただし、ファンの間でよく挙げられるキャラクターとその特徴を紹介します。

  1. 鹿目まどか（Madoka Kaname）

    • 作品のヒロインで、無垢で優しく、純粋な気持ちを大切にする性格。幼さと優しさが融合した「純粋な美しさ」が評価され、多くのファンに愛されています。
    • ただし、ストーリーの中で「最悪の結末」を迎えるため、切ない魅力も持っています。

  2. 佐倉杏子（Kyoko Sakura）

    • テンポと反応が鋭く、多少の「不良」な面も持ちつつ、かわいらしい表情や行動（例：「ごめんね～」のセリフ）で人気。
    • クールで自己中な印象を持つが、内面の優しさが評価されるケースも。

  3. 美少女戦士たち（マミ・サヤカ・ホムラ）

    • マミ・トモエ（Mami Tomoe）：大人びた落ち着きと優しさ。年齢の割に幼さを残した雰囲気が魅力。
    • 佐倉・サヤカ（Sayaka Miki）：努力家で熱血な性格。無垢な笑顔と、最終的に悲劇的な結末を迎えることから、切なさと愛らしさが結びつけられる。
    • 時崎・ホムラ（Homura Akemi）：クールで冷徹な印象だが、真摯な努力と悲しみを抱える姿が、逆に「かわいさ」を引き出す。

  4. 他のキャラクター

    • 巴マミ（Mami）や佐倉杏子は、それぞれの「かわいさ」の定義に合致するファンが多いため、人気があります。
    • キャラクターのデザインや声優の演技も、印象に残る要因の一つです。

結論

「一番可愛い」というのは、個人の感性に大きく依存します。例えば、まどかの純粋さ、サヤカの熱血さ、杏子の反骨心、マミの大人の優しさなど、それぞれが異なる魅力を持っています。
作品自体が「美と苦しみの共存」をテーマにしているため、キャラクターの「かわいさ」は「切なさ」とも結びつきやすいのが特徴です。
最終的には、ご自身がどのキャラクターに共感できるかが、最も重要な判断基準になるでしょう！

結論・考察

  • 10tok/sぐらいの生成速度になった。
    llama4 scoutと比べると、生成の質自体はllama4 scoutのほうが好みではあるが、生成速度はやっぱこっちのほうが早いそして、MCPなどにも最適化されているらしいので、これからはこのモデルを更に極めと思う。

  • また、生成する際に、読み込みに時間がかかることがあった。これは、実行する際のコマンドで、8Gのvramには乗り切っていないパラメータをたくさん読み込んでいるからと考えている。ここらへんはvram貧弱GPUではllama4 scoutのほうがいいのかもしれない(設定不足の可能性あり)

Discussion