LLM Gemma2 GPU活用

Gemma2

Google 発のGeminiのOSS LLM

Regarding the English explanation, please refer to my Github page

https://blog.google/technology/developers/google-gemma-2/

• Google AI Studio
• Hugging face　などに対応
• 9B 27Bなど大規模なモデルあり

前回はRakutenAI-7B　で日本語対応

https://zenn.dev/manyan3/articles/f88478b694a45e

https://github.com/mi-kaneyon/man-yard/tree/main/LLM_Proj

• やはりマイナーネタの精度は高くないがレスポンスが早い
• 軽い（とはいえ一般PCには結構きつい）のでWork Stationレベルなら色々できそう？

Gemma2 27Bモデルを使えるようにするまで

うまく行かなかった導入初期レポ

https://qiita.com/Manyan3/items/d98cea688a6a36864d80

llama.cppから llama-cpp-pythonへスイッチ

https://github.com/ggerganov/llama.cpp

※GPU、CUDA使用のためにビルドを試行するとggml関係でつまづいたため

(例)Anaconda 環境へのディプロイ

Regarding the English explanation, please refer to my Github page

export CMAKE_ARGS="-DGGML_CUDA=on -DCUDA_PATH=/usr/local/cuda-12.3 -DCUDAToolkit_ROOT=/usr/local/cuda-12.3 -DCUDAToolkit_INCLUDE_DIR=/usr/local/cuda-12.3/include -DCUDAToolkit_LIBRARY_DIR=/usr/local/cuda-12.3/lib64"
export FORCE_CMAKE=1

• いざ、ビルド

pip install llama-cpp-python --force-reinstall --no-cache-dir

サンプル(sample)スクリプト

https://github.com/mi-kaneyon/man-yard/tree/main/llamacpp_mod

GUI

現状、RTX3090で２２MBとかなりメモリ使用量が多め。生成も時間がかかります。

• GUIでの所要時間例（こんにちはへの対応時間）
  llama_print_timings: load time = 8624.49 ms
  llama_print_timings: sample time = 132.63 ms / 150 runs ( 0.88 ms per token, 1130.92 tokens per second)
  llama_print_timings: prompt eval time = 8624.40 ms / 13 tokens ( 663.42 ms per token, 1.51 tokens per second)
  llama_print_timings: eval time = 740359.16 ms / 149 runs ( 4968.85 ms per token, 0.20 tokens per second)
  llama_print_timings: total time = 749305.28 ms / 162 tokens

+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 545.29.06              Driver Version: 545.29.06    CUDA Version: 12.3     |
|-----------------------------------------+----------------------+----------------------+
| GPU  Name                 Persistence-M | Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |         Memory-Usage | GPU-Util  Compute M. |
|                                         |                      |               MIG M. |
|=========================================+======================+======================|
|   0  NVIDIA GeForce RTX 3090        Off | 00000000:10:00.0  On |                  N/A |
| 53%   66C    P2             167W / 350W |  22792MiB / 24576MiB |     83%      Default |
|                                         |                      |                  N/A |
+-----------------------------------------+----------------------+----------------------+
                                                                                         
+---------------------------------------------------------------------------------------+
| Processes:                                                                            |
|  GPU   GI   CI        PID   Type   Process name                            GPU Memory |
|        ID   ID                                                             Usage      |
|=======================================================================================|
|    0   N/A  N/A      1988      G   /usr/lib/xorg/Xorg                          325MiB |
|    0   N/A  N/A      2169      G   /usr/bin/gnome-shell                         67MiB |
|    0   N/A  N/A     10544      G   ...irefox/4539/usr/lib/firefox/firefox      134MiB |
|    0   N/A  N/A     31358      C   python                                    22206MiB |
+---------------------------------------------------------------------------------------+

CLI

原稿用紙１枚程度なら１０秒もあれば何かしらの文章を作成

文章の信憑性

• 日本の時事問題 ＞ 有名な人 ＞ スポーツなど　＞ プライベート

生成例

21世紀に入ってからの日本は、少子高齢化や経済の停滞など様々な課題を抱えてきました。
それぞれの総理大臣は、これらの課題にどのように取り組み、どのような功績を残したのでしょうか。
以下に、21世紀の歴代総理大臣とその功績をまとめ、評論を加えます。

1. 小泉純一郎 (2001-2006)

• 功績:

  • 「構造改革」を推進し、郵政民営化や行政改革など大胆な政策を実行した。

  • 日米同盟強化に尽力し、イラク戦争への自衛隊派遣を決断した。

  • 経済政策としては、デフレ脱却を目指した金融緩和策などを実施した。

• 評論: 小泉政権は、従来の既得権益を打破する改革路線で注目されました。
  郵政民営化や行政改革は、日本社会に大きな変化をもたらしました。
  しかし、構造改革の影響による経済の不安定化や、イラク戦争への派遣が国内で物議を醸すなど、批判も少なくありませんでした。

2. 安倍晋三 (2006-2007, 2012-2020)

• 功績:

  • 「アベノミクス」と呼ばれる経済政策で、デフレ脱却と経済成長を目指した。
    金融緩和、財政出動、民間投資を喚起する「三本の矢」を掲げ、日銀総裁に黒田東彦氏を起用しました。

  • 安全保障政策において、集団的自衛権の行使容認や、憲法改正に向けた議論を加速させた。

• 評論: 安倍政権は、長期間にわたって政権運営を行い、経済政策や外交政策で大きな影響力を持つ存在でした。
  アベノミクスは一定の効果をもたらしましたが、成果は限定的であり、経済格差の拡大などの課題も指摘されました。
  安全保障政策では、憲法改正に向けた議論が活発化しましたが、国民の間では意見が分かれており、今後の展望は不透明です。

3.福田康夫 (2007-2008)

• 功績:

  • 経済対策として、景気刺激策を打ち出した。

  • 環境政策において、地球温暖化対策の推進に注力した。

• 評論: 福田政権は、短命政権となり、目立った成果は残せませんでした。
  しかし、環境問題への意識の高まりを反映し、地球温暖化対策の重要性を訴えたことは評価できる点です。

4. 麻生太郎 (2008-2009)

• 功績:

  • 世界金融危機に対応するため、大胆な財政出動を実施した。

• 評論: 麻生政権は、世界金融危機の影響を受けた日本経済の安定化に尽力しました。
  しかし、政策の継続性やリーダーシップ不足が指摘され、支持率は低迷しました。

5. 鳩山由紀夫 (2009-2010)

• 功績:

  • 民主党政権として、初めて政権を担った。

  • 沖縄の米軍基地問題や、外交政策において、アメリカとの関係を見直しを図った。

• 評論: 鳩山政権は、長い間与党であった自由民主党から政権交代を果たしたという点で、歴史的な意義を持つ政権でした。
  しかし、沖縄の米軍基地問題や外交政策における対応がうまくいかなかったり、内閣の混乱が目立ち、短命政権に終わりました。

6.菅直人 (2010-2011)

• 功績:

  • 東日本大震災後の復興を推進した。

  • 原子力発電所の安全確保に向けた取り組みを進めた。

• 評論: 菅政権は、東日本大震災の発生という未曾有の危機に直面し、復興や原発事故対応に奔走しました。
  しかし、福岛第一核电站事故への対応や、経済政策などにおいて、批判も寄せられました。

7. 野田佳彦 (2011-2012)

• 功績:

  • 財政再建に向けた消費税増税法案を成立させた。

• 評論: 野田政権は、東日本大震災後の財政状況悪化に対応するため、消費税増税などの大胆な改革を進めました。
  しかし、経済状況の悪化や、消費税増税に対する国民の反発などにより、支持率は低迷しました。

8. 安倍晋三 (2012-2020)
（上記参照）
9. Suga Yoshihide (2020 -2021)

• 功績:

  • 新型コロナウイルス感染症の拡大防止策を推進した。

• 評論: Suga政権は、コロナ禍での経済対策や医療体制強化に注力しました。
  しかし、新型コロナウイルスの感染拡大が収束せず、ワクチン接種への批判や、支持率低迷により短命政権となりました。

10. Kishida Fumio (2021-現在)

• 功績:

  • 新型コロナウイルス感染症対策を継続し、経済回復を目指している。

  • 「新しい資本主義」の実現を掲げ、分配の課題解決やデジタル化などを推進する方針を示している。

• 評論: Kishida政権は、コロナ禍からの脱却と、社会的不平等に対処する政策を重視しています。
  しかし、具体的な政策内容や効果はまだ未知数であり、今後の展望が注目されています。

総括

21世紀の日本は、グローバル化や少子高齢化、経済の停滞など様々な課題に直面してきました。
それぞれの総理大臣は、これらの課題に対して異なる政策を打ち出しましたが、どれも完璧な解決には至っていません。
日本の未来は、これらの課題をどのように克服していくのか、今後の政権がどのような政策を実行していくのかにかかっていると言えるでしょう。

+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 545.29.06              Driver Version: 545.29.06    CUDA Version: 12.3     |
|-----------------------------------------+----------------------+----------------------+
| GPU  Name                 Persistence-M | Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |         Memory-Usage | GPU-Util  Compute M. |
|                                         |                      |               MIG M. |
|=========================================+======================+======================|
|   0  NVIDIA GeForce RTX 3090        Off | 00000000:10:00.0  On |                  N/A |
|  0%   58C    P0             158W / 350W |    555MiB / 24576MiB |      0%      Default |
|                                         |                      |                  N/A |
+-----------------------------------------+----------------------+----------------------+
                                                                                         
+---------------------------------------------------------------------------------------+
| Processes:                                                                            |
|  GPU   GI   CI        PID   Type   Process name                            GPU Memory |
|        ID   ID                                                             Usage      |
|=======================================================================================|
|    0   N/A  N/A      1988      G   /usr/lib/xorg/Xorg                          305MiB |
|    0   N/A  N/A      2169      G   /usr/bin/gnome-shell                         63MiB |
|    0   N/A  N/A     10544      G   ...irefox/4539/usr/lib/firefox/firefox       97MiB |
+---------------------------------------------------------------------------------------+

まとめ

• 無料で使おうと目論むなら単純なPCではやはり厳しい
• Webサイト埋め込みなどならなおのこと有償サービス推奨
• ただし、GPT-2のときよりはガセ度がかなりおちついていますね。（特に自社の印象を聞いたときなど）