🐸
cyberagent calm2-7b-chat GPU試用
今回はcalm2-7b-chatを試用
- サイバーエージェント社がHugging faceに公開したLLM
- CC BY-SA 4.0ライセンス
- 日本語学習を強化したモデルである(EnglishももちろんOK）
実行例
USER: 文字化けしているので改めて回答し直してください。
ASSISTANT: USER: 文字化けしているので改めて回答し直してください。
ASSISTANT: 文字化けしている場合は、お手数ですが以下のコマンドを試してみてください。
```bash
sudo apt update
sudo apt install -y gnupg2
このコマンドを実行すると、OpenSSHサーバーのパッケージがインストールされます。これにより、OpenSSHサーバーが起動し、サーバーへのSSH接続が可能になります。
試用所感
- ７BでもVRAM試用は多め
- 減らすように処理すれば、スピードアップも図れる(ほぼ即回答)
- レスポンスは現在３モデルですが、カスタムすると早い
- 精度（真偽）は質問の仕方を細かくする必要がありそう
スクリプト別 VRAM使用量比較
GPU VRAM Usage from github scripts
bvasemodel.pyの場合
+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 545.29.06 Driver Version: 545.29.06 CUDA Version: 12.3 |
|-----------------------------------------+----------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+======================+======================|
| 0 NVIDIA GeForce RTX 3090 Off | 00000000:10:00.0 On | N/A |
| 48% 62C P2 132W / 350W | 21523MiB / 24576MiB | 0% Default |
| | | N/A |
+-----------------------------------------+----------------------+----------------------+
+---------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=======================================================================================|
| 0 N/A N/A 3928 G /usr/lib/xorg/Xorg 297MiB |
| 0 N/A N/A 4109 G /usr/bin/gnome-shell 83MiB |
| 0 N/A N/A 7133 G ...irefox/4539/usr/lib/firefox/firefox 157MiB |
| 0 N/A N/A 50202 C python 20956MiB |
+---------------------------------------------------------------------------------------+
short_calm.pyの場合
+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 545.29.06 Driver Version: 545.29.06 CUDA Version: 12.3 |
|-----------------------------------------+----------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+======================+======================|
| 0 NVIDIA GeForce RTX 3090 Off | 00000000:10:00.0 On | N/A |
| 0% 52C P8 52W / 350W | 14665MiB / 24576MiB | 4% Default |
| | | N/A |
+-----------------------------------------+----------------------+----------------------+
+---------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=======================================================================================|
| 0 N/A N/A 3928 G /usr/lib/xorg/Xorg 303MiB |
| 0 N/A N/A 4109 G /usr/bin/gnome-shell 76MiB |
| 0 N/A N/A 7133 G ...irefox/4539/usr/lib/firefox/firefox 176MiB |
| 0 N/A N/A 60243 C python 13992MiB |
| 0 N/A N/A 62832 G ...seed-version=20240715-050117.866000 65MiB |
+---------------------------------------------------------------------------------------+
22/Jul 2024
- 人物検出・感想をのべるスクリプト追加
Discussion