⛩️
InternLM2.5 7Bと各社ローカル LLM 小規模モデルまとめ
InternLM2.5 7B を使う
Update(23th Sep 2024)
- モデルの総合的な比較（大規模モデル含む）は下記サイトが詳しいです。
InternLMとは
Welcome to the InternLM organization. InternLM is mainly developed by Shanghai AI Laboratory.
We keep open-sourcing high quality LLMs as well as a full-stack toolchain for development and application.
- 上海 AIラボのLLM で、InternLMを核に自然言語処理だけでは画像処理など実装できる
- 今回は会話をベースにしているので試していないです。
- 実のところ、VRAMが足りないかもいう懸念あり
まずは素のチャット能力をチェック
こんな感じで大雑把に発注書を描いてもらいました。
作業結果
You: では、日本語になりますが、製品A-23-B、納期は５ヶ月、MOQは１００個で１００円ディスカウント契約のETAの発注書 のサンプルは作成できますか？
書生·浦語では、日本語の文書を作成することは可能です。このような情報を含む、製品A-23-Bの発注書のサンプルを作成します。
製品A-23-Bの発注書のサンプル（日本語）
[発注書]
品名：製品A-23-B
納期：5���月
MOQ：100個
ディスカウント契約：10％
商品番号：A-23-B-2023-04-01
[補足事項]
- 商品名：製品A-23-B
- 納期：2023年5月
- 最小注文量（MOQ）：100個
- ディスカウント契約：10％
- 商品番号：A-23-B-2023-04-01
[お問い合わせ先]
名前：担当者
電話番号：03-1234-5678
メールアドレス：info@company.com
[注意事項]
- この発注書は、契約書の一部として使用することになります。
- 商品の���格は、契約書によって決定されます。
このような情報を含む発注書のサンプルを作成しました。ご参考にしてください。
- 素の状態にしては意外とできている感じ。
- この点では他社のLLMも同等のものが作成できるが、こちらのほうが反応が早い
- 継続会話形式では18GBほどVRAM使用
チャット時のVRAM使用量
+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 545.29.06 Driver Version: 545.29.06 CUDA Version: 12.3 |
|-----------------------------------------+----------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+======================+======================|
| 0 NVIDIA GeForce RTX 3090 Off | 00000000:10:00.0 On | N/A |
| 45% 56C P2 126W / 350W | 18294MiB / 24576MiB | 0% Default |
| | | N/A |
+-----------------------------------------+----------------------+----------------------+
+---------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=======================================================================================|
| 0 N/A N/A 2104 G /usr/lib/xorg/Xorg 356MiB |
| 0 N/A N/A 2282 G /usr/bin/gnome-shell 68MiB |
| 0 N/A N/A 4352 G ...irefox/4539/usr/lib/firefox/firefox 23MiB |
| 0 N/A N/A 5485 G ...seed-version=20240723-180133.874000 76MiB |
| 0 N/A N/A 71455 C python 17742MiB |
+---------------------------------------------------------------------------------------+
物体検出したものを評価するスクリプト
- Qwenではできませんでしたが、internlm2_5-7b-chatでは無事に回答しました。
人物検出結果1
人物検出: この人物の特徴を説明してください。この人物は、「この人は、私の息子の友人の友人であり、私の息子の友人は年齢が少ない息子の友人であり、私の息子は年齢が少ない息子であり、私は年齢が少ない息子の友人から知っています。」という文脈で、人物の種類を分けられると、それは私の息子の友人の友人であり、私の息子の友人は年齢が少ない息子の友人であり、私の息子は年齢が少ない息子であり、私は年齢が少ない息子の友人から知っています。
この人物の特徴を説明するには、以下の点があります。
1. **関係の階層**：この人物は、あなたの息子の友人の中で二度の友人であり、この関係は年齢が少ない关系的層次の中でいくつかの層を涉る。
2. **年齢の関係**：この人物はあなたの息子の友人が年齢が少ない方に属し、年齢が少ない息子の友人という特定のグループに属する。
3. **関連する人々の年齢**：この人物があなたの息子の友人という人々と同じくらいの年齢にないという意味にして、あなたの息子の友人が年齢が少ない方に属する。
4. **連絡先**：この人物はあなたの息子の友人から知っていることを示している。これは、あなたの息子の友人を通じてこの人物について情報が共有されていることを意味し、互いに
人物検出: この人物の特徴を説明してください。
この人物は、1970年の米国選挙で、民主党のメイン人気サイドに所属し、または従事した人々には、その選挙で選挙戦を勝つにはどのようになりますかという意見を持つ人々がいました。この人物は選挙が勝つためには、メイン人気サイドに所属し、従事する必要があるという意見を持つ人々に、特定の選挙戦術を示しました。
この人物の選挙戦術は、民主党のメイン人気サイドに属于し、該サイドの活動を従事することで、選挙戦を勝つにはかつて必要なということを指します。この人物が示す選挙戦術は、過去に民主党はメイン人気サイドを指しますが、これは時々変わることがあります。
この人物が示す選挙戦術が、民主党の中でメイン人気サイドという概念が明確である時にのみ有効であることも指している可能性があります。民主党の選挙戦術は時々変わり、メイン人気サイドも変わります。
この人物が示す選挙戦術は、民主党の選挙戦術の一部であり、民主党は選挙戦術に富していることを指します。これは、過去の民主党の選挙戦術を確認し、民主党の選挙戦術の変化を見ることによって理解することができます。
人物検出結果2
この人物の特徴を説明してください。この人物は次のような特徴を持つことになっています。
この人物の特徴を説明してください。この人物は次
q人物検出: この人物の特徴を説明してください。
この人物の特徴を説明してください。
### 特徴の説明
1. **名前**: 米开朗基羅・博納罗蒂（Michelangelo Buonarroti）
2. **時代**: 15世纪末至16世纪初（文艺复兴时期）
3. **出身**: 義大利佛羅倫斯（Florence）
4. **職業**: 雕刻家、畫家、建築家、工程師
5. **代表作品**:
- **雕刻**: 《達文西の大卫》（David of Michelangelo）
- **壁畫**: 西斯廷小堂的天頂畫《創世纪》（The Creation of Adam）
- 日中混在で会話できるので、2のような回答が出た？
検証したLLMの比較(日本語使用時)
| モデル | GPUメモリ | 会話 | チャット | 素のファクトレベル | 備考 | （将来記事追加用） |
|---|---|---|---|---|---|---|
| RakutenAI-7B-chat | ６GB〜※1 | 可能 | 会話になる | 低い | 入門向け | N/A |
| gemma-2-27b-it-gguf | 16GB 〜 | 可能 | 情報信憑性高い | 近年の事実は正確 | モデルの大きさもあり、正確。マシンパワーがほしい | N/A |
| calm2-7b-chat | 16GB 〜 | 可能 | 可能 | わりと情報信憑性高い | 漢字に不安あるがわりと正確 | N/A |
| Qwen2-7B-instruct | 13GB 〜 | 可能 | 普通の会話なら可能 | やや劣る | 他のAIとの組み合わせができない | N/A |
| InternLM2.5-7B-Chat | 18GB 〜 | 可能 | レスポンス軽快 | かなり正確も中国語が優先 | 拡張性が高い | N/A |
無償の範疇で言うならいろいろな機能を試せるのはInternLM2.5-7B-Chat
ついで、calm2
まとめ
業務用途なら有償のChatGPT,Llama 3あたりが選択肢か
- 普通のブラウザにあるチャットベースでは業務データを作れない
- 情報収集の調整に限界
- 業務用テンプレート作成といった工数削減・人件費抑制に役立つ可能性大
ローカルLLMは？
- 開発者がいれば、有償モデルに迫る業務の自動化・工数削減ができる
- ただし、ローカル（オンプレ）では機材投資がかさむ、クラウドなら大丈夫そうですが・・・
- 基本的に各社の有償モデルに機能的につながっているので検証にはいいかと思います。
- 小規模な定型作業に使えそう。特に新しいモデルに差し替えればファクト的に信頼度も高い。
参照元
- ※1 日本語OSS LLM RakutenAI-7BをノートPCで使う
スクリプト収録先
InternLM2.5 7B検証サンプル
Discussion