はじめに
株式会社ファースト・オートメーションCTOの田中(しろくま)です！
前回、Open WebUIというツールを使って、日本語ローカルLLMが動く環境を作る記事を書いたのですが、今回はその環境を使って、最近発表された各日本語ローカルLLMの比較を行ってみたいと思います。
今回比較するローカルLLMの一覧は以下になります。日本語に特化したモデルじゃないのも含まれてます。
使用するPCがRTX4090を一枚載せたPCなので、それぞれGPUに全部載せられるサイズに量子化を行いました。
| モデル名 | 量子化タイプ | モデルのリンク |
|---|---|---|
| Phi-3 medium | Q8_0 | https://huggingface.co/bartowski/Phi-3-medium-128k-instruct-GGUF |
| Gemma-2 27b | Q8_0 | https://huggingface.co/bartowski/gemma-2-27b-it-GGUF |
| Llama3-swallow 70b | Q3_K_M | https://huggingface.co/tokyotech-llm/Llama-3-Swallow-70B-Instruct-v0.1 (自前で量子化) |
| Calm3 22b | Q8_0 | https://huggingface.co/cyberagent/calm3-22b-chat (自前で量子化) |
さっそく試してみる
我々は製造業の分野に関わっているというのもあって、以下のようなプロンプトを試してみました。
あなたは優秀なSIerです。食品工場にパレタイズロボットを導入しようと考えています。
その際の導入仕様書を書いてみて下さい。
ロボットを工場に導入する際の仕様書を書いてもらうというお題です。
このお題の回答のポイントとしては以下のような点が挙げられます。
- 仕様書の構成がしっかりしているか(項目・章立てがちゃんとしていて見やすい、網羅性があるなど)
- 必要な装置やシステムが列挙されているか(ロボット、安全装置、ベルトコンベア、操作パネルなど)
- 予算やスケジュールに関する記述があるか(どういう順序で進めようと考えているか)
- 注意すべき法律や環境面への考慮(特に食品工場として) がされているか(ISOやIECの規格、衛生面、防水など)
ローカルLLMの前にGPT-4oを使って回答させてみた結果が以下になります。
## パレタイズロボット導入仕様書
### 1. はじめに
本仕様書は、食品工場におけるパレタイズロボットの導入計画および必要な要件を明示するものである。目的は、効率的かつ高精度なパレタイズ作業を実現し、生産性の向上とコスト削減を図ることである。
### 2. 導入の目的
- **作業効率の向上:** 手動によるパレタイズ作業を自動化することで、作業効率を向上させる。
- **労働コストの削減:** 人手による作業の削減により、人件費の低減を図る。
- **品質の安定:** 高精度なロボットにより、製品の積み上げ精度を向上させ、品質を安定させる。
- **労働環境の改善:** 重労働をロボットに置き換えることで、作業員の負担を軽減する。
### 3. ロボットの基本要件
- **種類:** パレタイズロボット（6軸多関節型推奨）
- **最大積載重量:** 50kg以上
- **動作範囲:** 最大リーチ2,000mm以上
- **サイクルタイム:** 2秒以下（重量20kgのケースを1mの高さに移動する場合）
- **設置環境:** 食品工場内（クリーンルーム対応）
- **防塵・防水性能:** IP65以上
### 4. 制御システム
- **コントローラ:** 専用コントローラ（産業用PCまたはPLC）
- **インターフェース:** Ethernet/IP、PROFINET、その他工場内ネットワークに対応
- **プログラミング:** Teach Pendantによるプログラミング、またはオフラインプログラミングソフトウェア
### 5. センサーと安全装置
- **センサー:**
- 衝突検知センサー
- 位置検出センサー
- バーコードリーダーまたはQRコードリーダー
- **安全装置:**
- 非接触式安全フェンス
- 緊急停止ボタン
- 光カーテン
### 6. 導入計画
- **現地調査:** 工場内のスペース確認、環境条件の確認
- **設計・計画:** ロボット設置位置、動線、関連設備の配置計画
- **設置工事:** ロボット本体および関連設備の設置、電気工事、配管工事
- **試運転:** ロボットの動作確認、プログラムのデバッグ、性能テスト
- **トレーニング:** 操作員およびメンテナンス担当者への教育訓練
- **本稼働:** 本稼働開始後のフォローアップ、調整作業
### 7. メンテナンス
- **定期点検:** 月次点検、年次点検のスケジュール
- **消耗品交換:** グリッパーパッド、ベアリング等の交換時期
- **緊急対応:** 故障時の緊急対応体制、リモートサポート
### 8. 予算およびコスト
- **初期導入コスト:** ロボット本体、関連設備、工事費用、教育費用
- **運用コスト:** 電気代、消耗品費用、メンテナンス費用
### 9. まとめ
本仕様書に基づき、効率的で高精度なパレタイズロボットの導入を進め、食品工場の生産性向上を実現することを目指す。今後の詳細な計画策定および導入スケジュールに関しては、プロジェクトチームと協力しながら進めていく。
たたき台としてはいい感じに書けているのではないかと思います。
導入計画がちゃんとフェーズ毎に説明されているのと、食品工場ということで防水などに言及しているところがポイントが高いと思いました。
これを10点としてそれぞれのローカルLLMの出力を点数付けしながら比較して見ていきます。
Phi-3
まずはMicrosoftさんのPhi-3-mediumです。
導入仕様書
1.目的：
この仕様書は、食品工場にパレタイズロボットを導入するためのガイドラインと基準を定義します。目的は、生産性向上、人件費削減、品質管理の最適化などにより、食品工場の業務プロセスと収益を改善することです。
2. システム要件：
a)自動パレット装荷機能:
i. ピッキング、取り付け、梱包などの作業を1台のロボットが処理できる必要があります。
ii. 生産量に適した高速パレット装荷システムで、容器やフィルムなどさまざまな材料を取り扱える必要があります。
iii. 安全性と信頼性に優れた部品と機能を使用し、軌道上のオブジェクトとの接触や事故などのリスクを最小限に抑える必要があります。
b) パレット積み重ね機能:
i. 自動的かつ効率的に、複数のパレットをスタックして保管できるように設計された必要があります。
ii. 最適な重量分布と安定性を提供することで、梱包された貨物の完全性を維持する必要があります。
iii. 保管スペースの効率的な利用により、生産量に合わせて容易に再編成できる機能を備える必要があります。
c) 自動パレット輸送機能:
i. ピックアンドプレイスや積み下ろしなどの作業を1台のロボットで処理できる必要があります。
ii. 生産量に適した高速輸送システムで、さまざまなサイズと重量のパレットを取り扱えるように設計されている必要があります。
iii. 安全性と信頼性に優れた部品と機能を使用し、軌道上のオブジェクトとの接触や事故などのリスクを最小限に抑える必要があります。
d) 自動パレット解体機能:
i. ピッキング、取り付け、梱包などの作業を1台のロボットで処理できる必要があります。
ii. 生産量に適した高速解体システムで、さまざまなサイズと重量のパレットを取り扱えるように設計されている必要があります。
iii. 安全性と信頼性に優れた部品と機能を使用し、軌道上のオブジェクトとの接触や事故などのリスクを最小限に抑える必要があります。
3. 物理的特性：
a)ロボットのサイズと重量:
i. 食品工場で使用される機器や梱包材を収容できる十分なスペースがあること。
ii. 生産プロセスに適したサイズ、重量、形状のパレット装荷機器で作業することができます。
b)電源供給:
i. 食品工場内に安全な電気設備を提供してください。
ii. ロボットの動作範囲と生産量に適した十分な電力を供給できるようにします。
c)環境要件:
i. 食品工場で使用される材料や製品に安全性と適合性のある部品を使用してください。
ii. 清掃、保守、修理などの目的で必要に応じたアクセスが可能であること。
iii. 食品工場内の環境条件(温度、湿度、騒音レベル)を考慮して設計されています。
4.ソフトウェア要件：
a)ロボット操作システム:
i. 生産プロセスの変化に適応できる柔軟なインターフェースを持つ必要があります。
ii.食品工場の業務と目標に合わせてカスタマイズされた作業プログラミング方法を提供できるようにします。
b) 制御システム:
i. 生産性と信頼性の向上に役立つ、最新の制御技術とアルゴリズムを使用してください。
ii.ロボット間でデータ交換や調整が可能なネットワーク化されたシステムを実装する必要があります。
c) モニタリングと分析:
i.ロボットの状態やパフォーマンスに関するリアルタイムデータを提供してください。
ii.継続的改善と最適化に有益な分析ツールや機能を追加できるようにします。
5. 安全要件：
a)人間とロボットの相互作用:
i. 生産プロセス中に発生する可能性のある事故や衝突を最小限に抑える安全機能で設計されている必要があります。
ii. 障害物や人間工作者を検出し、それらとの接触を回避するためにセンサーを使用する必要があります。
b)機器安全性:
i. 食品工場で発生する可能性のある潜在的な危険やリスクを最小限に抑える設計と部品を使用します。
ii.ISO/TS15066(Robots and Robotic Devices - Collaborative Manipulation)のガイドラインに従って、人間がロボットの周りで作業できるような安全基準を実装します。
c) システム安全性:
i. 生産プロセス中の電気的および機械的故障から保護する、堅牢で信頼性が高いソフトウェアと制御システムを使用してください。
ii. ロボットの動作や安全機能に影響を与える可能性のある外部要因(環境条件、電源供給など)から保護します。
6.サポートとメンテナンス:
a) ロボットの初期設置とインストール:
i.食品工場で使用される機器や梱包材に適した専門知識を持つ技術者が、短期間かつ安全にロボットの設置と初期構成を行うこと。
ii. 食品工場で使用される機器やプロセスに適した作業手順を提供する必要があります。
b)保守とサポート:
i.生産性の妨げにならずに、清掃、調整、部品交換などの定期的および予防的メンテナンスを容易にするためのアクセスと機能を提供してください。
ii. 食品工場で発生する可能性のある故障や問題を迅速かつ簡単に診断、分析、修正できるようにします。
c)トレーニングとサポート:
i.ロボット操作システムと制御ソフトウェアの使用方法を説明する包括的なドキュメントやリソースを提供してください。
ii. 食品工場で発生する可能性のある問題に関するカスタマイズサポートとトレーニングを提供する必要があります。
それぞれの項目が詳しめに書かれていて、良いなと思いました。
とくに安全性の面ではISOに触れられていたり、GPT-4oよりも詳しく書かれていると思いました。
計画や導入手順に関することは書いてほしかったので点数は9点としました。
Gemma-2
次に6/27にGoogleさんが出したGemma-2-27bです。
## 食品工場向け パレタイズロボット 導入仕様書
**1. はじめに**
本仕様書は、貴社食品工場へのパレタイズロボット導入プロジェクトの要件を定義することを目的とします。
**2. プロジェクト目標**
* **生産効率向上:** 人手によるパレタイズ作業の自動化により、作業時間短縮と生産性向上を実現する。
* **人材不足解消:** 労働力不足問題への対策として、自動化による人材確保の負担軽減を目指す。
* **作業環境改善:** 重労働や危険作業をロボットに代替することで、従業員の安全性を向上させ、より快適な作業環境を構築する。
* **品質向上:** ロボットによる正確で安定したパレタイズ作業により、製品の品質向上と出荷効率化を実現する。
**3. システム概要**
* **ロボットの種類:** 高速かつ高精度なパレタイズ動作を実現できる、6軸ロボットアームを採用。
* **搬送方式:** コンベアシステムと連携し、製品をスムーズにロボットへ供給する。
* **パレット種類対応:** 従来使用しているパレットサイズに対応する必要があり、将来的なパレット変更にも柔軟に対応可能な機種を選択する。
* **積載重量・高さ:** 想定される製品の重量・サイズに合わせて、ロボットアームとパレットの積載能力を決定する。
**4. 機能要件**
* **自動パレタイズ:** 搬送されてくる製品を、指定されたパターンに従ってパレット上に自動で積み重ねる機能。
* **パターン学習機能:** 異なる製品サイズや形状に対応するため、パ nutrientesレタイズパターンをロボットに学習させる機能。
* **異常検知機能:** 製品の落下や積載位置のずれなどの異常を検知し、アラートを発する機能。
* **遠隔操作・監視機能:** オペレータが遠隔からロボットの動作状況を監視したり、必要に応じて操作できるようにする機能。
* **データ記録機能:** パレタイズ作業に関するデータを記録し、分析することで効率化や改善につなげる機能。
**5. 技術仕様**
* **ロボットアーム:**
* 動作速度: 〇〇秒/サイクル
* 最大積載重量: 〇〇 kg
* 作業範囲: 〇〇 mm (X軸) × 〇〇 mm (Y軸) × 〇〇 mm (Z軸)
* **制御システム:**
* PLC: 〇〇社製 〇〇モデル
* HMI: タッチパネル式、日本語表示対応
* **安全装置:**
* 安全フェンス: 作業エリアを囲む
* 緊急停止ボタン: ロボットの緊急停止機能
* 光電センサー: 人間の侵入を検知し、ロボット動作を停止
**6. インストール・運用**
* **設置場所:** 工場内のスペースを確保し、ロボット設置に必要な環境を整える。
* **配線工事:** ロボットと制御システムの配線工事を行う。
* **試運転・調整:** ロボットの動作確認と微調整を行い、安定稼働を実現する。
* **保守サポート:** 導入後も、定期的なメンテナンスやトラブル対応などのサポート体制を構築する。
**7. スケジュール**
* **要件定義:** 〇〇月〇〇日～〇〇月〇〇日
* **機器選定:** 〇〇月〇〇日～〇〇月〇〇日
* **受発注:** 〇〇月〇〇日～〇〇月〇〇日
* **設置工事:** 〇〇月〇〇日～〇〇月〇〇日
* **試運転・調整:** 〇〇月〇〇日～〇〇月〇〇日
* **稼働開始:** 〇〇年〇〇月〇〇日
**8. 費用**
* ロボット本体価格: 〇〇円
* 制御システム価格: 〇〇円
* 設置工事費用: 〇〇円
* その他費用: 〇〇円
* **合計:** 〇〇円
**9. 備考**
本仕様書は、プロジェクトの初期段階における概略的なものです。詳細な仕様については、今後の打ち合わせにおいて協議の上決定いたします。
シンプルながら、いわゆる仕様書という感じの構成で項目が網羅的に書かれているのが良いと思いました。
ただ、一部文字化けっぽいのが出ていたり、もう少し説明ほしいかなとも感じたので8点としました。
Llama-3-swallow-70b
こちらはMeta社のLlama3を日本語を中心としたコーパスで継続事前学習を行ったモデルで、東京工業大学さんが出しているモデルです。
パラメタ数的には今回の中で一番大きいものになりますが、量子化の度合いも大きいのでオリジナルよりも性能劣化していると思われます。
Subject: パレタイズロボット導入仕様書 - 食品工場用
1. 目的:
本文書は、食品工場でパレタイズロボットを導入する目的と要件について説明します。
2. 導入背景:
- 生産効率の向上
- 労働力不足に対応
- 食品安全性の確保
3. 導入仕様書:
3.1. ロボットタイプ:
- パレタイズロボット: 1台
- モデル: XYZ Company, Model ABC (or equivalent)
- 操作手法: 教示プログラミング(Teaching Programming)を用いた操作
3.2. パレットタイプ:
- 標準パレット: 1,000 x 1,200 x 100 mm (WxDxH)
- 重量: 10 kg
- 積載物: 食品原材料/製品 (例: 野菜、包装済み食材など)
3.3. ロボットアーム仕様:
- アーム長さ: 1,500 mm
- 可動範囲: ±180° (水平方向), ±120° (垂直方向)
- 最大可搬重量: 10 kg
3.4. センシング・安全機能:
- 光学式センサー: パレットの有無/位置検出用
- 超音波センサー: 障害物検出用
- 安全センサー: 作業エリアでの人体検出用
- 緊急停止ボタン
3.5. 設備・環境要件:
- 電源: 100V, 50/60Hz
- 環境温度: 10°C~40°C
- 湿度: 30%RH~80%RH (without condensation)
3.6. ソフトウェア:
- OS: Windows 10 (or later)
- ロボットコントローラソフトウェア: XYZ Company, Software ABC (or equivalent)
3.7. インストール・テスト:
- インストール: 工場内で実施
- テスト: パレットの積載/卸し、障害物検出、安全機能の確認
3.8. メンテナンス:
- 定期メンテナンス: 月1回 (推奨)
- 修理対応: 24時間以内 (緊急時)
3.9. 教育・トレーニング:
- ロボット操作/プログラミング教育
- 安全に関する教育
4. 導入予定日:
2023年5月15日
5. 費用見積もり:
別途提示 (ご要望に応じて、費用見積もりを提供します)
6. 保守・サポート:
- 1年間の保守契約
- 電話/メールによるサポート
- 追加費用: 別途提示
7. その他:
- 食品安全規格に適合する仕様であること
- 法令遵守 (労働基準法、電気用品安全法など)
章立てが見やすく、項目の網羅性が高いと思いました。
個人的には網羅性は重視したい項目なので10点としました。
Calm-3-22b
最後はCyberAgentさんが7月に出した日本語モデルです。パラメタ数22bというのがRTX4090的には丁度良いサイズですね。
### 導入仕様書: パレタイズロボット導入計画
#### 1. 概要
本仕様書は、食品工場における効率的な自動化を目指し、パレタイズロボット（Automated Palletizing Robot, APR）を導入するための詳細な計画を記載するものである。
#### 2. プロジェクトの目的
パレタイズロボットの導入により、以下の目的を達成することを目指す。
1. 生産効率の向上: 人手による作業の軽減と標準化を図る。
2. 品質向上: ヒューマンエラーの削減と製品の一貫性を確保する。
3. 労働環境の改善: 労働負荷の軽減および職場の安全性向上。
4. コスト削減: 長期的には人件費や運営コストの削減を見込む。
#### 3. プロジェクトの範囲
パレタイズロボットの導入、設置、試運転、及び従業員へのトレーニングまでを含む。
#### 4. 必要な機器・システム
- パレタイズロボット本体（メーカー名：XYZロボティクス）
- モデル: XYZ-5000
- 主な機能: 製品ピッキング、整列、パレット積み付け、エンドオブアームツールチェンジ（EOAT）
- コントローラおよびソフトウェア
- PLC（Programmable Logic Controller）
- ソフトウェア：XYZロボティクスの専用制御ソフトウェア
- 自動搬送台車（AGV: Automated Guided Vehicle）
- 製品の搬送とパレットの回収を効率化するため
- その他必要な周辺機器
- セーフガードシステム（ロボットと人間の干渉を防止するセンサーとライトカーテン）
- インターフェースおよび通信設備（イーサネット、Wi-Fiなど）
#### 5. 設置場所の要件
1. スペース: 工場内の空きスペース（約100平方メートル）
2. 電源供給: 三相3線式、200V, 50A
3. 床面の状態: 堅牢で水平なコンクリートまたは硬質の床材
4. 空調設備: 一定温度を維持できる空調システム（ロボットの耐熱・耐寒性能に準拠）
#### 6. インターフェースとデータ通信
- 既存工場システムとの統合:
- ERPシステム：生産管理および在庫管理との連携
- MES（製造実行システム）：リアルタイムの生産状況モニタリングと連携
- データセキュリティ: ネットワークセキュリティ対策、ファイアウォール設定等の実施
#### 7. トレーニングとサポート体制
- トレーニングプログラム
- メーカー主催のトレーニングセッションへの参加
- 社内トレーナーによる実地訓練（3日間）
- オペレータ向けマニュアルおよびサポートドキュメントの提供
- 定期メンテナンスおよびトラブルシューティング支援
#### 8. プロジェクトスケジュール
1. 調査・設計フェーズ
- 月初から1ヶ月：市場調査、要件定義、基本設計
2. 調達フェーズ
- 1ヶ月～2ヶ月：機器選定、ベンダーとの調整、発注
3. 設置・試運転フェーズ
- 2ヶ月～4ヶ月：機器搬入、設置、試運転
4. テストおよびトレーニングフェーズ
- 4ヶ月～5ヶ月：システムテスト、オペレータトレーニング
5. 運用開始とフォローアップ
- 5ヶ月目以降：本格稼働、定期的な保守・メンテナンス
#### 9. コスト見積もり
- パレタイズロボット本体: 約1,200万円
- 周辺機器およびソフトウェア: 約400万円
- 設置工事費用: 約300万円
- トレーニングおよびサポート: 約150万円
- 合計: 約2,050万円（税抜き）
#### 10. リスク管理
導入に関連する主なリスクと対策は以下の通り：
- 機器の故障やトラブルに対する予備部品の確保およびメンテナンス契約の締結
- システム統合に伴うデータセキュリティリスクの管理
- プロジェクト遅延防止のための定期的な進捗報告会議の実施
こちらも網羅性が高く、それぞれの項目に適度に説明がされていてかなり良いと思いました。
GPT-4oが出した結果と比較しても遜色ないレベルなのではないでしょうか。
こちらも10点としました。
結果まとめ
以下のような結果になりました。
もっと差が出るのを期待してましたが、正直どれもGPT-4oと比較してよくできているなと思いました。
単純な文書生成だともうGPT-4oに匹敵するレベルに来ているのかもしれません。より論理性や指示内容を読み解かないと答えられないような質問で試したほうが良かったかもしれないです。
、、にしても最近のローカルLLMすごい。。
ちなみに実行スピードに関しては体感ですが、Phi-3がいわゆるAIChatとして違和感ないくらいに速かったです。llama-3の70bは量子化されてても遅いですね。
| モデル名 | 点数 |
|---|---|
| GPT-4o | 10 |
| Phi-3 medium | 9 |
| Gemma-2 27b | 8 |
| Llama3-swallow 70b | 10 |
| Calm3 22b | 10 |
最後までお読みいただきありがとうございました。
最後に宣伝ですが、株式会社ファースト・オートメーションは一緒に働いて下さる仲間を絶賛募集中です！
- ローカルLLMを使ったプロダクトに興味がある
- LLMの社会実装に貢献したい
- 製造業をより良くしたい
といったことに少しでも興味がある方、ぜひ下記応募リンクからご連絡下さい！
Discussion