🤖
【ロボット制御】pi0, pi0.5, smolVLAのLIBEROタスク評価結果
1. 評価方法
以下の各課題について、3エピソード(10×3)評価を実施する。
1.1 課題の種類
・Spatial：空間認識関連の10タスク(物体の場所を入れ替えるなど)
・Object：扱う物体が変わる10タスク。知識転移の可否を問う。
・Goal：異なる指示を与える10タスク。
・90：90の短期タスク。(5090環境で動かなかったため結果なし)
・10：10の長期タスク。
環境例
1.2 タスク詳細
タスク詳細(90除く)
libero_goal（10件）
| 番号 | 日本語指示 |
|---|---|
| 0 | キャビネットの中段引き出しを開ける |
| 1 | ボウルをコンロの上に置く |
| 2 | ワインボトルをキャビネットの上に置く |
| 3 | 上段引き出しを開けてボウルを中に入れる |
| 4 | ボウルをキャビネットの上に置く |
| 5 | 皿をコンロの手前に押す |
| 6 | クリームチーズをボウルに入れる |
| 7 | コンロの電源を入れる |
| 8 | ボウルを皿の上に置く |
| 9 | ワインボトルをラックに置く |
libero_spatial（10件）
| 番号 | 日本語指示 |
|---|---|
| 0 | 皿とラメキンの間の黒いボウルを拾って皿の上に置く |
| 1 | ラメキンの隣の黒いボウルを拾って皿の上に置く |
| 2 | テーブル中央の黒いボウルを拾って皿の上に置く |
| 3 | クッキーボックスの上の黒いボウルを拾って皿の上に置く |
| 4 | 木製キャビネットの上段引き出し内の黒いボウルを拾って皿の上に置く |
| 5 | ラメキンの上の黒いボウルを拾って皿の上に置く |
| 6 | クッキーボックスの隣の黒いボウルを拾って皿の上に置く |
| 7 | コンロの上の黒いボウルを拾って皿の上に置く |
| 8 | 皿の隣の黒いボウルを拾って皿の上に置く |
| 9 | 木製キャビネットの上の黒いボウルを拾って皿の上に置く |
libero_object（10件）
| 番号 | 日本語指示 |
|---|---|
| 0 | アルファベットスープを拾ってバスケットに入れる |
| 1 | クリームチーズを拾ってバスケットに入れる |
| 2 | サラダドレッシングを拾ってバスケットに入れる |
| 3 | バーベキューソースを拾ってバスケットに入れる |
| 4 | ケチャップを拾ってバスケットに入れる |
| 5 | トマトソースを拾ってバスケットに入れる |
| 6 | バターを拾ってバスケットに入れる |
| 7 | 牛乳を拾ってバスケットに入れる |
| 8 | チョコプリンを拾ってバスケットに入れる |
| 9 | オレンジジュースを拾ってバスケットに入れる |
libero_10（10件）
| 番号 | 日本語指示 |
|---|---|
| 0 | アルファベットスープとトマトソースを両方バスケットに入れる |
| 1 | クリームチーズの箱とバターを両方バスケットに入れる |
| 2 | コンロの電源を入れてモカポットを上に置く |
| 3 | 黒いボウルを下段引き出しに入れて閉める |
| 4 | 白いマグを左の皿に、黄白のマグを右の皿に置く |
| 5 | 本を拾ってキャディの後部コンパートメントに入れる |
| 6 | 白いマグを皿の上に置き、チョコプリンを皿の右側に置く |
| 7 | アルファベットスープとクリームチーズの箱を両方バスケットに入れる |
| 8 | 2つのモカポットをコンロの上に置く |
| 9 | 黄白のマグを電子レンジに入れて閉める |
タスク詳細(90)
libero_90（90件）
| 番号 | 日本語指示 |
|---|---|
| 0 | キャビネットの上段引き出しを閉める |
| 1 | キャビネットの上段引き出しを閉めて、その上に黒いボウルを置く |
| 2 | 黒いボウルをキャビネットの上段引き出しに入れる |
| 3 | バターを上段引き出しの奥に入れて閉める |
| 4 | バターを上段引き出しの手前に入れて閉める |
| 5 | チョコプリンを上段引き出しに入れて閉める |
| 6 | キャビネットの下段引き出しを開ける |
| 7 | キャビネットの上段引き出しを開ける |
| 8 | 上段引き出しを開けてボウルを中に入れる |
| 9 | 黒いボウルを皿の上に置く |
| 10 | 黒いボウルをキャビネットの上に置く |
| 11 | キャビネットの上段引き出しを開ける |
| 12 | 奥の黒いボウルを皿の上に置く |
| 13 | 手前の黒いボウルを皿の上に置く |
| 14 | 中央の黒いボウルを皿の上に置く |
| 15 | 中央の黒いボウルをキャビネットの上に置く |
| 16 | 手前の黒いボウルを中央の黒いボウルの上に重ねる |
| 17 | 中央の黒いボウルを奥の黒いボウルの上に重ねる |
| 18 | フライパンをコンロの上に置く |
| 19 | モカポットをコンロの上に置く |
| 20 | コンロの電源を入れる |
| 21 | コンロの電源を入れてフライパンを上に置く |
| 22 | キャビネットの下段引き出しを閉める |
| 23 | 下段引き出しを閉めて上段引き出しを開ける |
| 24 | 黒いボウルを下段引き出しに入れる |
| 25 | 黒いボウルをキャビネットの上に置く |
| 26 | ワインボトルを下段引き出しに入れる |
| 27 | ワインボトルをワインラックに置く |
| 28 | キャビネットの上段引き出しを閉める |
| 29 | 黒いボウルを上段引き出しに入れる |
| 30 | 黒いボウルを皿の上に置く |
| 31 | 黒いボウルをキャビネットの上に置く |
| 32 | ケチャップを上段引き出しに入れる |
| 33 | 電子レンジを閉める |
| 34 | 黄白のマグを白いマグの手前に置く |
| 35 | 電子レンジを開ける |
| 36 | 白いボウルを皿の上に置く |
| 37 | 白いボウルを皿の右側に置く |
| 38 | 右側のモカポットをコンロの上に置く |
| 39 | コンロの電源を切る |
| 40 | フライパンをキャビネットの棚に置く |
| 41 | フライパンをキャビネットの上に置く |
| 42 | フライパンをキャビネットの棚の下に置く |
| 43 | 白いボウルをキャビネットの上に置く |
| 44 | コンロの電源を入れる |
| 45 | コンロの電源を入れてフライパンを上に置く |
| 46 | アルファベットスープを拾ってバスケットに入れる |
| 47 | クリームチーズの箱を拾ってバスケットに入れる |
| 48 | ケチャップを拾ってバスケットに入れる |
| 49 | トマトソースを拾ってバスケットに入れる |
| 50 | アルファベットスープを拾ってバスケットに入れる |
| 51 | バターを拾ってバスケットに入れる |
| 52 | 牛乳を拾ってバスケットに入れる |
| 53 | オレンジジュースを拾ってバスケットに入れる |
| 54 | トマトソースを拾ってバスケットに入れる |
| 55 | アルファベットスープを拾ってトレーに入れる |
| 56 | バターを拾ってトレーに入れる |
| 57 | クリームチーズを拾ってトレーに入れる |
| 58 | ケチャップを拾ってトレーに入れる |
| 59 | トマトソースを拾ってトレーに入れる |
| 60 | 左の黒いボウルを拾ってトレーに入れる |
| 61 | チョコプリンを拾ってトレーに入れる |
| 62 | サラダドレッシングを拾ってトレーに入れる |
| 63 | 左のボウルを右のボウルの上に重ねてトレーに入れる |
| 64 | 右のボウルを左のボウルの上に重ねてトレーに入れる |
| 65 | 赤いマグを左の皿に置く |
| 66 | 赤いマグを右の皿に置く |
| 67 | 白いマグを左の皿に置く |
| 68 | 黄白のマグを右の皿に置く |
| 69 | チョコプリンを皿の左側に置く |
| 70 | チョコプリンを皿の右側に置く |
| 71 | 赤いマグを皿の上に置く |
| 72 | 白いマグを皿の上に置く |
| 73 | 本を拾ってキャディの前部コンパートメントに入れる |
| 74 | 本を拾ってキャディの左コンパートメントに入れる |
| 75 | 本を拾ってキャディの右コンパートメントに入れる |
| 76 | 黄白のマグを拾ってキャディの右側に置く |
| 77 | 本を拾ってキャディの後部コンパートメントに入れる |
| 78 | 本を拾ってキャディの前部コンパートメントに入れる |
| 79 | 本を拾ってキャディの左コンパートメントに入れる |
| 80 | 本を拾ってキャディの右コンパートメントに入れる |
| 81 | 本を拾ってキャディの前部コンパートメントに入れる |
| 82 | 本を拾ってキャディの左コンパートメントに入れる |
| 83 | 本を拾ってキャディの右コンパートメントに入れる |
| 84 | 赤いマグを拾ってキャディの右側に置く |
| 85 | 白いマグを拾ってキャディの右側に置く |
| 86 | 中央の本を拾ってキャビネットの棚に置く |
| 87 | 左の本を拾って棚の上に置く |
| 88 | 右の本を拾ってキャビネットの棚に置く |
| 89 | 右の本を拾ってキャビネットの棚の下に置く |
2. 結果
2.1 結果表
| model | goal % | object % | spatial % | overall % |
|---|---|---|---|---|
| libero_pi05 | 93.3 | 96.7 | 86.7 | 92.2 |
| libero_smolvla | 83.3 | 96.7 | 80.0 | 86.7 |
| libero_pi0 | 83.3 | 76.7 | 66.7 | 75.6 |
*overall%: 3種類の課題（各30試行）の単純平均。
2.2 各タスクの成功率
・goal
・object
・spatial
3. 所感
3.1 pi0.5
・全指標トップで汎用性が高い
・goalタスク6で成功は一回のみで、段取り逸脱時のリカバリーが課題。
・objectタスク3とspatialタスク0でも単発失敗あり
3.2 smolvla
・objectタスクではpi05に並ぶ。
・goalタスク5と9が1回しか成功せず全体平均を下げている。
・spatialではタスク7で最後のエピソードが失敗
3.3 libero_pi0
・3モデル中最低スコア。
・objectタスク8は3回中1回のみ成功
・spatialはタスク1が全失敗、タスク6も初回のみ成功で、言語理解と再試行戦略が弱い。
3.4 まとめ
・成功/失敗がほぼ離散的なため、差分は明確な挙動差に起因。
・試行数n=3は粗いが、pi05と他モデルの性能差は明確。
4. NA?
タスクの保存動画を確認し、感覚系・言語理解・制御のどこで破綻しているか分類して学習改善の指針にする。等
Discussion