Walk These Ways: Tuning Robot Control for Generalization with ...
はじめに
皆さんこんにちは,一関高専 村上研究室所属 小山田です.
論文調査のメモを残すシリーズです.
この記事では,「Walk These Ways: Tuning Robot Control for Generalization with Multiplicity of Behavior」の内容をまとめます.
余談ですが,Zennは70文字以上のタイトルを付けられないのですね...
論文のタイトルをそのまま使えなかったので,省略形にしました.
対象読者
- PPO などの強化学習アルゴリズムを理解している方
- 四足歩行ロボットに興味がある方
- シミュレーションから実機への転移(Sim2Real)に興味がある方
参照
- 元論文: Walk These Ways: Tuning Robot Control for Generalization with Multiplicity of Behavior
概要

-
課題
- 強化学習による脚式ロボット制御は,Domain Randomizationの環境分布内では高性能だが,分布外では適用が失敗しやすい
- 失敗時の対処が「報酬・環境を修正して再学習」に依存しており,現実運用では非現実的である
-
提案
- Multiplicity of Behavior (MoB) : 行動パラメータを入力として受け取り,多様な歩容・姿勢・周波数を1ポリシーで表現
- 同一タスクには複数の等価な解(underspecification)が存在する
- それらを1つのポリシー内に「構造化された多様性」として保持させることで,一般化能力を人手調整で引き出せる
新規性・差分
- 既存手法
- 多くのRL歩行制御
- 単一解に収束
- 一般化は環境推定やdomain randomizationに依存
- QD・スキル発見
- 多様性はあるが,人が意味的に操作できない
- 多くのRL歩行制御
- 本研究の新規性
- 明示的・意味的な行動パラメータ(周波数,高さ,接触位相)を導入
- 単一ポリシー内で連続的に補間可能な行動空間を学習
- 「人間がリアルタイムで調整できる」ことを前提に設計
- 重要な差分
- 再学習なしで分布外環境に対応可能
- モデルベース制御ではなく,学習ベースで構造化された行動空間を実現
手法
訓練する方策関数を定式化すると以下のように表せる
-
: ボディ速度や角速度のタスクコマンドc_t -
: 姿勢や歩行特性などの振る舞いベクトル,詳細は後述b_t
- 人間が理解できる振る舞いラパメタ
を組み込むことで,デプロイ時に人間が調整可能になるb_t
Task Structure for MoB
Task Specification
-
: x軸方向の速度v_x^\text{cmd} -
: y軸方向の速度v_y^\text{cmd} -
: yaw角速度\omega_z^\text{cmd}
※タスクコマンドはすべてボディ座標系である
Behavior Specification
-
: 足の動作の位相\theta_{1,2,3}^\text{cmd} -
: 1sあたりの足の接地回数f^\text{cmd} -
: ボディの高さh_z^\text{cmd} -
: ボディのピッチ角度(前傾 or 後傾)\phi^\text{cmd} -
: 足の開き幅s_y^\text{cmd} -
: 足の振り上げ高さh_z^{f,\text{cmd}}
Reward function

-
Rewardを3つに分類
- Task : タスク報酬
- Augmented Auxiliary :
に依存する補助報酬b_t - Fixed Auxiliary : 固定の補助報酬
-
補助報酬の変形式
- 補助報酬によるタスク報酬の阻害防止のため
をかけるr_\text{task} - 負の報酬が正の報酬を上回って,エージェントがタスクを放棄するのを防ぐため,負の範囲を正の範囲に変換する
-
を使用c_\text{aux} = 0.02
- 補助報酬によるタスク報酬の阻害防止のため

- Raibert Heuristicの実装
p_{x,y,\text{foot}}^{f,\text{cmd}} - 足の位置を算出する関数
- 例えば,足の開き幅の報酬で固定値の目標を採用した場合に,速い回転動作を阻害する可能性があるため,これを用いて動的に足の位置を計算する
Learning Diversified Locomotion
Task and Behavior Sampling
-
をカリキュラムに従ってサンプリング (https://arxiv.org/abs/2205.02824)v_x^\text{cmd}, v_y^\text{cmd}, \omega_z^\text{cmd} -
を決定\theta_1^\text{cmd}, \theta_2^\text{cmd}, \theta_3^\text{cmd} - pronking : 4足を揃えて飛び跳ねる移動
\theta_{1,2,3}^\text{cmd} = [0, 0, 0]
- trotting : 対角線の足が同じ動き
\theta_{1,2,3}^\text{cmd} = [0.5, 0, 0]
- bounding : 左右の足が同じ動き
\theta_{1,2,3}^\text{cmd} = [0, 0.5, 0]
- pacing : 前後の足が同じ動き
\theta_{1,2,3}^\text{cmd} = [0, 0, 0.5]
- 歩容の動画 : https://www.youtube.com/watch?v=AmdSDJlHIEM
- pronking : 4足を揃えて飛び跳ねる移動
- 残りの
要素を一様分布からサンプリングb_t
Policy Input
- 過去30step分を入力
o_{t-H \dots t}, c_{t-H \dots t}, b_{t-H \dots t} -
: 観測状態o_{t-H \dots t} -
: 関節角度q_t -
: 関節角速度\dot{q}_t -
: ボディ座標系の重力ベクトルg_t -
: 位相入力t_t
-
位相入力は足の位相指定に利用され,以下のように算出される.
この位相入力は,以下の報酬項で利用されている
- swing phase tracking
- stance phase traking
- footswing height traking
Policy Architecture
- policy body
- MLP
- hidden layer : [512, 256, 128]
- estimator
- MLP
- hidden layer : [256, 128]
参考 : https://arxiv.org/abs/2202.05481
記事 : #110: [WIP] 4F-Robot Reinforcement Learning/Concurrent Training of a Control Policy and a State Estimator for Dynamic and Robust Legged Locomotion #論文
Action Space
- 目標角度を出力
- PD制御
K_p = 20, K_d = 0.5
Design Choices for Sim-to-Real Transfer
Domain Randomization
- ボディの質量
- モーターの強度
- 関節の初期角度
- 地面の摩擦と反発
- 重力加速度
- 重力のドリフト

- 地形のランダマイゼーションはなく,平面環境で訓練
Latency and Actuator Modeling
- モーターの特性や通信ラグを特定することで不要なランダマイゼーションを回避し,アクションの鈍化や保守的な行動の学習を防止する
- 通信ラグは20ms
- PD誤差を推定するため,先行研究を参考にアクチュエータモデルを実装
Materials
Simulator and Learning Algorithm
- PPOで訓練
- IsaacGym
Hardware
- Unitree Go1 Edu
- Jetson TX2 NXでpolicyを推論
- Lightweight Communications and Marshalling (LCM) : センサデータ・モーターコマンド・Joystickなどのデータを通信
- Unitree SDK Low Command
- 50Hzの制御周期
Gait-free Baseline
- MoBの効果を検証するため,augmented auxiliary rewardをすべて除外して学習したモデルをBaselineとする
結果
Sim-to-Real Transfer and Gait Switching
-
を2Hzと4Hzで切り替えながら,歩容のコマンドも切り替えているf^\text{cmd} - 入力コマンドに追従していることが確認できる

Leveraging MoB for Generalization
Tuning for New Tasks
新しいタスクへのチューニングを行う場合に,再学習が必要なく
Energy efficiency (simulated)
エネルギーの利用を最小化するタスクを考える
※ モーターの番号を

- いくつかの
の選択によって,Baselineよりもよりエネルギー効率のよい歩行が実現できているb_t
Payload manipulation
ボールを運搬し,ユーザーの操作によってそれを放棄するタスクが可能になった
Tuning for New Environments
学習時に経験のない環境に適応できる可能を示唆している
Platform terrain (simulated)
- ランダム生成した16cm以下の障害物フィールドで検証
- 歩容の調整によって,環境への適応性能を高めることが可能
- e.g. Prokningでは,Baselineと近い生存時間で,且つコマンドの追従性能はBaselineに勝っている
-
は報酬の平均値r - 生存時間は,10sに対しての比率で表示

-
や\theta^\text{cmd} の調整で,訓練環境の分布外へもある程度の対応能力を示唆h_z^{f, \text{cmd}}


Climbing over curbs
MoBでは人間の操作補助によって,訓練では経験のない障害物環境でも歩行が可能となった.
記事先頭のFigure 1を参照
Hacking through thick bushes
- 先行研究では,茂みはセンサーが効かず歩行が困難になることが多々あった
- MoBでは,人間が
やf^\text{cmd} を調整することによって,ロボットを誘導することが可能h_z^{f, \text{cmd}}
Navigating confined spaces
-
の調整によって,22cmのバーの下を通過可能h_z^{f, \text{cmd}}
Anticipative bracing against shoves
- ロボットへの突きに対して,既存手法では足の開き幅を大きくすることで対応することが多いが,他の動作への影響がある
- MoBでは操作者に依存する
Exploring the Speed and Range of Behavior Adaptation
MoBを高レベルPolicyが操作する場合も,歩用の切り替えを行う必要がある.
パルクールやダンスなどのタスクに応用できる可能性がある.
ここは,動作をさせるための
Agile forward leap
- trotで助走をつけてpronkingで前方へジャンプする動作
- 60cmの跳躍 (跳躍前の前足から着地時の後ろ足の距離)
Choreographed dance
- 足踏みを用いてダンス
議論
- MoBの歩容指定は,高速な速度コマンドの追従性能を制限する

- MoBを用いると,一つのポリシーに多様なタスク行動空間を学習させることができる
- 将来的にシステムの自律性を向上させられる可能性
- e.g. 人間の行動選択を模倣
- e.g. 階層学習を用いてコントローラの自動調整を実装
おわりに
最後まで読んでいただき,ありがとうございました.
今回は,「Walk These Ways: Tuning Robot Control for Generalization with Multiplicity of Behavior」についてまとめました.
やはりRLにおいて,Domain Randomizationでなるべく広い環境に対応したいが,保守的な動作に収束してしまうというジレンマは悩ましいポイントです.この問題において,人間が後で調整可能なパラメタを学習させておくというアプローチは面白いと感じました.
学習時間の長いRLにおいて,再学習なしで環境適応できる可能性があるのは,実用的にも有用性が高いと考えます.
今後も,論文調査のメモを残すシリーズを続けていきたいと思いますので,お時間があるときに覗いてみてください.
Discussion