🐕‍🦺

Walk These Ways: Tuning Robot Control for Generalization with ...

に公開

はじめに

皆さんこんにちは,一関高専 村上研究室所属 小山田です.

論文調査のメモを残すシリーズです.
この記事では,「Walk These Ways: Tuning Robot Control for Generalization with Multiplicity of Behavior」の内容をまとめます.

余談ですが,Zennは70文字以上のタイトルを付けられないのですね...
論文のタイトルをそのまま使えなかったので,省略形にしました.

対象読者

  • PPO などの強化学習アルゴリズムを理解している方
  • 四足歩行ロボットに興味がある方
  • シミュレーションから実機への転移(Sim2Real)に興味がある方

参照

概要

alt text

  • 課題

    • 強化学習による脚式ロボット制御は,Domain Randomizationの環境分布内では高性能だが,分布外では適用が失敗しやすい
    • 失敗時の対処が「報酬・環境を修正して再学習」に依存しており,現実運用では非現実的である
  • 提案

    • Multiplicity of Behavior (MoB) : 行動パラメータを入力として受け取り,多様な歩容・姿勢・周波数を1ポリシーで表現
    • 同一タスクには複数の等価な解(underspecification)が存在する
    • それらを1つのポリシー内に「構造化された多様性」として保持させることで,一般化能力を人手調整で引き出せる

新規性・差分

  • 既存手法
    • 多くのRL歩行制御
      • 単一解に収束
      • 一般化は環境推定やdomain randomizationに依存
    • QD・スキル発見
      • 多様性はあるが,人が意味的に操作できない
  • 本研究の新規性
    • 明示的・意味的な行動パラメータ(周波数,高さ,接触位相)を導入
    • 単一ポリシー内で連続的に補間可能な行動空間を学習
    • 「人間がリアルタイムで調整できる」ことを前提に設計
  • 重要な差分
    • 再学習なしで分布外環境に対応可能
    • モデルベース制御ではなく,学習ベースで構造化された行動空間を実現

手法

訓練する方策関数を定式化すると以下のように表せる

  • c_t : ボディ速度や角速度のタスクコマンド
  • b_t : 姿勢や歩行特性などの振る舞いベクトル,詳細は後述
\pi (\cdot | c_t, b_t)
  • 人間が理解できる振る舞いラパメタ b_t を組み込むことで,デプロイ時に人間が調整可能になる

Task Structure for MoB

Task Specification

c_t = \left[ v_x^\text{cmd}, v_y^\text{cmd}, \omega_z^\text{cmd} \right]
  • v_x^\text{cmd} : x軸方向の速度
  • v_y^\text{cmd} : y軸方向の速度
  • \omega_z^\text{cmd} : yaw角速度

※タスクコマンドはすべてボディ座標系である

Behavior Specification

b_t = [\theta_1^\text{cmd}, \theta_2^\text{cmd}, \theta_3^\text{cmd}, f^\text{cmd}, h_z^\text{cmd}, \phi^\text{cmd}, s_y^\text{cmd}, h_z^{f,\text{cmd}}]
  • \theta_{1,2,3}^\text{cmd} : 足の動作の位相
  • f^\text{cmd} : 1sあたりの足の接地回数
  • h_z^\text{cmd} : ボディの高さ
  • \phi^\text{cmd} : ボディのピッチ角度(前傾 or 後傾)
  • s_y^\text{cmd} : 足の開き幅
  • h_z^{f,\text{cmd}} : 足の振り上げ高さ

Reward function

alt text

  • Rewardを3つに分類

    • Task : タスク報酬
    • Augmented Auxiliary : b_tに依存する補助報酬
    • Fixed Auxiliary : 固定の補助報酬
  • 補助報酬の変形式

    • 補助報酬によるタスク報酬の阻害防止のため r_\text{task} をかける
    • 負の報酬が正の報酬を上回って,エージェントがタスクを放棄するのを防ぐため,負の範囲を正の範囲に変換する
    • c_\text{aux} = 0.02を使用
r_\text{task} \exp(c_\text{aux} r_\text{aux})

alt text

  • Raibert Heuristicの実装 p_{x,y,\text{foot}}^{f,\text{cmd}}
    • 足の位置を算出する関数
    • 例えば,足の開き幅の報酬で固定値の目標を採用した場合に,速い回転動作を阻害する可能性があるため,これを用いて動的に足の位置を計算する

Learning Diversified Locomotion

Task and Behavior Sampling

  • v_x^\text{cmd}, v_y^\text{cmd}, \omega_z^\text{cmd} をカリキュラムに従ってサンプリング (https://arxiv.org/abs/2205.02824)
  • \theta_1^\text{cmd}, \theta_2^\text{cmd}, \theta_3^\text{cmd} を決定
    • pronking : 4足を揃えて飛び跳ねる移動
      • \theta_{1,2,3}^\text{cmd} = [0, 0, 0]
    • trotting : 対角線の足が同じ動き
      • \theta_{1,2,3}^\text{cmd} = [0.5, 0, 0]
    • bounding : 左右の足が同じ動き
      • \theta_{1,2,3}^\text{cmd} = [0, 0.5, 0]
    • pacing : 前後の足が同じ動き
      • \theta_{1,2,3}^\text{cmd} = [0, 0, 0.5]
    • 歩容の動画 : https://www.youtube.com/watch?v=AmdSDJlHIEM
  • 残りのb_t要素を一様分布からサンプリング

Policy Input

  • 過去30step分を入力 o_{t-H \dots t}, c_{t-H \dots t}, b_{t-H \dots t}
  • o_{t-H \dots t} : 観測状態
    • q_t : 関節角度
    • \dot{q}_t : 関節角速度
    • g_t : ボディ座標系の重力ベクトル
    • t_t : 位相入力

位相入力は足の位相指定に利用され,以下のように算出される.

[t^{FR}, t^{FL}, t^{RR}, t^{RL}] = \left[ t+\theta^\text{cmd}_2+\theta^\text{cmd}_3, t+\theta^\text{cmd}_1+\theta^\text{cmd}_3, t+\theta^\text{cmd}_1, t+\theta^\text{cmd}_2 \right]
t_t= \left[ \sin(2\pi t^{FR}), \sin(2\pi t^{FL}), \sin(2\pi t^{RR}), \sin(2\pi t^{RL}) \right]

この位相入力は,以下の報酬項で利用されている

  • swing phase tracking
  • stance phase traking
  • footswing height traking

Policy Architecture

  • policy body
    • MLP
    • hidden layer : [512, 256, 128]
  • estimator
    • MLP
    • hidden layer : [256, 128]

参考 : https://arxiv.org/abs/2202.05481
記事 : #110: [WIP] 4F-Robot Reinforcement Learning/Concurrent Training of a Control Policy and a State Estimator for Dynamic and Robust Legged Locomotion #論文

Action Space

  • 目標角度を出力
  • PD制御
    • K_p = 20, K_d = 0.5

Design Choices for Sim-to-Real Transfer

Domain Randomization

  • ボディの質量
  • モーターの強度
  • 関節の初期角度
  • 地面の摩擦と反発
  • 重力加速度
  • 重力のドリフト

alt text

  • 地形のランダマイゼーションはなく,平面環境で訓練

Latency and Actuator Modeling

  • モーターの特性や通信ラグを特定することで不要なランダマイゼーションを回避し,アクションの鈍化や保守的な行動の学習を防止する
    • 通信ラグは20ms
    • PD誤差を推定するため,先行研究を参考にアクチュエータモデルを実装

#109: [WIP] 4F-Robot Reinforcement Learning/Learning Agile and Dynamic Motor Skills for Legged Robots #論文

Materials

Simulator and Learning Algorithm

  • PPOで訓練
  • IsaacGym

Hardware

  • Unitree Go1 Edu
  • Jetson TX2 NXでpolicyを推論
  • Lightweight Communications and Marshalling (LCM) : センサデータ・モーターコマンド・Joystickなどのデータを通信
  • Unitree SDK Low Command
  • 50Hzの制御周期

Gait-free Baseline

  • MoBの効果を検証するため,augmented auxiliary rewardをすべて除外して学習したモデルをBaselineとする

結果

Sim-to-Real Transfer and Gait Switching

  • f^\text{cmd}を2Hzと4Hzで切り替えながら,歩容のコマンドも切り替えている
  • 入力コマンドに追従していることが確認できる

alt text

Leveraging MoB for Generalization

Tuning for New Tasks

新しいタスクへのチューニングを行う場合に,再学習が必要なくb_tの調整によって適応できる可能性がある

Energy efficiency (simulated)

エネルギーの利用を最小化するタスクを考える

\text{minimize} \quad \sum_{i=1}^{12} \max(\tau_i \dot{q}_i)

※ モーターの番号をiとし,すべてのモーターのパワーを合計する

alt text

  • いくつかの b_t の選択によって,Baselineよりもよりエネルギー効率のよい歩行が実現できている

Payload manipulation

ボールを運搬し,ユーザーの操作によってそれを放棄するタスクが可能になった

Tuning for New Environments

学習時に経験のない環境に適応できる可能を示唆している

Platform terrain (simulated)

  • ランダム生成した16cm以下の障害物フィールドで検証
  • 歩容の調整によって,環境への適応性能を高めることが可能
    • e.g. Prokningでは,Baselineと近い生存時間で,且つコマンドの追従性能はBaselineに勝っている
    • rは報酬の平均値
    • 生存時間は,10sに対しての比率で表示

alt text

  • \theta^\text{cmd}やh_z^{f, \text{cmd}}の調整で,訓練環境の分布外へもある程度の対応能力を示唆

alt text
alt text

Climbing over curbs

MoBでは人間の操作補助によって,訓練では経験のない障害物環境でも歩行が可能となった.
記事先頭のFigure 1を参照

Hacking through thick bushes

  • 先行研究では,茂みはセンサーが効かず歩行が困難になることが多々あった
  • MoBでは,人間がf^\text{cmd}やh_z^{f, \text{cmd}}を調整することによって,ロボットを誘導することが可能
  • h_z^{f, \text{cmd}}の調整によって,22cmのバーの下を通過可能

Anticipative bracing against shoves

  • ロボットへの突きに対して,既存手法では足の開き幅を大きくすることで対応することが多いが,他の動作への影響がある
  • MoBでは操作者に依存する

Exploring the Speed and Range of Behavior Adaptation

MoBを高レベルPolicyが操作する場合も,歩用の切り替えを行う必要がある.
パルクールやダンスなどのタスクに応用できる可能性がある.

ここは,動作をさせるためのb_tの操作手順が書いてあるだけなので,論文中の動画を見てほしい.

Agile forward leap

  • trotで助走をつけてpronkingで前方へジャンプする動作
  • 60cmの跳躍 (跳躍前の前足から着地時の後ろ足の距離)

Choreographed dance

  • 足踏みを用いてダンス

議論

  • MoBの歩容指定は,高速な速度コマンドの追従性能を制限する

alt text

  • MoBを用いると,一つのポリシーに多様なタスク行動空間を学習させることができる
  • 将来的にシステムの自律性を向上させられる可能性
    • e.g. 人間の行動選択を模倣
    • e.g. 階層学習を用いてコントローラの自動調整を実装

おわりに

最後まで読んでいただき,ありがとうございました.

今回は,「Walk These Ways: Tuning Robot Control for Generalization with Multiplicity of Behavior」についてまとめました.

やはりRLにおいて,Domain Randomizationでなるべく広い環境に対応したいが,保守的な動作に収束してしまうというジレンマは悩ましいポイントです.この問題において,人間が後で調整可能なパラメタを学習させておくというアプローチは面白いと感じました.
学習時間の長いRLにおいて,再学習なしで環境適応できる可能性があるのは,実用的にも有用性が高いと考えます.

今後も,論文調査のメモを残すシリーズを続けていきたいと思いますので,お時間があるときに覗いてみてください.

Discussion