NVIDIA Isaac Sim 4.0.0：人型ロボットのアセット

概要

• isaac sim 4.0.0のリリースに伴い、ロボットのアセットに人型ロボットが追加されました
• 追加された人型ロボットは次の5つです
  • 1X Neo
  • Unitree H1
  • Agility Digit
  • Fourier Intelligence GR1
  • Sanctuary AI Phoenix
  • XiaoPeng PX5

実行環境

unit	specification
CPU	i9-11900H
GPU	GeForce RTX 3080 Laptop
RAM	32GB
OS	Ubuntu 20.04.3 LTS

• Nvidia Driverバージョン
  • 535.171.04
• Issac simバージョン
  • 4.0.0

目次

1. 1X Neo
2. Unitree H1
3. Agility Digit
4. Fourier Intelligence GR1
5. Sanctuary AI Phoenix
6. Xpeng Motors PX5

1. 1X NEO

https://www.1x.tech/androids/neo

• 1XはもともとはHalodi Roboticsという企業であり、最近社名を変更し、1Xとなりました

• 2022年に1XとOpenAIが提携を発表し、OpenAIは1XのSeries A（合計$23.5M）で出資しています

  • また、Series Bでは、Samsung Nextや機関投資家より$100Mを調達しています

• 1Xでは、2台の人型ロボット（EVE、NEO）をProductとして公開しています

  • EVEは下半身に差動２輪台車が取り付けられており、こちらで移動します
    • Halodi roboticsで作られていたEVEはにモータ駆動であるため、こちらもモーター駆動であると考えられます
    • また、モーターは独自で作っているようです
  • 1XのYoutbeで主に登場しているのはEVEの方であり、Neoはあまり登場しません
  • NEOは下半身が２脚となっており二足歩行によって移動します
    • また、関節はケーブル駆動で動かしているらしい？

• ハードウェアスペック

unit	specification
高さ	1.65m
重さ	30Kg
走行速度（歩行	1.1m/s
可搬重量	20Kg
連続稼働時間	２〜４時間

モデルの表示

-まず、環境を追加します。トップバーのcreate -> isaac -> Enviroments -> Flat Grid を選択します

• 次に、トップバーのcreate -> isaac ->　Robots -> Humanoid -> 1X -> NEOを選択します
  • テクスチャが無いモデルが表示されます
  • また、NEOの関節はワイヤー駆動だという話だったのですが、各関節はモータ駆動のように見えます
  • また、所々関節が浮いている箇所があります
  • エンドエフェクタは5指のハンドが装着されていました
  • simulationを開始すると、発散することなく、直立しました

2. Unitree H1

https://www.youtube.com/watch?v=GtPs_ygfaEA

• UnitreeはGo等の４脚ロボットが有名ですが、最近H1やG1のような人型ロボットも販売しています
• H1は1580万円〜ほど、G1は2556万~で販売されています
• また、H1を用いた研究事例はいくつか存在します
  • HumanPlus Humanoid Shadowing and Imitation from Humans
    • Stanford Univ.
    • arxiv Submitted on 15 Jun 2024
    • 人間のデータから動作と自律機能を学習するためのシステムの提案
  • OmniH2O: Universal and Dexterous Human-to-Humanoid Whole-Body Teleoperation and Learning
    • Carnegie Mellon Univ, Shanghai Tong Univ
    • arxiv Submitted on 13 Jun 2024
    • Accepted IROS2024 Oral
    • 人型のロボットの遠隔操作と自律性を実現する学習ベースのシステムの提案
  • Learning Human-to-Humanoid Real-Time Whole-Body Teleoperation
    • Carnegie Mellon Univ
    • arxiv Submitted on 7 Mar 2024
    • OmniH2Oの前のシステム
    • RGBカメラのみを使用してH1のリアルタイム全身を操作する強化学習ベースのフレームワークの提案
  • Humanoid Parkour Learning
    • Shanghai qi zhi institute, MARS Lab, ShanghaiTech Univ.
    • arxiv Submitted on 15 Jun 2024
    • H1でパルクールの動作を学習させるためのフレームワークの提案
• G1は最近販売開始されたので研究事例は見当たりませんでしたが、MujoCoで歩行制御を実装しているものはありました
• ハードウェアスペック

unit	specification
高さ	1800mm
重さ	47Kg
走行速度（歩行	1.5m/s
可搬重量	-
連続稼働時間	-

モデルの表示

• 同じく、環境を追加します。トップバーのcreate -> isaac -> Enviroments -> Flat Grid を選択します
• 次に、トップバーのcreate -> isaac ->　Robots -> Quadrupeds -> Unitree -> H1を選択します
  • テクスチャ有りのモデルが表示されます
  • エンドエフェクタは装着されていません
  • simulationを開始すると、発散することなく、直立しました
    
    

3. Agility Digit

https://www.youtube.com/watch?v=xHnEFs7pIJU
https://agilityrobotics.com/

• 2015年に設立されたAgility roboticsは人型ロボットのメーカであり、現在は足のデザインが特徴的なDigitを主なプロダクトとしています

• 2024.04にAmazon Industrial Innovation Fundから出資を受け、Amazonの倉庫で実証実験をしている動画が公開されています

• 2024.06にGXOの物流業務にDigitを導入するための複数年契約を締​​結しています

  • Digitの作業では、棚からコンテナを移動してコンベアに配置するなどの反復作業を想定している

• また、Digitを大量生産するための工場も持っており、年間１万台の生産が可能

• 以前は研究用途でも使用されていましたが、現在は産業応用向けになっているため、最近公開されている研究事例は多くなさそうです

  • Fall Prediction for Bipedal Robots: The Standing Phase
    • Michigan Univ.
    • Accepted in ICRA2024
  • Socially Acceptable Bipedal Robot Navigation via Social Zonotope Network Model Predictive Control
    • Georgia Tech.
    • Accepted in IROS2024

• 倉庫等で使用することを想定しているため、WMS等に接続可能なFleet管理機能を持ったソフトウェアも自社で開発しています

• ハードウェアスペック

unit	specification
高さ	1752mm
重さ	65Kg
走行速度（歩行	-
可搬重量	-
連続稼働時間	-

モデルの表示

• 同じく、環境を追加します。トップバーのcreate -> isaac -> Enviroments -> Flat Grid を選択します
• 次に、トップバーのcreate -> isaac ->　Robots -> Humanoid -> Agility -> DigitV4を選択します
  • テクスチャ有りのモデルが表示されます
  • エンドエフェクタは装着されていません
  • simulationを開始すると、両腕が前に出されるため重心が前側になり、転倒します
    
    

4. Fourier Intelligence GR1

https://www.youtube.com/watch?v=MXTWIMQRxNQ
https://fourierintelligence.com/gr1/

• Fourier Intelligenceは2015年に創業し,現在は中国の上海に本社があるリハビリテーションおよび装具に関する外骨格ロボット製品とサービスを提供する企業です

• 認識モジュールとして、自動運転の学習モデルで使用するようなBEV + Transfomer + Occupacy Networkの構成で開発もしているようです

• 2023年度に販売開始されており、研究で使用された事例は見かけたことがありません

  • IROS2023、ICRA2024、CVPR2024では企業展示として、GR1の実機が展示されていました

• ハードウェアスペック

unit	specification
高さ	-
重さ	-
走行速度（歩行	-
可搬重量	-
連続稼働時間	-

モデルの表示

• 同じく、環境を追加します。トップバーのcreate -> isaac -> Enviroments -> Flat Grid を選択します
• 次に、トップバーのcreate -> isaac ->　Robots -> Humanoid -> Fourier Untelligence -> GR1_T1, GR1_T2を選択します
  • GR1_T1にはテクスチャが存在せず、GR1_T2はテクスチャが表示されます
  • エンドエフェクタには5指のハンドが装着されていました
  • simulationを開始すると、発散することなく、直立しました
    
    

5. Sanctuary AI Phoenix

https://www.youtube.com/watch?v=-HizP4UQvug
https://sanctuary.ai/

• Sanctuary AIは2018年に創業し、カナダのバンクバーに本社がある企業です

• 2024.05にMicrosoftと提携しており、LLMを基盤としたヒューマノイド向けのモデルの開発を共同で実施していくことを表明しています

• また、Tangible Researchを買収しているため、Tangible Researchが得意としていたハンド関連のIPを所有しています

  • Giant.AIのIPも所有していると記載がありました

• 様々なタスクを実行する動画がYoutubeで公開されています

  • 学習データには触覚データも取り入れており、”ガラスのような壊れやすいものを手に取るのと、プラスチックのカップのように同じ外観でより頑丈なものを手に取るのとの違いを理解し、それに応じて動作を修正”できると記載されています

• 2023年度に販売開始されており、研究で使用された事例は見かけたことがありません

• ハードウェアスペック

unit	specification
高さ	1701mm
重さ	70Kg
走行速度（歩行	1.34m/s
可搬重量	25kg
連続稼働時間	-

モデルの表示

• 同じく、環境を追加します。トップバーのcreate -> isaac -> Enviroments -> Flat Grid を選択します
• 次に、トップバーのcreate -> isaac ->　Robots -> Humanoid -> Sanctuary AI -> Phoenixを選択します
  • テクスチャがあるモデルが表示されます
  • エンドエフェクタには5指のハンドが装着されていました
  • simulationを開始すると、両腕が前にあるため、転倒します
    
    

6. Xpeng Motors PX5

https://www.youtube.com/watch?v=X2dP31FLRwY

• Xpeng Motorsは中国の電気自動車メーカーです

• Xpeng mototsには、ロボティクス部門であるXpeng Roboticsがあり、こちらが開発しているようです

  • youtube : XPENG Humanoid PX5 Prototype Showcase

• 2023.11にヒューマノイドロボットの開発を進めているという話を公開しました

  • デザイン構想も公開されています

• まだ開発途中のようであり、研究で使用された事例は見かけたことがありません

• ハードウェアスペック

unit	specification
高さ	1500mm
重さ	-
走行速度（歩行	-
可搬重量	-
連続稼働時間	-

モデルの表示

• 同じく、環境を追加します。トップバーのcreate -> isaac -> Enviroments -> Flat Grid を選択します
• 次に、トップバーのcreate -> isaac ->　Robots -> Humanoid -> Xiao Peng -> PX5を選択します
  • テクスチャが無いモデルが表示されます
  • エンドエフェクタには5指のハンドが装着されています
  • simulationを開始する前に、自身のふくらはぎ部にハンドの指がめり込んでいるため、simulationを開始すると、発散しました