🦉

Unity ML-Agents #1 環境構築とはじめての学習

に公開
Unity
機械学習
強化学習
ML-Agents
tech

2025/10/15

はじめに

最近はロボット分野でも物理シミュレーションを活用した AI（Physical AI, embodied AI）が注目されています。実際にロボットを作る際にも、従来の制御工学だけでなく、機械学習や強化学習の知識が欠かせなくなってきていると感じています。
私自身も物理シミュレーションを用いた機械学習を学びたいと思い、Unity ML-Agents を使った勉強を始めました。その過程で、書籍だけでは分からない部分や、実際に手を動かしてみてつまずくことが多くありました。
この記事では、そうした学習の中で困った点や解決方法を整理し、これから同じように学ぶ人の参考になるよう共有していきたいと思います。

なお、本記事は『Unity ML-Agents 実践ゲームプログラミング』を用いて学習を進める中で得た知見をまとめたものであり、書籍の内容そのものを解説するものではありません。詳細はご自身で書籍を購入してご確認ください。

今回は環境構築と，はじめての学習のところまで進めます．

開発環境

カテゴリー 名称 バージョン
OS macOS Tahoe 26.0.1
CPU Apple M1
メモリ 16GB
UnityEditor Unity 2022.3.62f2
python 3.10.12
ML-Agents release22
VSCode 1.104.3

環境構築

Mac

  • UnityHubのインストール(Mac版)

  • ML-Agents Release22のインストール(Mac版)

  • pythonのインストール

    私はPythonを管理するためにPyenvを入れました．この方の記事が分かりやすかったのでそのまま引用させてもらいます．
    書籍にPythonの仮想環境の構築・有効化手順も載っていますが，Pyenvを用いるなら引用先の手順で進めてください．

    「Pythonをpyenvを用いて管理する」

    パスを通すときにvimやnanoを使いたい方で，ホームディレクトリに.zshrcファイルがない場合は新しくファイルを作成してください．
    インストールしたPyenvを用いてPython3.10.12をインストールします．

  • ML-AgentsのPythonパッケージのインストール
    これをする前に２つほどファイルを書き換える必要があります．

    • ml-agents-envs/setup.py
      grpcio >= 1.11.0, <= 1.71.0
    • ml-agents/setup.py
      grpcio >= 1.11.0, <= 1.71.0

    修正が終わったら書籍通りインストールを進めてください．

後は書籍通りに進めれば環境構築は完了です．

Windows

Macのときとほぼ同じですが，いくつか注意点があります．

ML-Agetns Release22をインストールするときは，コマンドプロンプトでアクセスしやすい場所にしてください．具体的には，絶対パスの中に日本語のフォルダ名が含まれない場所が最適です．
* PythonのインストールはMicrosoft Storeからインストールした方が早いです．その場合はPythonの仮想環境構築なども書籍のとおり進めてください.

あとは書籍のとおりに進めれば環境構築は完了です．

はじめての学習

はじめての学習環境(RollerAgents)の作成ではあまり困ることはありませんでした．

強いて言うなら，

  • Unityの座標系を勘違いして，プログラムにx, zと書くところをx, yと書いて学習がうまくいかなかった．
  • 学習を始めるときにBehavior ParametersのBihavior TypeをHeuristic OnlyからDefaultに戻すのを忘れて学習できなかった

ぐらいな感じです．

結果はこんな感じになると思います．

今後もこのRollerAgentsをもとにして学習方法を学んでいくので，RollerAgentsをパッケージとしてエクスポートしておくことをお勧めします．エクスポートは，メニューのAssets/ExportPackage...でパッケージ化できます．

次回

次回は書籍４章の内容を進めていきます．

Discussion