🗂
顔をゲームのコントローラーにしてみた
突然ですが、私は「太鼓の達人」というゲームが昔から大好きでした。
久しぶりにやってみたいと思いましたが、我が家にはゲーム機がなかったので自作してみました。
実装にあたって、Pygameというpythonでゲームを作成するのに特化したpythonモジュールを使いました。
簡単なゲーム部分の制作
まずは、キー入力でノーツを反応させるシンプルなリズムゲームを作成してみました
ただ、単純すぎてつまらなく、このまま太鼓の達人と同じようにノーツの種類を追加したところで
つまらなさそうなことは確定しているので、何か良い手はないかと考えました。
そこで、本記事の本題である「顔でゲームを操作したらおもしろいんじゃないか」という発想に至りました。
表情認識部分の制作
FERという表情認識ができるオープンソースのpythonライブラリを使って表情認識部分は作成しました。
実際にできたプロトタイプ
以下の動画は実際に友人にプレイしてもらった動画です。
これからの展望
プロトタイプでは表情認識が笑顔と真顔のみでしたが、FERでの表情認識は怒りや悲しみなどの感情も読み取れるので、よりゲーム性に深みを持たせたり、2人同時プレイできるようにします。
また、プレイ中のプレイヤーの顔を3Dアバターに変換する機能追加も行います。これにより、ギャラリーも見やすくなるとともに、プレイヤーも誇張された自身の表情を客観視して自らの感情の動きにもフィードバックされるというメタな効果も狙っています。
Discussion