マジカルミライ2025プログラミングコンテストに参戦してみた
昨年に引き続き、初音ミク「マジカルミライ 2025」プログラミング・コンテストに参戦してみました。
今年は昨年のメンバーmoomindaniとべりんぐに加え、このた、トキナイ、Yunatty の5名のメンバーで参加しました。
開発したリリックアプリは大変嬉しいことに入選となりました！
リリックアプリとは楽曲の歌詞を表示するアプリでして、今回のマジカルミライ2025の受賞曲が課題曲になってます。
2025/8/15現在はミクナビアプリ（要会員登録）経由で一般投票受付中です。8/19 正午まで。
ぜひ遊んでみて、気に入ったら投票していただけたら大変嬉しいです。
エントリーNo.7: リリックTAPスター
以下のリンクから遊べます。PC・タブレット・モバイルに対応しています。（ちなみにiPhone 11など古めのモバイルデバイスの場合、初回に初音ミクがうまく動かない・いなくなることがありますが、2回目のプレイから直るはず・・・修正間に合わんかった・・・なので2回プレイしてください・・・）
<Play app>
今年から入賞作品発表後はソースコード公開可になったとのことですので、本日 GitHub リポジトリを公開しました。興味のある方いたらソースコードも見ていただければ嬉しいです。
初音ミク「マジカルミライ 2025」プログラミング・コンテストとは
『初音ミク「マジカルミライ」』は、初音ミクたちバーチャル・シンガーの3DCGライブと、創作の楽しさを体感できる企画展を併催したイベントです。
初音ミク「マジカルミライ 2025」プログラミング・コンテストはマジカルミライ 2025の一環で開催されているプログラミングコンテストです。
このプログラミングコンテストでは、『初音ミク「マジカルミライ 2025」楽曲コンテスト』の受賞作品にあわせて歌詞などの映像演出が魅力的に動くWebアプリケーション（リリックアプリ）を開発します。
主な応募条件は以下の通りです。
- TextAlive App APIを利用します。
- HTTPサーバ上に設置するだけで動作する静的アプリケーションのみとします（PHP、Ruby、Node.jsなどを利用した動的なレスポンスを返すサーバアプリケーションは不可）
昨年の反省と今年の戦略
昨年の応募作品「Rhyme Traveler - ライムトラベラー」は、歌詞の意味を解析し、その内容に合わせたリリックビデオを生成するリリックアプリでした。昨年のポイントは以下の3つでした。
- 特定の楽曲のためだけに作り込むのではなく、任意の楽曲に対応する。コンテンツ作成ではなく、メカニズム開発に注力する。
- 選択した楽曲に合わせて見た目が大きく変わる作品にする。
- 楽曲の展開に合わせて演出が大きく変化するようにする。
これは私たちの目線では一定の成功を収めたかな・・・と振り返って思います。
一方で、以下の明確な課題がありました。
- 重要視したポイントが開発者目線すぎて一般の方にわかりづらい
- ユーザーは映像を見るだけでやることがない
- 自動生成された映像がちょっと地味
- マジカルミライのプログラミングコンテストなのにどこにも初音ミクがいない（！？）
ということで、昨年の反省を経て、よかったことは継承しつつも、今年は以下をポイントにしました。
- 一般ユーザーが楽しめるようにする
- 映像表現をリッチにする
- 初音ミクを登場させる（ここ重要）
応募作品概要
こうして生まれたのが、今年の応募作品「リリックTAPスター」です。音ゲーです。
「リリック TAP スター」は、歌詞と音楽に合わせてタップするリズムゲームと、3D VRMモデルによる美しい背景演出を組み合わせたインタラクティブなリリックアプリです。 歌詞の各単語をタイミングよくタップしながら、初音ミクの3Dモデルが歌詞の感情に合わせて踊る様子を楽しむことができます。
TextAliveのApp APIを使用していて、初音ミク「マジカルミライ 2025」プログラミング・コンテストの課題曲 6曲のいずれにも対応しています。また、"高度な設定" から Songle に音楽地図、TextAlive App APIに歌詞情報が登録された任意の曲を追加して遊ぶことができる仕組みになっています。
例えば、「ブレス・ユア・ブレス by 和田たけあき feat. 初音ミク」を再生したいときは、楽曲 URLに「https://www.youtube.com/watch?v=a-Nf3QUFkOU」 と入力すると楽曲を追加できます。これは、この楽曲 URL が Songle に登録されているためです。この URL は Youtube に限らず、ニコニコ動画などでも動作します。
ムービー
サムネイル画像をクリックするとYouTube動画にジャンプします。
開発体制
冒頭で挙げたとおり、本アプリは5名で開発しました。役割分担は以下の通りです。
- moomindani: 企画、アプリ実装(ゲーム、3Dシーン、ユーザーインタフェース)
- べりんぐ: 企画、アプリ実装(データモデリング、LLM連携)
- このた: 企画、3Dモデリング、アプリ実装(3Dシーン)
- トキナイ: ユーザーインタフェース、ロゴデザイン
- Yunatty: モーションキャプチャー
ポイント
「リリック TAP スター」は、リズムゲームと3D表現を融合させた新しい音楽体験を提供します。本アプリの最大の特徴は、TextAlive から取得した歌詞の感情値や発生に加え、音楽の意味や構造を分析し、それに合わせて初音ミクの3Dモデルが動的に表情や動きを変化させる点にあります。
歌詞の感情値（Valence/Arousal）に基づいて表情が変化し、発声タイミングに合わせたリップシンクが行われます。また、楽曲の盛り上がりや歌詞の内容に応じて、複数のVRMAアニメーションから最適なものを自動選択・接続することで、自然で表現力豊かなダンスを実現しています。
カメラワークも楽曲構造に連動して変化し、サビや盛り上がりに合わせて視点やズーム、移動パターンが動的に切り替わります。これにより、プレイヤーは音楽と一体になりながらゲームをプレイできます。
本アプリは、特定の楽曲のためだけに作り込むのではなく、任意の楽曲に対応するように設計されています。 上級者向けの機能として、Songle 上で登録されている楽曲の URL を入力し、任意の曲を演出できます。 Open AI の API キーをお持ちの場合はそのキーを入力することで、GPT-4o を使って曲を解析します。
課題曲 6曲については事前に解析したデータを使用するため、Open AIの API キーがない環境でも再生できます。
🎮 リズムゲーム機能
- 歌詞表示: 歌詞が画面上に自然な配置で表示され、読みやすい形で提示
- タイミングスター: 各単語に表示されるスターが縮小し、タップタイミングを視覚的に案内
- 精度判定: Perfect、Good、OK、Missの4段階でタップ精度を評価
- スコアシステム: コンボ数、最大コンボ、総合スコアを記録
- 難易度選択: Easy、Normal、Hardの3段階の難易度設定
- ハイスコア機能: 楽曲別・難易度別のハイスコアをローカルストレージに保存
🎭 3D背景演出
-
VRMモデル: 初音ミクの3Dモデル (VRoid Studioによるモデリング) が歌詞に合わせてダンス
ちなみに GitHub リポジトリには編集可能な形式 (.vroid) で公開してます。 -
VRMAアニメーション: 3Dモーションデータ mocopi によるモーションキャプチャを TextAlive Apps API とメタデータをもとに動的に選択・接続してアニメーションを自動生成
-
感情表現: TextAlive Apps API による歌詞の感情値（Valence/Arousal）に基づいた表情変化
-
リップシンク: TextAlive Apps API による発声タイミングを活用したリップシンク
-
動的アニメーション: 楽曲のBPMに同期したダンスアニメーション
-
カメラワーク: 自動的に変化するカメラアングルで臨場感を演出
-
パーティクル効果: 楽曲開始時の印象的なスター演出
🤖 AI解析機能
- 歌詞解析: OpenAI GPT-4oを使用した歌詞の意味・構造解析
- 配色生成: 楽曲の雰囲気に合わせた配色パターンの自動生成
📱 ユーザーインタフェース
- マルチデバイス: PC、タブレット、スマートフォンに対応
- iOS最適化: iPadOSを含む最新のiOSデバイスに対応
- タッチ操作: タッチデバイスでの快適な操作性
開発時のエピソード
- チーム名はモーションキャプチャーの作業を某社のヨガルームでやったことから名付けました。
- 最も修正困難だったバグは、ゲーム開始直後にトボトボ端っこに歩いていって宇宙の果てを見て動かなくなるミクでした。次点でゲーム開始直後からどこにもミクさんがいなくなる「初音ミクの消失」でした。
- 提出4日前に三拍子の曲が存在することが発覚しました。踊りと曲が合わなくなったけど間に合わなかったので諦めました。
- LLM/AI は開発時には大いに使いましたし、楽曲の歌詞の解析にも使用していますが、コンテンツには一切使用していません。
まとめ
初音ミク「マジカルミライ 2025」プログラミング・コンテストに参戦したお話でした。
普段仕事で書いているプログラムとは全然違うアプリを開発できて新鮮でした。
今年も、開発中にはテストやデバッグ含めて『初音ミク「マジカルミライ 2025」楽曲コンテスト』の受賞作品6曲を数百回と繰り返し聴きましたが、またもや全部好きになりました。ボカロPの方々は本当にすごい...!
現在一般投票期間中ですし、一般投票でこの作品がどのくらい受け入れられるかは全くもってわからないのですが、私たちを含めて多くの方が楽しみにしているマジカルミライ2025の企画展に自分の作品が展示されることは大変感慨深いです。
東京会場に遊びに行こうと思うので楽しみにしています。
Discussion