🐿️

【個人開発】MediaPipe Handsで作る2人対戦ゲーム「リスのほっぺたどんぐりゲーム」🐿️【game】

に公開

はじめに

こんにちは!今回は、MediaPipe Handsを使って、カメラの前で手を動かして遊べる2人対戦ゲームを作りました。画面上から落ちてくるどんぐりやくるみを手でキャッチして、リスのほっぺたをパンパンに膨らませた方が勝ちというシンプルで楽しいゲームです。

ゲーム中 結果画面

遊び方

  1. 画面の前に2人で立つ(左側がPlayer 1、右側がPlayer 2)
  2. 難易度を選択してゲームスタート
  3. 上から落ちてくるアイテムを手でキャッチ!
    • 🌰 どんぐり: +10点
    • 🥔 くるみ: +30点
    • ⚠️ イガ栗: -50点(触ると痛い!)
  4. 60秒間でより多くの点数を獲得した方が勝ち
  5. ラスト10秒は「FEVER TIME」でアイテムが大量に降ってきます!

使用した技術

  • MediaPipe Hands: Googleが提供する手の検出・トラッキングライブラリ
  • HTML5 Canvas: ゲーム画面の描画とアイテム表示
  • Web Audio API: 効果音の生成(オシレーターを使用)
  • CSS Animations: リスの表情変化やシェイクアニメーション

実装のポイント

1. MediaPipe Handsの設定

最大4本の手を同時に認識できるように設定しています(2人×2手)。

const hands = new Hands({
    locateFile: (file) => {
        return `https://cdn.jsdelivr.net/npm/@mediapipe/hands/${file}`;
    }
});

hands.setOptions({
    maxNumHands: 4,  // 2人×2手
    modelComplexity: 1,
    minDetectionConfidence: 0.5,
    minTrackingConfidence: 0.5
});

2. ミラーモードの座標変換

カメラ映像を鏡のように表示するため、CSSでscaleX(-1)を適用しています。これにより、ユーザーは自然に自分の動きを認識できます。

video, canvas {
    transform: scaleX(-1);  /* ミラー表示 */
}

ただし、この変換により座標系が反転するため、プレイヤーの判定が少し複雑になります:

// MediaPipe の x座標:
// x < 0.5 → カメラの左側 → 画面では右側(P2エリア)
// x > 0.5 → カメラの右側 → 画面では左側(P1エリア)

const isP1 = hx > 0.5;  // x座標が0.5より大きければP1
const playerKey = isP1 ? 'p1' : 'p2';

3. 当たり判定の実装

人差し指の先端(ランドマーク8番)とアイテムの距離を計算して、一定範囲内なら「キャッチ」と判定します。

for (const landmarks of results.multiHandLandmarks) {
    const tip = landmarks[8];  // 人差し指の先端
    
    items.forEach(item => {
        const dx = item.x - tip.x;
        const dy = item.y - tip.y;
        const dist = Math.sqrt(dx * dx + dy * dy);
        
        if (dist < 0.08) {  // 当たり判定の閾値
            item.active = false;
            handleCatch(playerKey, item.def);
        }
    });
}

4. ゲームループとアイテム生成

requestAnimationFrameでゲームループを回し、時間経過でアイテムをスポーンします。

function gameLoop(timestamp) {
    const dt = timestamp - lastTime;
    
    // タイマー更新
    if (Math.floor(timestamp / 1000) > Math.floor((timestamp - dt) / 1000)) {
        timeLeft--;
        if (timeLeft === 10) {
            isFever = true;  // Fever Time発動!
        }
    }
    
    // アイテムスポーン間隔の調整
    let spawnInterval = currentDifficulty === 'hard' ? 500 : 800;
    if (isFever) spawnInterval = 200;  // Fever中は超高速
    
    // アイテム更新
    items.forEach(item => {
        item.y += item.def.speed * speedMultiplier * (dt / 16);
    });
    
    requestAnimationFrame(gameLoop);
}

5. スコアに応じた表情変化

スコアが一定値を超えると、リスのほっぺたが段階的に膨らみます。

const CHEEK_THRESHOLDS = [50, 200];

function updateSquirrelImage(player) {
    const s = score[player];
    const imgEl = player === 'p1' ? ELEMENTS.p1Img : ELEMENTS.p2Img;
    
    if (s >= CHEEK_THRESHOLDS[1]) {
        imgEl.src = IMAGES.cheek2;  // ほっぺたパンパン!
    } else if (s >= CHEEK_THRESHOLDS[0]) {
        imgEl.src = IMAGES.cheek1;  // ほっぺたちょっと膨らむ
    } else {
        imgEl.src = IMAGES.neutral;  // 通常
    }
}

6. Web Audio APIで効果音を生成

外部音源を使わず、オシレーターで効果音を合成しています。

function playTone(freq, type, duration, vol = 0.1) {
    const osc = audioCtx.createOscillator();
    const gainNode = audioCtx.createGain();
    
    osc.type = type;  // 'sine', 'square', 'sawtooth'など
    osc.frequency.setValueAtTime(freq, audioCtx.currentTime);
    
    gainNode.gain.setValueAtTime(vol, audioCtx.currentTime);
    gainNode.gain.exponentialRampToValueAtTime(0.01, audioCtx.currentTime + duration);
    
    osc.connect(gainNode);
    gainNode.connect(audioCtx.destination);
    osc.start();
    osc.stop(audioCtx.currentTime + duration);
}

// 使用例
SOUNDS.catch = () => playTone(880, 'sine', 0.1);  // キャッチ音
SOUNDS.damage = () => playTone(150, 'sawtooth', 0.4, 0.3);  // ダメージ音

ハマったポイント

1. ミラーモードの座標変換

最初、プレイヤー判定が逆になってしまい、左側に立っているのにP2として認識されるという問題が発生。CSSのscaleX(-1)による座標反転を考慮する必要がありました。

2. 画像の最適化と透過処理のジレンマ

リスの画像を軽量化しようとJPEGで圧縮したところ、ファイルサイズは小さくなりました。しかし、背景を透明にするためPNGに変換すると、アルファチャンネルの情報によりかえってファイルサイズが増加してしまいました。

最終的には、以下のバランスを取りました:

  • PNG-8(256色)で透過背景を実現
  • 不要な余白をトリミング
  • 必要に応じてpngquantなどのツールで最適化
  • キャッシュバスター(?v=4)を付けて更新を確実に反映
<img src="static/images/squirrel/squirrel_neutral.png?v=4">

3. BGMの自動再生問題

ブラウザのAutoplay Policyにより、ユーザーインタラクション前に音声を再生できないという制約がありました。

// ❌ これだけではブラウザにブロックされる
const BGM = new Audio('bgm.mp3');
BGM.loop = true;
BGM.play(); // DOMException: play() failed

解決策として、スタートボタンをクリックした時点でAudioContextを初期化し、BGMを再生するようにしました:

function initAudio() {
    if (audioCtx.state === 'suspended') {
        audioCtx.resume();  // AudioContextを有効化
    }
    SOUNDS.start();  // 効果音でインタラクションを確認
    BGM.play();  // この時点でBGM再生が許可される
}

ELEMENTS.startBtnNormal.addEventListener('click', () => {
    initAudio();
    startGame('normal');
});

それでも一部のブラウザでは再生が遅れることがあったため、preload="auto"を追加してファイルを事前読み込みするようにしました。

4. カメラ映像の遅延

MediaPipeの処理により、映像に若干の遅延が発生します。この遅延を考慮して、当たり判定の範囲を少し広めに設定することで、プレイ感を向上させました。

5. モバイル対応

スマホではカメラ起動のタイミングやパフォーマンスの問題があり、PCでのプレイを推奨する形にしました。
画面が狭いですがスマホでも一応遊べます♪

工夫した点

UI/UXの配慮

  • ビジュアルフィードバック: アイテムをキャッチした瞬間に、リスが揺れたり表情が変わったりすることで、達成感を演出
  • Fever Time: 終盤の盛り上がりを作るため、ラスト10秒でアイテムが大量に降ってくる仕組みを実装
  • 難易度選択: 子供から大人まで楽しめるよう、NormalとHardの2つの難易度を用意

パフォーマンス最適化

  • アイテムの画像を事前ロード
  • 非アクティブなアイテムを配列から削除して、無駄な処理を削減
  • Canvas描画を最小限に

まとめ

MediaPipe Handsを使うことで、特別なデバイスを使わずにカメラだけで遊べるインタラクティブなゲームを作ることができました。

子供向けのイベントや、ちょっとしたパーティーゲームとして使えそうです。今後は、以下のような拡張も考えています:

  • オンライン対戦機能
  • リプレイ機能
  • リーダーボード
  • モバイル対応の改善
  • アイテムの種類を増やす

ぜひ皆さんも、MediaPipe Handsを使った体感型ゲームに挑戦してみてください!

参考リンク

クレジット

  • BGM: "Round Of Incense" by Sound Of Incense (DOVA-SYNDROME)
  • 画像素材: Generated by Gemini

リンク

ソースコードはこちらで公開しています!
https://github.com/miki-mini/my-line-bots

ここまで読んでいただきありがとうございました🐿🩷

Discussion