筋トレのお手本動画をLLMで生成したい -Sora, Veo, Kling, Seedance, Wan を比べてみた-
イントロ
こんにちは。Tomoakiです。
みなさんは日々の筋トレメニューをどう組んでますか？
私は最近海外のトレーニングプログラムを初めてみました。
世界のトップ選手とかも使っているプログラムなので、これで私も最強！と思ったのですが早速そのトレーニング量の多さに挫折しそうです。
メニューの量が多いので時間が十分に確保できないというのが一番しんどいポイントなんですが、知らない種目を毎回調べる時間に結構時間を取られてしまうのが地味にめんどくさいです（そのうち覚えそうだけど）。
例えば昨日のウォーミングアップメニューは以下だったのですが Walking LungesとKettlebell Hang Cleanがギリわかるくらいで残りの4種目はyoutubeを見て調べました。
メニューに入る前に15分くらい調べるのに使ってしまい、とてもめんどくさかったです。
:45/:45 Couch Stretch
20 Seated 90-90 Rotations
20/20 Banded Monster Walks
-then-
For Quality:
9:00 AMRAP
20 Plate Hops
10 Walking Lunges
5/5 Single Arm Kettlebell Hang Clean, Moderate
これはウォーミングアップなので、全体としてはこれの7~8倍の分量があります。
調べる時間も勉強の時間で大事なんですが、なんか解説動画と一緒にメニュー配布してくれないかなーーーという気持ちが湧いてきたので、最近の動画生成モデルの性能を素振りするためにも、生成モデルで解説動画作ってみることにしました。
モデル選定
モデルはこちらのBytedance社が出しているSeedanceのテクニカルペーパーで競合として挙げられているVeo, Kling, Runway, Sora, Wanを対象にします。
Google Veo 3
Google社が開発している動画生成モデル。
Kling AI Kling 1.6
中国の大手テック企業 Kuaishou（快手／Kwai） が開発している動画生成モデル。
Kling 2.1がペーパーでは利用されていたが、Text to Imageがサポートされていないので、Kling 1.6を使用。
Bytedance Seedance 1.0
Bytedance社が開発している動画生成モデル。
OpenAI Sora
OpenAI社が開発している動画生成モデル。
Alibaba Wan2.2 Plus
Alibaba社が開発している動画生成モデル。
Runway AI Gen-4
ニューヨークを拠点とするRunway AI,Inc.（通称 Runway または RunwayML）が開発している動画生成モデル。
OpenAI Sora2 （2025/10/04更新）
OpenAI社が開発している動画生成モデル。Sam Altmanをおもちゃにできて人気。
タスク設定
今回はイントロで紹介したウォーミングアップ種目のうち、Walking LungesとSingle Arm Kettlebell Hang Cleanを生成してもらいます。
Walking Lungesはシンプルなワークアウトであり、名前から動きが推測しやすいタスクであり、一方でSingle Arm Kettlebell Hang Cleanは少々複雑な動きが必要なため、難易度の違うタスクとしてちょうどいいかなと思い選定しました。私が元々知っているので評価しやすいというのもあります。
ちなみにお手本はこちらです。
全てのモデルに10sec前後の生成動画の制限時間があるため、生成は種目ごとに一つずつ生成します。
また、Gen-4は動画生成では、画像のinputも必要だったため、一度テキストから画像を生成し、動画を生成することにします。
初期のプロンプトは以下です。
Create a professional workout instruction video based on the following training menu. The video should look like a high-quality fitness tutorial with a personal trainer demonstrating each movement. The trainer should explain proper form, tempo, and common mistakes to avoid. Include motivating voiceover instructions, on-screen exercise names, set/reps count, and short rest countdowns between sets. The tone should be energetic, supportive, and easy to follow, suitable for beginners but engaging enough for intermediates. Use clean gym background, good lighting, and clear subtitles.
Content Input(replace the content by each workout):
5/5 Single Arm Kettlebell Hang Clean, Moderate
Desired Output:
A structured instructional workout video
Trainer clearly demonstrating each exercise with step-by-step cues
Voiceover + subtitles with exercise name, reps/sets, and motivational lines
評価指標にはSeedanceのテクニカルペーパーを参考に以下の3点と
- モーション品質：生成されたビデオの構造的正確性、動きの妥当性、安定性、鮮明さ。
- プロンプト追従性：モデルがユーザーの指示にどれだけ忠実にコンテンツを生成するか。
- 美的品質：視覚的な質感、AI感の有無、細部の忠実度、芸術的表現。
さらに、
- ワークアウト品質：抑えるべきポイントをちゃんと実践できているか。
という点を加えた4点とします。
評価プロトコルとしては、絶対スコア（1～5のリッカート尺度）を用います。
生成結果
Google Veo 3
Single Arm Kettlebell Hang CleanはKettlebell Swingをしようとしてやめた人って感じでした。Walking Lungesはしようとしてるけど歩いてない。全体的に映像はすごく綺麗だし動きもリアル。
Kling AI Kling 1.6
なんか映像が荒い。重力の感じも微妙に変。Walking Lungesはこちらを見ながらなんか歩いているだけで全然違う。
Bytedance Seedance 1.0
Kettlebell Hang CleanではなくKettlebell Swingをしている。映像は比較的綺麗だが、突然Kettlebellが2つになったり異常な動きがある。Walking Lungesはなんか一昔前のゲームのような動きだし、全然動きも違う。
OpenAI Sora
Kettlebellがぐにゃぐにゃしているし、重力の感じがおかしい。手の動きもありえない動きをしている。背景とかは割と綺麗だし、人物もAI感あるものの悪くはない。
Alibaba Wan2.2 Plus
Kettlebell Hang Cleanは一番動きとしては惜しい。全体的映像はAI感あるけど綺麗ではある。Walking Lungesはなんかぴょんぴょんしているだけで全然Walking Lungesしてない。
Runway AI Gen-4
エラーが出て生成できなかった。思い立ったら再チャレンジして結果更新しておきます。
OpenAI Sora2 （２０２５/10/04更新）
動画のクオリティが前のモデルから格段に上がりました。Veoの方がまだ若干綺麗な感じはありまが、ワークアウトとしてのクオリティは若干の不自然は残りますが、適切な動きをしていると言えますね。
評価
私の独断ですが、点数をつけました。
🥇 総合1位： OpenAI Sora2
- ワークアウトの品質も動画の品質も全体的に高いスコアになりました。veoの方が動画品質はまだ上回りますが、全体的に原点の少ないモデルでした。
※ 2025/10/04更新
ブログ公開時点ではVeo3が一位でしたが、Sora2が1位になりました
📊 全体的な傾向
- どのモデルもワークアウトとして高品質さを実現できなかった。
- 予想ではWalking LungeとKettlebell Hang Cleanは難易度が全然違ってWalking Lungeは比較的簡単かと思ったが、決してWalking Lungeの方が品質が高い訳ではなかった。
Future Work
- 今回はワークアウト名からそのままvideo生成したが、一旦ワークアウトに関する詳細な説明を生成してからvideo生成してみた場合どうなるか試してみたい。
- Youtubeなどでお手本となる動画を検索し、その結果をcontextに入れて生成したらどうなるか試してみたい。
- 今回は特定の日のウォームアップ動作に限定してしまったが、メインのワークアウトでも試してみたい
- 動画の生成時間に限界があるのでより長い動画を生成できるプランにしてもう少しポイントとなる動作やコツの説明も含められるか試してみたい
- 動作ごとに動画生成するのではなく、複数の動作を連続して説明できるか試してみたい。
- 自分の動作を録画して対話的に改善点を提案してくれるようにしたい。
まとめ
筋トレは正しいフォームが大切です。
AIに頼らずYouTubeで勉強しましょう！
Discussion