そのアルゴリズム、本当に必要? — 字幕分割で考える精度と実用のトレードオフ
1. はじめに
生成AIを活用したコンテンツ制作プラットフォーム MulmoCast に字幕の分割表示機能を実装しました。本記事では、字幕の表示タイミング推定という、本来は複雑なアルゴリズムが必要になりそうな問題を、文字数の按分だけで解決した事例を紹介します。
2. 課題
MulmoCast では、各シーン(ビート)にナレーションテキストと画像が割り当てられています。字幕は画面下部に半透明背景付きで表示されます。しかし、1ビートあたりのナレーションが長いと字幕領域が縦に広がり、映像を覆ってしまいます。
これまでユーザーは、句読点ごとにビートを手動で分割し、テキストをコピー&ペーストして画像を再参照させるという作業で対応していました。15ビートの動画が60ビートになることも珍しくなく、MulmoCast の強みである「高速な動画生成」を損なうボトルネックでした。
求められていたのは、ビート構造はそのままに、1ビート内で字幕を自動的に分割表示する仕組みです。ここで問題になるのが、分割した各字幕をいつからいつまで表示するかというタイミングの推定です。
3. 正攻法でやると複雑になる
字幕の表示タイミングを正確に合わせるアプローチとしては、以下のようなものが考えられます。
- 音声認識ベース: Whisper等で発話タイミングを解析し、テキストと対応づける
- 音素解析: テキストを音素列に変換し、音素ごとの標準発話時間から推定する(言語ごとにテーブルが必要)
- TTS メタデータ: TTS エンジンの word-level timestamp を利用する
いずれも精度は高いですが、実装・メンテナンスコストが大きくなります。特に MulmoCast は複数の TTS エンジン(OpenAI、Google Cloud、ElevenLabs、Gemini)をサポートしているため、TTS メタデータによる統一的な処理は難しい状況です。
4. 採用したアプローチ:文字数で按分
実際に採用したのは以下の方法です。
- テキストを句点や
!?などの区切り文字で分割する[1] - 各セグメントの文字数の比率でビートの時間を按分する
4.1. テキストの分割
入力: "まずは基本の自動分割を確認します。これは長めの文章です。句点で分割されます。"
出力:
[0] "まずは基本の自動分割を確認します。" (18文字)
[1] "これは長めの文章です。" (11文字)
[2] "句点で分割されます。" (10文字)
区切り文字は直前のテキストに含めます。
4.2. タイミングの計算
総文字数: 18 + 11 + 10 = 39文字
比率:
[0] 18/39 ≈ 0.46
[1] 11/39 ≈ 0.28
[2] 10/39 ≈ 0.26
ビート長が6秒の場合:
[0] 0.00秒 〜 2.77秒
[1] 2.77秒 〜 4.46秒
[2] 4.46秒 〜 6.00秒
ソースコードはこちらです
- テキスト分割の実装(GitHub) — 区切り文字によるテキスト分割と文字数比率の計算
- タイミング適用の実装(GitHub) — ビートの開始時刻と長さに累積比率を掛けて各字幕の表示タイミングを算出
5. 設定
字幕分割のパラメータは、スクリプト全体またはビート単位で指定できます。
| 設定 | 説明 |
|---|---|
captionSplit: "estimate" |
自動分割を有効化 |
textSplit.delimiters |
区切り文字をカスタマイズ[1:1] |
beat.texts |
手動で分割テキストを指定(自動分割より優先) |
自動分割で意図通りにならない場合は、texts 配列で手動指定もできます。
6. ユーザーからのフィードバック
この機能をデスクトップアプリに搭載してリリースしたところ、ユーザーから以下のフィードバックをいただきました。
改行および「。」を基準とした字幕分割は自然に動作し、表示タイミングも非常にスムーズでした。体感としてほぼ違和感なく、制作上のストレスもありません。トグルを ON にするだけで制作体験が一気に改善され、手作業での分割工程が不要になったことに強く感動しました。
実際の動画で比較すると、違いがよくわかります。
変更前(v1.0.10 / 字幕分割なし)
変更後(v1.0.11 / 字幕分割あり・日本語)
変更後(v1.0.11 / 字幕分割あり・英語)
MulmoCast ではビートごとに TTS で音声を生成しているため、1ビート内の発話速度はほぼ一定です。そのため、文字数の比率で時間を按分するだけでも体感上自然なタイミングになります。正確なアルゴリズムを使わなくても、実用上は十分でした。
7. まとめ
字幕の表示タイミング推定を、文字数の按分で実装しました。音声認識や音素解析は使っていません。
ポイントは以下の通りです。
- テキストを句点等の区切り文字で分割し、文字数の比率でビート時間を配分する
- 外部依存がなく、言語にも依存しない
- 自動分割 + 手動上書きの組み合わせで、エッジケースにも対応できる
- 実ユーザーの制作フローで「違和感なし」のフィードバックを得た
複雑なアルゴリズムを書く前に、まず最小限の方法で試してみる価値はあると思います。
参考リンク
人工知能を活用したアプリケーションやサービスを活用し、内発的動機付けで行動するエンジニア、起業家、社会起業家をサポートするコミュニティーです。 singularitysociety.org Supported by 週刊 Life is beautiful
Discussion