🧪

「動画編集がつらい」を解消するために、Go+Python+Rustで最強のAI動画錬金術師を召喚した話

に公開

こんにちは、naki です。
個人開発を楽しむ一方で、最近は 「動画編集、あまりにも時間がかかりすぎる問題」 に直面していました。

たった10分の動画を作るのに、カット割り、テロップ入れ、BGM選定、音量調整……気がつけば週末が溶けていることもしばしば。「クリエイティブな企画や撮影は楽しいけど、編集作業はただの労働になっていないか?」

そう思い立って、「未編集の動画を投げ込むだけで、AIが勝手にYouTubeクオリティに仕上げてくれるツール」 を開発しました。名前は、複数の動物(技術)が混ざり合った妖怪からとって 『Nue (鵺)』 と名付けました。

リポジトリはこちら(スター頂けると開発の励みになります!)
https://github.com/naki0227/nue


📽️ 何を作ったのか?

Nue (鵺) は、素材動画(.mp4)をアップロードすると、以下の工程を全自動で行うプラットフォームです。

  1. 文脈理解 (AI Analysis): Gemini 2.5 Flash が動画の内容を見て、「どこが盛り上がりか」「何の話題か」を理解。
  2. スマートカット: 無言区間の削除だけでなく、話題の区切りで「テンポよく」カット。
  3. 高度な演出:
    • オートダッキング: 人が喋り出すとBGMの音量を自動で下げる。
    • インパクトズーム: 衝撃的な発言の瞬間にカメラを寄せる。
    • テロップ: 雰囲気に合わせてフォントや色を変える。
  4. マルチフォーマット: YouTube用(16:9)と、TikTok/Shorts用(9:16)を同時生成。

🛠️ 技術スタック:「適材適所」のキメラ構成

動画編集という「重い処理」と、AI推論という「賢い処理」を両立させるため、Nueは3つの言語を組み合わせたマイクロサービスアーキテクチャ(キメラ構成)を採用しました。

コンポーネント 言語 役割 採用理由
Gateway Go 入口 GB単位の動画アップロードを、省メモリかつ高速にさばくため。
Brain Python 脳 Gemini API (Google GenAI SDK) やPyTorchエコシステムを活用するため。
Muscle Rust 筋肉 FFmpegの複雑怪奇なフィルタ構築・実行を、型安全かつ爆速で行うため。

これらを Docker Compose でオーケストレーションしています。


🧠 Brain (Python): AIに「編集者」の人格を宿す

動画の構成を考える「脳」の部分には、マルチモーダル性能が高い Gemini 2.5 Flash を採用しました。
これまでの「無音検知カットツール」と決定的に違うのは、AIが映像と音声をまるごと理解している 点です。

プロンプトでは、単に「要約して」と頼むのではなく、JSONスキーマを厳密に指定しつつ、「優秀なYouTuberの編集者」 として振る舞うよう指示しています。

brain/analyze.py
# 実際のプロンプトの一部(抜粋)
prompt = f"""
Analyze this video. 
Output a JSON object with the following structure:
{{
    "cuts": [
        {{
            "start_time": "HH:MM:SS",
            "end_time": "HH:MM:SS",
            "transition_type": "fade/wipeleft/slideup/circleopen",
            "caption": "Short, punchy text overlay (e.g. 'WOW!', 'Nice!')",
            "caption_style": {{
                "font": "sans/serif/handwriting",
                "color": "white/yellow/cyan",
                "position": "bottom/center/top",
                "box": true/false
            }}
        }}
    ],
    "se_events": [
        {{
            "timestamp": "HH:MM:SS",
            "type": "impact/whoosh/laugh/correct/incorrect"
        }}
    ],
    "thumbnail": {{
        "timestamp": "HH:MM:SS (Best frame for clickbait)",
        "text": "Short Uppercase Title (e.g. SHOCKING!)",
        "color": "red/yellow/white"
    }}
}}

IMPORTANT: 
1. Do not caption every single segment. Be selective. Prioritize reactions.
2. ADD SOUND EFFECTS (SE) where appropriate.
3. THUMBNAIL: Choose the most expressive/shocking frame and a short punchy title.
Ensure strict JSON output.
"""

このように具体的な指示を与えることで、「ここで笑い声のSEを入れる」「ここは深刻な話だからBGMを変える」といった、人間的な演出判断を引き出しています。


💪 Muscle (Rust): FFmpegの密林を生き抜く

そして今回の一番の 苦労ポイント が、RustでのFFmpeg制御です。
Geminiが作った「編集指示書 (JSON)」を実際の動画にするためには、FFmpegの filter_complex を組み立てる必要があります。

しかし、カット・トランジション・BGM・SE・テロップを全て1つのコマンドで処理しようとすると、コマンドライン引数は数千文字に及び、グラフ理論のパズル のようになります。

苦労話:オートダッキングの地獄

特に大変だったのが、「人の声に合わせてBGMを下げる(オートダッキング)」の実装です。
Rust側でBGMをループさせ、メイン音声(last_audio_label)をトリガーにしてサイドチェーンコンプレッサーを掛けるフィルタチェーンを動的に構築しています。

muscle/src/main.rs
// BGMのオートダッキング処理(抜粋)
if has_bgm {
    // 1. BGMを無限ループさせ、動画の長さに合わせてトリミング
    filter_complex.push_str(&format!(
        "[1:a]aloop=loop=-1:size=2e+9,atrim=duration={},volume=0.2[bgm_raw];",
        accumulated_duration_for_chaining
    ));

    // 2. メイン音声(last_audio_label)をトリガーに、BGM音量を圧縮(ducking)
    // sidechaincompressフィルタを使用
    filter_complex.push_str(&format!(
        "[bgm_raw][{}]sidechaincompress=threshold=0.05:ratio=4:attack=100:release=300[bgm_ducked];",
        last_audio_label
    ));
    
    final_mix_inputs.push("[bgm_ducked]".to_string());
}

これをPythonの文字列操作でやろうとするとバグの温床になりますが、Rustの型システムと Struct でフィルタ定義を管理することで、なんとか正気を保ったまま実装できました。


🚀 まとめと今後の展望

このキメラアーキテクチャを完成させたのが、私の2025年最大の技術的チャレンジでした!!

「編集がつらい」という個人的な悩みから生まれたツールですが、作ってみると 「企画と撮影だけに集中できる」 という体験は想像以上に快適でした。

現在はローカルのDockerで動くCUIツールですが、今後は Next.js で管理画面を作り、「推しのYouTuberのURLを貼ると、その人の編集スタイル(間の取り方やテロップの癖)を学習してコピーする機能」 も実装予定です。

リポジトリはOSSとして公開しているので、気になった方はぜひ触ってみてください!
(Rustの filter_complex 構築ロジックへのマサカリもお待ちしています…!)

https://github.com/naki0227/nue

Discussion