音声の局所的編集について

NotebookLMから出力された音声を聴くと、読み間違い(特に漢字に多い)が気になってしまう。
一度の生成にかかる時間は数分。インストラクションに読み方を書いてもうまく反映されず、消しても消してもモグラ叩きのように修正箇所は位置を変えるばかりで一向に埒が明かない始末だった。
自己学習用途ではこのクオリティで十分だが、外部に公開できるクオリティにするには特定箇所を直接編集できるような仕組みが必要にだと強く感じた。

音声編集技術というのは現状どの程度実現されているのだろうか？

AIから生成された音声、つまりWavファイルやMp4ファイルなどに対して直接編集（局所的な編集）を行う技術について
1. 現在どこまで研究が進んでいるのか
2. 実装はどこまで進んでいるのか
3. 何ができて何ができていないのか
を明らかにしつつ、調査レポートをまとめなさい。

なお、調査時には以下の観点を含めなさい。
- 多言語対応を前提としつつ、日本語における現状にも焦点を当てる
- 商用利用を想定し、研究段階・実装状況・技術的限界を網羅する
- 編集対象はナレーションおよび会話で、歌唱音声は除外する

/                                     Monorepo Root
├ apps/
│  ├ api/                             API & Microservices
│  │   ├ docker-compose.yml           ASR, Aligner, TTS, Stitcher, Gateway
│  │   ├ monitoring/                  Prometheus & Grafana configs
│  │   ├ samples/                     テスト用 WAV
│  │   └ services/                    各サービス実装
│  └ web/                             (フロントエンド)
├ docs/
│  ├ architecture/                   アーキテクチャ図・設計ドキュメント
│  └study/                           調査メモ
├ experiments/                       検証用Python環境
├ assets/                            デモ用動画・素材
├ packages/
│   └ sound2wave/                    Rust ユーティリティライブラリ
├ scripts/                           開発支援スクリプト
├ pnpm-workspace.yaml                pnpm ワークスペース設定
├ package.json / package-lock.json   Web 依存管理
└ turbo.json                         Turborepo 設定

    def tts_to_file(self, text, speaker_id, output_path=None, sdp_ratio=0.2, noise_scale=0.6, noise_scale_w=0.8, speed=1.0, pbar=None, format=None, position=None, quiet=False,):
        language = self.language
        texts = self.split_sentences_into_pieces(text, language, quiet)
        audio_list = []
        if pbar:
            tx = pbar(texts)
        else:
            if position:
                tx = tqdm(texts, position=position)
            elif quiet:
                tx = texts
            else:
                tx = tqdm(texts)
        for t in tx:
            if language in ['EN', 'ZH_MIX_EN']:
                t = re.sub(r'([a-z])([A-Z])', r'\1 \2', t)
            device = self.device
            bert, ja_bert, phones, tones, lang_ids = utils.get_text_for_tts_infer(t, language, self.hps, device, self.symbol_to_id)
            with torch.no_grad():
                x_tst = phones.to(device).unsqueeze(0)
                tones = tones.to(device).unsqueeze(0)
                lang_ids = lang_ids.to(device).unsqueeze(0)
                bert = bert.to(device).unsqueeze(0)
                ja_bert = ja_bert.to(device).unsqueeze(0)
                x_tst_lengths = torch.LongTensor([phones.size(0)]).to(device)
                del phones
                speakers = torch.LongTensor([speaker_id]).to(device)
                audio = self.model.infer(
                        x_tst,
                        x_tst_lengths,
                        speakers,
                        tones,
                        lang_ids,
                        bert,
                        ja_bert,
                        sdp_ratio=sdp_ratio,
                        noise_scale=noise_scale,
                        noise_scale_w=noise_scale_w,
                        length_scale=1. / speed,
                    )[0][0, 0].data.cpu().float().numpy()
                del x_tst, tones, lang_ids, bert, ja_bert, x_tst_lengths, speakers
                # 
            audio_list.append(audio)
        torch.cuda.empty_cache()
        audio = self.audio_numpy_concat(audio_list, sr=self.hps.data.sampling_rate, speed=speed)

        if output_path is None:
            return audio
        else:
            if format:
                soundfile.write(output_path, audio, self.hps.data.sampling_rate, format=format)
            else:
                soundfile.write(output_path, audio, self.hps.data.sampling_rate)

    def extract_se(self, ref_wav_list, se_save_path=None):
        if isinstance(ref_wav_list, str):
            ref_wav_list = [ref_wav_list]
        
        device = self.device
        hps = self.hps
        gs = []
        
        for fname in ref_wav_list:
            audio_ref, sr = librosa.load(fname, sr=hps.data.sampling_rate)
            y = torch.FloatTensor(audio_ref)
            y = y.to(device)
            y = y.unsqueeze(0)
            y = spectrogram_torch(y, hps.data.filter_length,
                                        hps.data.sampling_rate, hps.data.hop_length, hps.data.win_length,
                                        center=False).to(device)
            with torch.no_grad():
                g = self.model.ref_enc(y.transpose(1, 2)).unsqueeze(-1)
                gs.append(g.detach())
        gs = torch.stack(gs).mean(0)

        if se_save_path is not None:
            os.makedirs(os.path.dirname(se_save_path), exist_ok=True)
            torch.save(gs.cpu(), se_save_path)

        return gs

    # 1) generate base TTS with MeloTTS
    source_se = torch.load(
        f'checkpoints_v2/base_speakers/ses/{_LANG.lower().replace("_", "-")}.pth', 
        map_location=device)
    base_path = str(pathlib.Path(tempfile.gettempdir()) / f"ov_base_{uuid.uuid4()}.wav")
    melo.tts_to_file(
        text=text,
        speaker_id=speaker_ids[_LANG],
        output_path=base_path,
    )

    # 2) extract embedding from reference voice
    # embed_path = str(pathlib.Path(tempfile.gettempdir()) / f"ov_embed_{uuid.uuid4()}.pth")
    converter = ToneColorConverter(f'{ckpt_converter}/config.json', device='cpu')
    converter.load_ckpt(f'{ckpt_converter}/checkpoint.pth')
    if torch.backends.mps.is_available() and device == 'cpu':
        torch.backends.mps.is_available = lambda: False
    target_se, audio_name = se_extractor.get_se(ref_wav, converter, vad=True)

    # 3) convert tone color
    converter.convert(
        audio_src_path=base_path, 
        src_se=source_se, 
        tgt_se=target_se, 
        output_path=out_path
    )