mkdir espnet-work && cd espnet-work
uv venv -p 3.11.11

uv pip install torch==2.4.0 torchvision==0.19.0 torchaudio==2.4.0 --index-url https://download.pytorch.org/whl/cu124

uv pip install espnet espnet_model_zoo

(snip)
 + espnet==202412
 + espnet-model-zoo==0.1.7
 + espnet-tts-frontend==0.0.3
(snip)

import string
import soundfile
from espnet_model_zoo.downloader import ModelDownloader
from espnet2.bin.asr_inference import Speech2Text
import matplotlib.pyplot as plt
import librosa.display

fs = 16000
tag = 'Shinji Watanabe/laborotv_asr_train_asr_conformer2_latest33_raw_char_sp_valid.acc.ave'

audio_file = "voice_lunch_jp_1min.wav"
output_waveform_image = "output_waveform.png"

# モデルのセットアップ
d = ModelDownloader()
speech2text = Speech2Text(
    **d.download_and_unpack(tag),
    device="cuda",
    minlenratio=0.0,
    maxlenratio=0.0,
    ctc_weight=0.3,
    beam_size=10,
    batch_size=0,
    nbest=1
)

def text_normalizer(text):
    """
    入力テキストを正規化する
    ・すべての文字を大文字に変換
    ・句読点などの記号を削除
    ※日本語ではあまり意味がなさそう
    """
    text = text.upper()
    return text.translate(str.maketrans('', '', string.punctuation))

# 音声ファイル読み込み
speech, rate = soundfile.read(audio_file)
assert rate == fs, "サンプリングレートが一致しません"

# ASR推論
nbests = speech2text(speech)
text, *_ = nbests[0]

print(f"Input Speech: {audio_file}")
print(f"ASR hypothesis: \n*****\n{text_normalizer(text)}\n*****")

# 画像生成処理：波形プロットを画像として保存する
plt.figure(figsize=(10, 4))
librosa.display.waveshow(speech, sr=rate, color="blue")
plt.title("Waveform")
plt.xlabel("Time (s)")
plt.ylabel("Amplitude")
plt.savefig(output_waveform_image)
plt.close()
print(f"Waveform image saved to: {output_waveform_image}")

uv pip install matplotlib
uv pip install flash-attn --no-build-isolation

(snip)
 + matplotlib==3.10.1
(snip)

(snip)
 + flash-attn==2.7.4.post1
(snip)

uv run asr.py

Input Speech: voice_lunch_jp_1min.wav
ASR hypothesis:
*****
ということでありますけれどもまだ来られていない方もいらっしゃるんですけれどもこういったことがありますということで日本に来ていただきましてありがとうございますということで今日はスペシャルゲストの皆さんに来ていただいておりますということでございますけれども今日はストレートになりましたけれども今日はストレートの中でもあるということでございますということでございます
*****
Waveform image saved to: output_waveform.png

import sys
import wave
import numpy as np
from espnet_model_zoo.downloader import ModelDownloader
from espnet2.bin.asr_inference_streaming import Speech2TextStreaming

tag = 'eml914/streaming_conformer_asr_csj'
audio_file = "voice_lunch_jp_1min.wav"

# モデルのセットアップ
d=ModelDownloader()
speech2text = Speech2TextStreaming(
    **d.download_and_unpack(tag),
    token_type=None,
    bpemodel=None,
    maxlenratio=0.0,
    minlenratio=0.0,
    beam_size=20,
    ctc_weight=0.5,
    lm_weight=0.0,
    penalty=0.0,
    nbest=1,
    device = "cpu",
    disable_repetition_detection=True,
    decoder_text_length_limit=0,
    encoded_feat_length_limit=0
)


prev_lines = 0
def progress_output(text):
    """
    推論中の進捗を表示する
    ・50文字ごとに改行を挿入
    ・進捗を表示するために、前の行を上書きする
    """
    global prev_lines
    lines=['']
    for i in text:
        if len(lines[-1]) > 50:
            lines.append('')
        lines[-1] += i
    for i,line in enumerate(lines):
        if i == prev_lines:
            sys.stderr.write('\n\r')
        else:
            sys.stderr.write('\r\033[B\033[K')
        sys.stderr.write(line)

    prev_lines = len(lines)
    sys.stderr.flush()


def recognize(wavfile):
    """
    音声ファイルを読み込んで、ASR推論を行う
    """
    with wave.open(wavfile, 'rb') as wavfile:
        ch=wavfile.getnchannels()
        bits=wavfile.getsampwidth()
        rate=wavfile.getframerate()
        nframes=wavfile.getnframes()
        buf = wavfile.readframes(-1)
        data=np.frombuffer(buf, dtype='int16')
    # 32767は16ビットのバイナリ数の上限値であり、intをfloatに変換するための正規化に使用される
    speech = data.astype(np.float16)/32767.0
    sim_chunk_length = 640
    if sim_chunk_length > 0:
        for i in range(len(speech)//sim_chunk_length):
            results = speech2text(speech=speech[i*sim_chunk_length:(i+1)*sim_chunk_length], is_final=False)
            if results is not None and len(results) > 0:
                nbests = [text for text, token, token_int, hyp in results]
                text = nbests[0] if nbests is not None and len(nbests) > 0 else ""
                progress_output(nbests[0])
            else:
                progress_output("")
            
        results = speech2text(speech[(i+1)*sim_chunk_length:len(speech)], is_final=True)
    else:
        results = speech2text(speech, is_final=True)
    nbests = [text for text, token, token_int, hyp in results]
    progress_output(nbests[0])

recognize(audio_file)

uv run asr_stream_from_file.py

ライじゃ始めますちょっとまだ来られてない方はもういらしかるんですけどあおいらなくＤＰ始めましゅ京阪んん
りもいらわられちおっあい日曜日に終わってまいただきましてありがとうございますえーと今日久しぶりにですね
オフラインということでえーっと今日はですねスペシャルなゲストを追ったりしていただいておりますということ
であああいえーと今日はちょっとをちトピックに回りますけれもえーっとこうイストローの使用であるんえーラン
ディンリームさんと後えートヘルスフォーストの終えーっとーマーレドラーラールレダインディーターターである
ーメリックベネストターに来ていただいてわーすということですとに来ていただいてありがと思っ

uv pip install pyaudio

(snip)
 + pyaudio==0.2.14
(snip)

import sys
import pyaudio
import numpy as np
from espnet_model_zoo.downloader import ModelDownloader
from espnet2.bin.asr_inference_streaming import Speech2TextStreaming

# マイク入力のパラメータ設定
CHUNK=2048          # 一度に読み込むサンプル数
FORMAT=pyaudio.paInt16  # 16ビット整数で音声を取得
CHANNELS=1          # モノラル入力
RATE=16000         # サンプリングレート
RECORD_SECONDS=10    # 録音時間。この秒数が経過すると処理を終了する

tag = 'eml914/streaming_conformer_asr_csj'

# モデルのセットアップ
d=ModelDownloader()
speech2text = Speech2TextStreaming(
    **d.download_and_unpack(tag),
    token_type=None,
    bpemodel=None,
    maxlenratio=0.0,
    minlenratio=0.0,
    beam_size=20,
    ctc_weight=0.5,
    lm_weight=0.0,
    penalty=0.0,
    nbest=1,
    device = "cpu",
    disable_repetition_detection=True,
    decoder_text_length_limit=0,
    encoded_feat_length_limit=0
)


prev_lines = 0
def progress_output(text):
    """
    推論中の進捗を表示する
    ・50文字ごとに改行を挿入
    ・進捗を表示するために、前の行を上書きする
    """
    global prev_lines
    lines=['']
    for i in text:
        if len(lines[-1]) > 50:
            lines.append('')
        lines[-1] += i
    for i,line in enumerate(lines):
        if i == prev_lines:
            sys.stderr.write('\n\r')
        else:
            sys.stderr.write('\r\033[B\033[K')
        sys.stderr.write(line)

    prev_lines = len(lines)
    sys.stderr.flush()


p=pyaudio.PyAudio()
stream = p.open(format=FORMAT,channels=CHANNELS,rate=RATE,input=True,frames_per_buffer=CHUNK)

print(f"\n{RECORD_SECONDS}秒間録音します。話してください...")
print("=" * 50)

for i in range(0,int(RATE/CHUNK*RECORD_SECONDS)+1):
    data=stream.read(CHUNK)
    data=np.frombuffer(data, dtype='int16')
    # 32767は16ビットのバイナリ数の上限値であり、intをfloatに変換するための正規化に使用される
    data=data.astype(np.float16)/32767.0
    if i==int(RATE/CHUNK*RECORD_SECONDS):
        results = speech2text(speech=data, is_final=True)
        break
    results = speech2text(speech=data, is_final=False)
    if results is not None and len(results) > 0:
        nbests = [text for text, token, token_int, hyp in results]
        text = nbests[0] if nbests is not None and len(nbests) > 0 else ""
        progress_output(nbests[0])
    else:
        progress_output("")
nbests = [text for text, token, token_int, hyp in results]

progress_output(nbests[0])

uv run asr_stream_from_mic.py

10秒間録音します。話してください...
==================================================

ＥＳＰネットを使ってマイクからリアルタイム文字起こしをしてみました

uv pip install pypinyin gdown

 + gdown==5.2.0

uv pip install parallel_wavegan

      ModuleNotFoundError: No module named 'pip'

      hint: This usually indicates a problem with the package or the build environment.

uv pip install pip

+ pip==25.0.1

source .venv/bin/activate
git clone https://github.com/kan-bayashi/ParallelWaveGAN && cd ParallelWaveGAN
python setup.py develop
cd ..
deactivate

uv pip install pyopenjtalk

 + pyopenjtalk==0.4.0

from espnet2.bin.tts_inference import Text2Speech
from espnet2.utils.types import str_or_none
import time
import torch
import soundfile as sf

# 言語の指定
lang = 'Japanese'

# モデルの指定
# - モデル名の先頭部分が学習に使用されたコーパスを指す
#
# Text2wavモデル（VITS）
# - Text2wavモデルを使用する場合はボコーダーを'none'にする
#tag = 'kan-bayashi/jsut_full_band_vits_prosody'
#tag = "kan-bayashi/jsut_vits_prosody"
#tag = "kan-bayashi/jsut_full_band_vits_prosody"
#tag = "kan-bayashi/jvs_jvs010_vits_prosody"
#tag = "kan-bayashi/tsukuyomi_full_band_vits_prosody"
#tag = "kan-bayashi/jsut_vits_accent_with_pause"
#tag = "kan-bayashi/jsut_full_band_vits_accent_with_pause"
#
# Text2melモデル
# - Text2melモデルを指定する場合はボコーダーも指定する
#tag = "kan-bayashi/jsut_tacotron2"
#tag = "kan-bayashi/jsut_transformer"
#tag = "kan-bayashi/jsut_fastspeech"
#tag = "kan-bayashi/jsut_fastspeech2"
#tag = "kan-bayashi/jsut_conformer_fastspeech2"
#tag = "kan-bayashi/jsut_conformer_fastspeech2_accent"
#tag = "kan-bayashi/jsut_conformer_fastspeech2_accent_with_pause"
#tag = "kan-bayashi/jsut_tacotron2_prosody"
#tag = "kan-bayashi/jsut_transformer_prosody"
#tag = "kan-bayashi/jsut_conformer_fastspeech2_tacotron2_prosody"
#
# ボコーダー
vocoder_tag = 'none'
#vocoder_tag = "parallel_wavegan/jsut_parallel_wavegan.v1"
#vocoder_tag = "parallel_wavegan/jsut_multi_band_melgan.v2"
#vocoder_tag = "parallel_wavegan/jsut_style_melgan.v1"
#vocoder_tag = "parallel_wavegan/jsut_hifigan.v1"

# モデルのセットアップ
text2speech = Text2Speech.from_pretrained(
    model_tag=str_or_none(tag),
    vocoder_tag=str_or_none(vocoder_tag),
    device="cuda",
    # Tacotron2 と Transformerを使用する場合のみ
    threshold=0.5,
    # Tacotron2を使用する場合のみ
    minlenratio=0.0,
    maxlenratio=10.0,
    use_att_constraint=False,
    backward_window=1,
    forward_window=3,
    # FastSpeech、FastSpeech2、VITSを使用する場合のみ
    speed_control_alpha=1.0,
    # VITSをしようする場合のみ
    noise_scale=0.333,
    noise_scale_dur=0.333,
)

# 音声を生成したいテキストを入力する
print(f"Input your favorite sentence in {lang}.")
x = input()

# 音声生成
with torch.no_grad():
    start = time.time()
    wav = text2speech(x)["wav"]
rtf = (time.time() - start) / (len(wav) / text2speech.fs)
print(f"RTF = {rtf:5f}")

# WAVファイルを出力
output_file = "output.wav"
audio_data = wav.view(-1).cpu().numpy()
sf.write(output_file, audio_data, text2speech.fs)
print(f"Output File: {output_file}")

uv run tts.py

Input your favorite sentence in Japanese.
おはようございます！今日はいいお天気ですね。

RTF = 1.509218
Output File: output.wav

(snip)
tag = "kan-bayashi/jsut_tacotron2"
(snip)
vocoder_tag = "parallel_wavegan/jsut_parallel_wavegan.v1"
(snip)

ImportError: cannot import name 'kaiser' from 'scipy.signal' 

uv pip show scipy

Name: scipy
Version: 1.15.2
(snip)

(snip)
from scipy.signal import kaiser
(snip)

(snip)
from scipy.signal.windows import kaiser
(snip)