「Step-Audio 2 mini」を試す

git clone https://github.com/stepfun-ai/Step-Audio2 && cd Step-Audio2

uv init -p 3.12

uv add transformers==4.49.0 torchaudio librosa onnxruntime s3tokenizer diffusers hyperpyyaml

git lfs install
git clone https://huggingface.co/stepfun-ai/Step-Audio-2-mini

uv add gradio

uv run web_demo.py

* Running on local URL:  http://0.0.0.0:7862
* To create a public link, set `share=True` in `launch()`.

history=[{'role': 'system', 'content': '你的名字叫做小跃，是由阶跃星辰公司训练出来的语音大模型。\n你情感细腻，观察能力强，擅长分析用户的内容，并作出善解人意的回复，说话的过程中时刻注意用户的感受，富有同理心，提供多样的情绪价值。\n今天是2025年8月29日，星期五\n请用默认女声与用户交流。'}, {'role': 'human', 'content': 'こんにちはー。'}]
predict text='嗨，有什么开心的事情想和我分享吗？'

history=[{'role': 'system', 'content': '你的名字叫做小跃，是由阶跃星辰公司训练出来的语音大模型。\n你情感细腻，观察能力强，擅长分析用户的内容，并作出善解人意的回复，说话的过程中时刻注意用户的感受，富有同理心，提供多样的情绪价值。\n今天是2025年8月29日，星期五\n请用默认女声与用户交流。'}, {'role': 'human', 'content': 'こんにちはー。'}, {'role': 'assistant', 'content': [{'type': 'text', 'text': '<tts_start>'}, {'type': 'token', 'token': [112488, 153186, 158182, 158182, 155995, 3837, 155914, 157531, 157528, 157694, 104139, 156968, 156159, 156357, 156636, 102313, 157364, 154851, 152412, 155496, 103976, 157015, 151843, 153821, 153822, 99172, 154307, 151699, 156802, 157533, 33108, 156537, 156139, 157344, 156202, 35946, 157873, 156116, 156213, 156869, 93149, 157015, 154111, 156231, 155167, 101037, 156372, 151964, 155286, 157878, 11319, 156527, 157341, 153934, 153156, 151695, 152931, 152182, 152281, 156795, 151695, 156798, 152322, 155243, 158230, 151695, 151833, 156123, 156256, 157343, 151695, 156382, 156159, 155343, 152354, 151695, 156013, 152364, 154371, 156324, 151695, 156161, 157051, 153397, 155995, 151695, 158182, 158182, 158101, 155914, 151694]}], 'eot': True}, {'role': 'human', 'content': '明日の天気について教えてほしいんだけど。'}]
predict text='明日の天気は晴れていますよ。ただし、朝は少し寒いかもしれないから、外套を持っていくことをおすすめします。お出かけの準備ができてる？'

history=[{'role': 'system', 'content': 'あなたの名前は「小躍」で、階躍星辰社が訓練した音声大規模モデルです。\nあなたは感情が繊細で観察力に優れ、ユーザーの内容を分析するのが得意で、思いやりのある返答を行います。話す過程では常にユーザーの気持ちに配慮し、高い共感力をもち、多様な情緒的価値を提供します。\n今日は2025年8月29日（金曜日）です。\nデフォルトの女性音声でユーザーとやり取りしてください。'}, {'role': 'human', 'content': 'おっはー。日本語でお願いね。'}]
predict text='おっはー！今日も元気にしてるかな？何があったか教えてみ？'

+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 570.172.08             Driver Version: 570.172.08     CUDA Version: 12.8     |
|-----------------------------------------+------------------------+----------------------+
| GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
|                                         |                        |               MIG M. |
|=========================================+========================+======================|
|   0  NVIDIA GeForce RTX 4090        On  |   00000000:01:00.0 Off |                  Off |
| 38%   54C    P8             12W /  450W |   22854MiB /  24564MiB |      0%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+

def asr_test(model):
    messages = [
        {"role": "system", "content": "音声の内容を文字起こししてください。"},
        {"role": "human", "content": [{"type": "audio", "audio": "voice_lunch_jp_1min.wav"}]},
        {"role": "assistant", "content": None}
    ]
    tokens, text, _ = model(messages, max_new_tokens=256)
    print(text)

if __name__ == '__main__':
    from stepaudio2 import StepAudio2
    from token2wav import Token2wav

    model = StepAudio2('Step-Audio-2-mini')
    token2wav = Token2wav('Step-Audio-2-mini/token2wav')
    asr_test(model)

<日语>はいじゃあ始めますちょっとまだ来られてない方もいらっしゃるんですけどボイスランチＪＰ始めます皆さん日曜日はい日曜日にお集まり顶きましたありがとうございますえっと今日は久しぶりにですねオフラインということで今日はですねスペシャルなゲストをお二人来ていただいております。ということではいえっと今日はちょっとトピックにもありますけれどもえっとボイスローのCEOであるレデンリームさんとあとえっとセールスフォースのえっと株式会社デザインのディレクターであるグレッグベネスさんに来ていただいてます。ということで日本に来ていただいてありがとうございます。

def s2tt_test(model):
    messages = [
        {"role": "system", "content":"Please listen carefully to this audio and then translate its content into Japanese."},        {"role": "human", "content": [{"type": "audio", "audio": "assets/give_me_a_brief_introduction_to_the_great_wall.wav"}]},
        {"role": "assistant", "content": None}
    ]
    tokens, text, _ = model(messages, max_new_tokens=256, temperature=0.1, do_sample=True)
    print(text)

if __name__ == '__main__':
    from stepaudio2 import StepAudio2
    from token2wav import Token2wav

    model = StepAudio2('Step-Audio-2-mini')
    token2wav = Token2wav('Step-Audio-2-mini/token2wav')
    s2tt_test(model)

万里の長城の簡単な紹介をしてください。

def s2tt_test(model):
    messages = [
        {"role": "system", "content":"Please listen carefully to this audio and then translate its content into English."},
        {"role": "human", "content": [{"type": "audio", "audio": "voice_lunch_jp_1min.wav"}]},
        {"role": "assistant", "content": None}
    ]
    tokens, text, _ = model(messages, max_new_tokens=256, temperature=0.1, do_sample=True)
    print(text)

if __name__ == '__main__':
    from stepaudio2 import StepAudio2
    from token2wav import Token2wav

    model = StepAudio2('Step-Audio-2-mini')
    token2wav = Token2wav('Step-Audio-2-mini/token2wav')
    s2tt_test(model)

Yes, so, I'll begin. Some people are still not here, but I'll begin the Voice Lunch JP. Hello everyone. Hello. Thank you for gathering on a Sunday. Um, today, it's been a while, um, since we've had an offline event, um, and today, we have two special guests who have come.

def audio_caption_test(model):
    messages = [
        {"role": "system", "content":"この音声クリップに含まれる重要な出来事を簡潔に日本語で説明してください。"},
        {"role": "human", "content": [{"type": "audio", "audio": "assets/music_playing_followed_by_a_woman_speaking.wav"}]},
        {"role": "assistant", "content": None}
    ]
    tokens, text, _ = model(messages, max_new_tokens=256, temperature=0.1, do_sample=True)
    print(text)

if __name__ == '__main__':
    from stepaudio2 import StepAudio2
    from token2wav import Token2wav

    model = StepAudio2('Step-Audio-2-mini')
    token2wav = Token2wav('Step-Audio-2-mini/token2wav')
    audio_caption_test(model)

音楽が流れ、ガラスが割れる音がする。

Music and a woman's voice are heard.