uv init -p 3.12 voxtral-work && cd $_

uv venv

uv pip install -U "vllm[audio]" \
    --torch-backend=auto \
    --extra-index-url https://wheels.vllm.ai/nightly

uv run vllm serve mistralai/Voxtral-Mini-3B-2507 \
    --tokenizer_mode mistral \
    --config_format mistral \
    --load_format mistral

(snip)
INFO 07-16 08:09:07 [api_server.py:1700] Starting vLLM API server 0 on http://0.0.0.0:8000
(snip)
INFO:     Started server process [3992102]
INFO:     Waiting for application startup.
INFO:     Application startup complete.

uv init -p 3.12 voxtral-client && cd $_

uv add mistral_common[audio] openai huggingface_hub

from mistral_common.protocol.transcription.request import TranscriptionRequest
from mistral_common.protocol.instruct.messages import RawAudio
from mistral_common.audio import Audio
from huggingface_hub import hf_hub_download

from openai import OpenAI

openai_api_key = "EMPTY"
openai_api_base = "http://[vLLMサーバのIPアドレス]:8000/v1"

client = OpenAI(
    api_key=openai_api_key,
    base_url=openai_api_base,
)

models = client.models.list()
model = models.data[0].id

obama_file = hf_hub_download(
    "patrickvonplaten/audio_samples",
    "obama.mp3",
    repo_type="dataset"
)
audio = Audio.from_file(obama_file, strict=False)

audio = RawAudio.from_audio(audio)
req = TranscriptionRequest(
    model=model,
    audio=audio,
    language="en",
    temperature=0.0
).to_openai(exclude=("top_p", "seed"))

response = client.audio.transcriptions.create(**req)
print(response)

time uv run transcribe_en.py

obama.mp3: 100%|██████████████████████████████████| 4.88M/4.88M [00:00<00:00, 10.3MB/s]
Transcription(text="This week, I traveled to Chicago to deliver my final farewell address to the nation, following in the tradition of presidents before me. It was an opportunity to say thank you. Whether we've seen eye-to-eye or rarely agreed at all, my conversations with you, the American people, in living rooms and schools, at farms and on factory floors, at diners and on distant military outposts, All these conversations are what have kept me honest, kept me inspired, and kept me going. Every day, I learned from you. You made me a better president, and you made me a better man. Over the course of these eight years, I've seen the goodness, the resilience, and the hope of the American people. I've seen neighbors looking out for each other as we rescued our economy from the worst crisis of our lifetimes. I've hugged cancer survivors who finally know the security of affordable health care. I've seen communities like Joplin rebuild from disaster, and cities like Boston show the world that no terrorist will ever break the American spirit. I've seen the hopeful faces of young graduates and our newest military officers. I've mourned with grieving families searching for answers, and I found grace in a Charleston church. I've seen our scientists help a paralyzed man regain his sense of touch, and our wounded warriors walk again. I've seen our doctors and volunteers rebuild after earthquakes and stop pandemics in their tracks. I've learned from students who are building robots and curing diseases and who will change the world in ways we can't even imagine. I've seen the youngest of children remind us of our obligations to care for our refugees, to work in peace, and above all, to look out for each other. That's what's possible when we come together in the slow, hard, sometimes frustrating, but always vital work of self-government. But we can't take our democracy for granted. All of us, regardless of party, should throw ourselves into the work of citizenship. Not just when there's an election. Not just when our own narrow interest is at stake. But over the full span of a lifetime. If you're tired of arguing with strangers on the Internet, try to talk with one in real life. If something needs fixing, lace up your shoes and do some organizing. If you're disappointed by your elected officials, then grab a clipboard, get some signatures, and run for office yourself. Our success depends on our participation, regardless of which way the pendulum of power swings. It falls on each of us to be guardians of our democracy, to embrace the joyous task we've been given to continually try to improve this great nation of ours. Because for all our outward differences, we all share the same proud title. Citizen. It has been the honor of my life to serve you as president. Eight years later, I am even more optimistic about our country's promise. And I look forward to working along your side as a citizen for all my days that remain. Thanks, everybody. God bless you. And God bless the United States of America.", logprobs=None, usage=None)

real	0m10.657s
user	0m1.812s
sys	0m0.216s

from mistral_common.protocol.transcription.request import TranscriptionRequest
from mistral_common.protocol.instruct.messages import RawAudio
from mistral_common.audio import Audio

from openai import OpenAI

openai_api_key = "EMPTY"
openai_api_base = "http://[vLLMサーバのIPアドレス]:8000/v1"

client = OpenAI(
    api_key=openai_api_key,
    base_url=openai_api_base,
)

models = client.models.list()
model = models.data[0].id

audio = Audio.from_file(
    "voice_lunch_jp_1min.wav",    # WAVファイルを指定
    strict=False
)

audio = RawAudio.from_audio(audio)
req = TranscriptionRequest(
    model=model,
    audio=audio,
    language="ja",    # 日本語を指定
    temperature=0.0,
).to_openai(exclude=("top_p", "seed"))

response = client.audio.transcriptions.create(**req)
print(response)

time uv run transcribe_ja.py

Transcription(text='はい、じゃあ始めます。ちょっとまだこられていない方もいらっしゃるんでしょうが、ボイスランチJ-P始めます。皆さん、日曜日、はい、日曜日にお集まりいただきました。ありがとうございます。今日は久しぶりにオフラインということで、今日は特別なゲストを2人来ていただいています。ということで、今日はちょっとトピックに回りますけど、ボイスロのシオであるブレディンリムさんと、それからセールスフォースのカモセデザインのディレクターであるグレッグベネズさんに来ていただいています。ということで、日本に来ていただいてありがとうございます。', logprobs=None, usage=None)

real	0m2.139s
user	0m0.416s
sys	0m0.082s

Transcription(text='はい、じゃあ始めます。ちょっとまだ来れていない方もいらっしゃるんでしょうが、ボイスランチJ.P.始めます。皆さん、日曜日、はい、日曜日にお集まりいただきました。ありがとうございます。今日は久しぶりにオフラインということで、今日は特別なゲストを2人来ていただいています。ということで、はい、今日はちょっとトピックに回りますけど、ボイスロのシオダル、ブレデンリムさんと、それからセールスフォースのカモセジョナルデザインのディレクターダル、グレックベネズさんに来ていただいています。ということで、日本に来ていただけてありがとうございます。はい、今日はちょっとこの2人にまた後でいろいろと聞こうというコーナーがあって、そこでまたいろいろと聞いていただきたいと思います。今日はちょっとこの2人にまた後でいろいろと聞こうというコーナーがあって、そこでまたいろいろと聞いていただきたいと思います。今日はちょっとこの2人にまた後でいろいろと聞こうというコーナーがあって、そこでまたいろいろと聞いていただきたいと思います。今日はちょっとこの2人にまた後でいろいろと聞こうというコーナーがあって、そこでまたいろいろと聞いていただきたいと思います。今日はちょっとこの2人にまた後でいろいろと聞こうというコーナーがあって、そこでまたいろいろと聞いていただきたいと思います。今日はちょっとこの2人にまた後でいろいろと聞こうというコーナーがあって、そこでまたいろいろと聞いていただきたいと思います。今日は(...snip...)でまたいろいろと聞いていただきたいと思います。今日はちょっとこの2人にまた後でいろい', logprobs=None, usage=None)

real	5m47.476s
user	0m0.461s
sys	0m0.126s

Transcription(text='はい、じゃあ始めます。ちょっとまだ来られていない方もいらっしゃるんでしょうが、ボイスランチJ.P.始めます。皆さん、日曜日、はい、日曜日にお集まりいただきました。ありがとうございます。今日は久しぶりにオフラインということで、今日は特別なゲストを2人来ていただいています。ということで、はい、今日はちょっとトピックに回りますけど、ボイスロのシオダル、ブレデンリームさんと、それからセールスフォースのカモセジョナルデザインのディレクターダル、グレックベネズさんに来ていただいています。ということで、日本に来ていただけてありがとうございます。はい、今日はちょっとこの2人にまた後でいろいろと聞こうというコーナーがあって、そこでまたいろいろと聞いてみたいと思います。今日はちょっとこのアジェンダなんですけど、ちょっと時間すぎちゃいましたけど、まず最初にボイスランチJ.P.についてということで、それから概要の部分です。少し説明させていただきます。1つ目のセッションで、まず私の方から、ボイスロの2022年の新機能とかですね、その辺の話を少しさせていただきます。それから2つ目のセッションで、グレデンさんとグルさんにいろいろカムバセーションデザインについて、何でも聞いてみたいというところを予定しています。それから15時から15時で一旦終了という形でさせていただきます。ちょっと一旦ボイスランチJ.P.だけ記念撮影は必須ですので、それだけさせていただきます。それからちょっと1時間ぐらい簡単にお菓子と飲み物を用意していますので、この新会というものをそのようにさせていただこうと思います。ボイスランチJ.P.についてですが、ボイスランチはボイスUIとか音声関連ですね、そんないった技術に実際に取り組んでいる人、もしくは興味がある人、この方のためのグローバルなコミュニティという形になっています。ボイスランチの日本リーダーという形でボイスランチJ.P.になっています。過去もずっとやっていますけど、オンラインオフラインでいろいろ音声のデザインだったり、技術だったりというところで情報とかを共有してみんなで業界を盛り上げていくぜというようなことをしています。今日はハッシュタグですね、#ボイスランチJ.P.でいろいろ自由にシェアしてください。それから会場ですね、今日のグラニカ様のご協力で利用させていただいています。ありがとうございます。ぜひこちらもシェアお願いします。それから、はい、新しい部分もいろいろとやっていただいています。とても感謝しています。ちょっと今、すみません、今コロナで会場に来られる方とかもあまりいなくてさせていないんですが、通常はここでIoT機能とかガジェットとかを展示していますので、そんないったものがあれば今度また体験してみていただければと思いますというところです。それから、すみません、トイレはこっちです。それからタバコ吸う人はいいところになっていますので、よろしくお願いします。はい、ということで、最初の挨拶はこれです。じゃあまず私の方のセッションからさせていただきますというところです。ボイスロアップデート2022というところです。今年の新機能について少しお話しします。自己紹介です。しまづと申します。こうべでインフラのエンジニアをやっていますので、普段はクバネテスとか、EDWASとか、テレホンとかいじってました。最近ちょっとフリーランスになりました。ちょっと調べてみたら、ボイスフロー一番最初に始めたのは2019年の秋の頃なんですね、大体4年弱ぐらいです。いろいろと触ってました。それから音声関連のコミュニティの部分では、ボイスランチJ.P.、今日のやつですね、以外に、EJAG、Amazon、Alexa、Japanユーザーグループとか、それからボイスフローの日本語ユーザーグループということで、VFJUGというものを選んでいます。日本語コミュニティの方はFacebookの方でやっていますので、もしよろしければ見ていただければと思います。それから2年ぐらい前ですね、技術書店の方で、ここには今スタッフで聞いていただいている皆さんと一緒に同人誌を作ろうということで作りました。もうこれちょっと2年ぐらいたって、内容がだいぶ古くなってしまっていますので、既にちょっと販売は終了しています。今日はちょっと持ってきたかったんですが、すみません、忘れてしまいました。はい、だからこんなこともやっています。', logprobs=None, usage=None)

real	0m12.516s
user	0m0.468s
sys	0m0.092s

from mistral_common.protocol.instruct.messages import TextChunk, AudioChunk, UserMessage, AssistantMessage, RawAudio
from mistral_common.audio import Audio
from huggingface_hub import hf_hub_download

from openai import OpenAI

openai_api_key = "EMPTY"
openai_api_base = "http://[vLLMサーバのIPアドレス]:8000/v1"

client = OpenAI(
    api_key=openai_api_key,
    base_url=openai_api_base,
)

models = client.models.list()
model = models.data[0].id

obama_file = hf_hub_download(
    "patrickvonplaten/audio_samples",
    "obama.mp3",
    repo_type="dataset"
)
bcn_file = hf_hub_download(
    "patrickvonplaten/audio_samples",
    "bcn_weather.mp3",
    repo_type="dataset"
)

def file_to_chunk(file: str) -> AudioChunk:
    audio = Audio.from_file(file, strict=False)
    return AudioChunk.from_audio(audio)

text_chunk = TextChunk(text="どちらのスピーカーがよりインスピレーションを与えますか？その理由は？彼らは互いにどのように異なりますか？")
user_msg = UserMessage(
    content=[
        file_to_chunk(obama_file),
        file_to_chunk(bcn_file),
        text_chunk
    ]
).to_openai()

print(30 * "=" + "ユーザ1" + 30 * "=")
print(text_chunk.text)
print("\n\n")

response = client.chat.completions.create(
    model=model,
    messages=[user_msg],
    temperature=0.2,
    top_p=0.95,
)
content = response.choices[0].message.content

print(30 * "=" + "ボット1" + 30 * "=")
print(content)
print("\n\n")

messages = [
    user_msg,
    AssistantMessage(content=content).to_openai(),
    UserMessage(content="では、最初の音声の内容を要約してください。").to_openai()
]
print(30 * "=" + "ユーザ2" + 30 * "=")
print(messages[-1]["content"])
print("\n\n")

response = client.chat.completions.create(
    model=model,
    messages=messages,
    temperature=0.2,
    top_p=0.95,
)
content = response.choices[0].message.content
print(30 * "=" + "ボット2" + 30 * "=")
print(content)

uv run audio_instruct.py