高速なTTSサービス「Cartesia」を試す

brew install ffmpeg

brew info ffmpeg

==> ffmpeg: stable 7.1 (bottled), HEAD
Play, record, convert, and stream audio and video
https://ffmpeg.org/
Installed
/opt/homebrew/Cellar/ffmpeg/7.1_4 (287 files, 52.1MB) *
(snip)

mkdir cartesia-work && cd cartesia-work

mise use python@3.12

cat << 'EOS' >> .mise.toml

[env]
_.python.venv = { path = ".venv", create = true }
EOS

pip install cartesia

pip freeze | grep -i cartesia

cartesia==1.3.1

export CARTESIA_API_KEY="XXXXXXXXXX"

from cartesia import Cartesia
import os
import json
from collections import Counter

client = Cartesia(api_key=os.environ.get("CARTESIA_API_KEY"))

# 各音声ごとに以下が返される
# - id
# - mode
# - is_public
# - name
# - description
# - created_at
# - gender
# - language
# - embedding
voices = client.voices.list()

print("全音声の数:", len(voices))
print()

print("各言語ごとの音声数:")
language_counts = Counter(voice.get("language") for voice in voices)
for language, count in sorted(language_counts.items()):
    print(f"{language}: {count}")
print()

print("日本語音声:")
for voice in voices:
    if voice.get("language") == "ja":  # languageが"ja"である場合
        # embeddingはデータが大きいので省略している
        filtered_voice = {key: value for key, value in voice.items() if key != "embedding"}
        print(json.dumps(filtered_voice, indent=2, ensure_ascii=False))

全音声の数: 138

各言語ごとの音声数:
de: 7
en: 73
es: 10
fr: 7
hi: 5
it: 3
ja: 4
ko: 3
nl: 3
pl: 4
pt: 3
ru: 4
sv: 2
tr: 3
zh: 7

日本語音声:
{
  "id": "2b568345-1d48-4047-b25f-7baccf842eb0",
  "mode": "stability",
  "is_public": true,
  "name": "Japanese Woman Conversational",
  "description": "This voice is gentle and friendly, perfect for casual conversations in Japanese",
  "created_at": "1970-01-17T16:00:00-08:00",
  "gender": "feminine",
  "language": "ja"
}
{
  "id": "97e7d7a9-dfaa-4758-a936-f5f844ac34cc",
  "mode": "stability",
  "is_public": true,
  "name": "Japanese Man Book",
  "description": "This voice is deep and even, perfect for narrational content in Japanese",
  "created_at": "1970-01-01T16:00:00-08:00",
  "gender": "masculine",
  "language": "ja"
}
{
  "id": "e8a863c6-22c7-4671-86ca-91cacffc038d",
  "mode": "stability",
  "is_public": true,
  "name": "Japanese Male Conversational",
  "description": "This voice is clear and confident, perfect for a Japanese call center agent ",
  "created_at": "1970-01-08T16:00:00-08:00",
  "gender": "masculine",
  "language": "ja"
}
{
  "id": "44863732-e415-4084-8ba1-deabe34ce3d2",
  "mode": "stability",
  "is_public": true,
  "name": "Japanese Children Book",
  "description": "This voice is young and expressive, perfect for character work in games and videos",
  "created_at": "1970-02-06T16:00:00-08:00",
  "gender": "feminine",
  "language": "ja"
}

from cartesia import Cartesia
import os

client = Cartesia(api_key=os.environ.get("CARTESIA_API_KEY"))

data = client.tts.bytes(
    model_id="sonic",
    transcript="こんにちは！これは、Cartesiaの音声生成APIを使用して作成した、日本語音声のサンプルです。",
    voice_id="2b568345-1d48-4047-b25f-7baccf842eb0",  # 日本語・女性・会話
    # 出力フォーマットは https://docs.cartesia.ai/api-reference/tts/bytes で確認
    output_format={
        "container": "wav",
        "encoding": "pcm_f32le",
        "sample_rate": 44100,
    },
    language="ja",
)

with open("cartesia_ja_female_conversational_sample01.wav", "wb") as f:
    f.write(data)

pip install pyaudio

pip freeze | grep -i pyaudio

PyAudio==0.2.14

from cartesia import Cartesia
import pyaudio
import os

client = Cartesia(api_key=os.environ.get("CARTESIA_API_KEY"))
voice_id = "2b568345-1d48-4047-b25f-7baccf842eb0"  # 日本語・女性・会話
voice = client.voices.get(id=voice_id)

transcript="こんにちは！これは、Cartesiaの音声生成APIを使用して作成した、日本語音声のサンプルです。"

model_id = "sonic"
output_format = {
    "container": "raw",
    "encoding": "pcm_f32le",
    "sample_rate": 44100,
}
language="ja"

p = pyaudio.PyAudio()
rate = 44100

stream = None

# オーディオの生成とストリーミング
for output in client.tts.sse(
    model_id=model_id,
    transcript=transcript,
    voice_embedding=voice["embedding"],
    stream=True,
    output_format=output_format,
    language=language,
):
    buffer = output["audio"]

    if not stream:
        stream = p.open(format=pyaudio.paFloat32, channels=1, rate=rate, output=True)

    # オーディオデータをストリームに書き出す
    stream.write(buffer)

stream.stop_stream()
stream.close()
p.terminate()

from cartesia import AsyncCartesia
import asyncio
import pyaudio
import os


async def write_stream():
    client = AsyncCartesia(api_key=os.environ.get("CARTESIA_API_KEY"))
    voice_id="2b568345-1d48-4047-b25f-7baccf842eb0"  # 日本語・女性・会話
    voice = client.voices.get(id=voice_id)
    transcript = "こんにちは！これは、Cartesiaの音声生成APIを使用して作成した、日本語音声のサンプルです。"
    model_id = "sonic"
    output_format = {
        "container": "raw",
        "encoding": "pcm_f32le",
        "sample_rate": 44100,
    }
    language="ja"

    p = pyaudio.PyAudio()
    rate = 44100

    stream = None

    # オーディオの生成とストリーミング
    async for output in await client.tts.sse(
        model_id=model_id,
        transcript=transcript,
        voice_embedding=voice["embedding"],
        stream=True,
        output_format=output_format,
        language=language,
    ):
        buffer = output["audio"]

        if not stream:
            stream = p.open(
                format=pyaudio.paFloat32, channels=1, rate=rate, output=True
            )

        # オーディオデータをストリームに書き出す
        stream.write(buffer)

    stream.stop_stream()
    stream.close()
    p.terminate()
    await client.close()


asyncio.run(write_stream())

from cartesia import Cartesia
import pyaudio
import os

client = Cartesia(api_key=os.environ.get("CARTESIA_API_KEY"))
voice_id="2b568345-1d48-4047-b25f-7baccf842eb0"  # 日本語・女性・会話
voice = client.voices.get(id=voice_id)
transcript = "こんにちは！これは、Cartesiaの音声生成APIを使用して作成した、日本語音声のサンプルです。"

model_id = "sonic"
output_format = {
    "container": "raw",
    "encoding": "pcm_f32le",
    "sample_rate": 22050,
}
language="ja"

p = pyaudio.PyAudio()
rate = 22050

stream = None

# websocket接続を作成
ws = client.tts.websocket()

# websocketを使用してオーディオの生成とストリーミング
for output in ws.send(
    model_id=model_id,
    transcript=transcript,
    voice_embedding=voice["embedding"],
    stream=True,
    output_format=output_format,
    language="ja",
):
    buffer = output["audio"]

    if not stream:
        stream = p.open(format=pyaudio.paFloat32, channels=1, rate=rate, output=True)

    # オーディオデータをストリームに書き出す
    stream.write(buffer)

stream.stop_stream()
stream.close()
p.terminate()

ws.close()  # websocket接続をクローズ

import asyncio
import os
import pyaudio
from cartesia import AsyncCartesia

async def send_transcripts(ctx):
    voice_id="2b568345-1d48-4047-b25f-7baccf842eb0"  # 日本語・女性・会話
    model_id = "sonic"
    output_format = {
        "container": "raw",
        "encoding": "pcm_f32le",
        "sample_rate": 44100,
    }
    language="ja"

    transcripts = [
        "こんにちは！これは、Cartesiaの音声生成APIを使用して作成した、日本語音声のサンプルです。",
        "このAPIを使えば、高品質な音声をリアルタイムで生成することができます。",
        "さらに、文章を小分けにして送信しながら、文脈を考慮したスムーズな音声生成が可能です。",
        "多言語対応や感情表現を組み込むこともでき、幅広い用途で活用できます。",
        "音声の速度や感情のトーンを調整することで、より自然なコミュニケーションを実現します。",
        "Cartesia APIを使って、新しい音声体験をぜひお試しください！"
    ]

    for transcript in transcripts:
        # 入力テキストが利用可能になったら送信
        await ctx.send(
            model_id=model_id,
            transcript=transcript,
            voice_id=voice_id,
            continue_=True,  # 文脈を保持して次の入力を待つ
            output_format=output_format,
            language=language,
        )

    # 入力がこれ以上送信されないことを示す。これをしない場合、5秒間の無操作後にコンテキストが閉じられる。
    await ctx.no_more_inputs()

async def receive_and_play_audio(ctx):
    p = pyaudio.PyAudio()
    stream = None
    rate = 44100

    async for output in ctx.receive():
        buffer = output["audio"]

        if not stream:
            stream = p.open(
                format=pyaudio.paFloat32,
                channels=1,
                rate=rate,
                output=True
            )

        stream.write(buffer)

    stream.stop_stream()
    stream.close()
    p.terminate()

async def stream_and_listen():
    client = AsyncCartesia(api_key=os.environ.get("CARTESIA_API_KEY"))

    # WebSocket接続を設定
    ws = await client.tts.websocket()

    # 音声送受信用のコンテキストを作成
    ctx = ws.context()  # コンテキストIDが指定されていない場合はランダムに生成される

    send_task = asyncio.create_task(send_transcripts(ctx))
    listen_task = asyncio.create_task(receive_and_play_audio(ctx))

    # 2つのコルーチンタスクを同時に呼び出す
    await asyncio.gather(send_task, listen_task)

    await ws.close()
    await client.close()

asyncio.run(stream_and_listen())

from cartesia import Cartesia
import pyaudio
import os

client = Cartesia(api_key=os.environ.get("CARTESIA_API_KEY"))

transcripts = [
    "こんにちは！これは、Cartesiaの音声生成APIを使用して作成した、日本語音声のサンプルです。",
    "このAPIを使えば、高品質な音声をリアルタイムで生成することができます。",
    "さらに、文章を小分けにして送信しながら、文脈を考慮したスムーズな音声生成が可能です。",
    "多言語対応や感情表現を組み込むこともでき、幅広い用途で活用できます。",
    "音声の速度や感情のトーンを調整することで、より自然なコミュニケーションを実現します。",
    "Cartesia APIを使って、新しい音声体験をぜひお試しください！"
]

# 各テキストをスペースで終わらせると、音声がスムーズになる
def chunk_generator(transcripts):
    for transcript in transcripts:
        if transcript.endswith(" "):
            yield transcript
        else:
            yield transcript + " "


voice_id="2b568345-1d48-4047-b25f-7baccf842eb0"  # 日本語・女性・会話
model_id = "sonic-english"
output_format = {
    "container": "raw",
    "encoding": "pcm_f32le",
    "sample_rate": 44100,
}
language = "ja"

p = pyaudio.PyAudio()
rate = 44100

stream = None

# WebSocket接続を設定
ws = client.tts.websocket()

# 音声送受信用のコンテキストを作成
ctx = ws.context()  # コンテキストIDが指定されていない場合はランダムに生成される

# テキストジェネレータを渡して音声を生成・ストリーム送信
output_stream = ctx.send(
    model_id=model_id,
    transcript=chunk_generator(transcripts),
    voice_id=voice_id,
    output_format=output_format,
    language=language,
)

for output in output_stream:
    buffer = output["audio"]

    if not stream:
        stream = p.open(format=pyaudio.paFloat32, channels=1, rate=rate, output=True)

    # 音声データをストリームに書き込む
    stream.write(buffer)

stream.stop_stream()
stream.close()
p.terminate()

ws.close()  # WebSocket接続を閉じる

from cartesia import Cartesia
import os

client = Cartesia(api_key=os.environ.get("CARTESIA_API_KEY"))

transcript = "Hello! This is a sample of audio generation using Cartesia's Text-to-Speech API with timestamps added via WebSocket."

voice_id = "87748186-23bb-4158-a1eb-332911b0b708"
model_id = "sonic"
output_format = {
    "container": "raw",
    "encoding": "pcm_f32le",
    "sample_rate": 44100,
}
language = "en"

# WebSocket接続を作成
ws = client.tts.websocket()

# タイムスタンプを含む音声生成リクエストを送信
response = ws.send(
    model_id=model_id,
    transcript=transcript,
    voice_id=voice_id,
    output_format=output_format,
    language=language,
    stream=False,  # ストリーミングを無効化して完全なレスポンスを取得
    add_timestamps=True  # タイムスタンプを有効化
)

# タイムスタンプ情報を取得
word_timestamps = response['word_timestamps']

# 単語ごとのタイムスタンプを出力
words = word_timestamps['words']
start_times = word_timestamps['start']
end_times = word_timestamps['end']

for word, start, end in zip(words, start_times, end_times):
    print(f"単語: {word}, 開始時刻: {start:.2f}, 終了時刻: {end:.2f}")

# WebSocket接続を閉じる
ws.close()

単語: Hello!, 開始時刻: 0.02, 終了時刻: 0.36
単語: This, 開始時刻: 1.32, 終了時刻: 1.46
単語: is, 開始時刻: 1.46, 終了時刻: 1.60
単語: a, 開始時刻: 1.78, 終了時刻: 1.78
単語: sample, 開始時刻: 1.94, 終了時刻: 2.34
単語: of, 開始時刻: 2.34, 終了時刻: 2.40
単語: audio, 開始時刻: 2.64, 終了時刻: 2.98
単語: generation, 開始時刻: 3.14, 終了時刻: 3.60
単語: using, 開始時刻: 3.82, 終了時刻: 4.06
単語: Cartesia's, 開始時刻: 4.18, 終了時刻: 4.50
単語: Text-to-Speech, 開始時刻: 4.50, 終了時刻: 5.73
単語: API, 開始時刻: 5.73, 終了時刻: 6.48
単語: with, 開始時刻: 6.94, 終了時刻: 6.94
単語: timestamps, 開始時刻: 7.24, 終了時刻: 7.90
単語: added, 開始時刻: 8.02, 終了時刻: 8.38
単語: via, 開始時刻: 8.38, 終了時刻: 8.64
単語: WebSocket., 開始時刻: 8.64, 終了時刻: 9.18

from cartesia import Cartesia
import os

client = Cartesia(api_key=os.environ.get("CARTESIA_API_KEY"))

data = client.tts.bytes(
    model_id="sonic",
    transcript="Hello! This is a sample of audio generation using Cartesia's Text-to-Speech API with Japanese voice speaking in English.",
    voice_id="2b568345-1d48-4047-b25f-7baccf842eb0",  # 日本語・女性・会話
    output_format={
        "container": "wav",
        "encoding": "pcm_f32le",
        "sample_rate": 44100,
    },
    language="en",  # 英語
)

with open("cartesia_ja_female_conversation_sample_en.wav", "wb") as f:
    f.write(data)

from cartesia import Cartesia
import os

client = Cartesia(api_key=os.environ.get("CARTESIA_API_KEY"))

data = client.tts.bytes(
    model_id="sonic",
    transcript="こんにちは！これは、Cartesiaの音声生成APIを使用して作成した、日本語音声のサンプルです。",
    voice_id="2b568345-1d48-4047-b25f-7baccf842eb0",  # 日本語・女性・会話
    output_format={
        "container": "wav",
        "encoding": "pcm_f32le",
        "sample_rate": 44100,
    },
    language="ja",
    # _experimental_voice_controls で速度や感情を設定
    _experimental_voice_controls={
        # speed: 音声速度を速める。2つの指定方法がある。
        # - slowest/slow/normal/fast/fastestの文字列で指定
        # - -1.0〜1.0の少数で指定（-が遅い）
        "speed": "slowest",
        # emotion: 感情を設定する。`emotion_name:level`で指定。
        # - emotion_name: anger/positivity/surprise/sadness/curiosity から指定
        # - level: lowest/low/high/hightestから指定（mediumがデフォルトで指定不要）
        "emotion": ["positivity:highest"]  # 感情をポジティブで強調
    },
)

with open("cartesia_ja_female_conversational_slowest_hightest_positivity_sample01.wav", "wb") as f:
    f.write(data)