WER（Word Error Rate：単語誤り率）ってなんだ？音声認識評価のデファクト指標を徹底解説

この記事の目的

音声認識モデルのベンチマークを見ると必ず出てくる「WER」という数字。「WER 5.63%で1位」なんて言われても、それが凄いのか普通なのか、判断に困ったことはないだろうか。この記事では、WERの定義から計算方法、業界標準のベンチマーク、そして実務で知っておくべき限界点まで、徹底的に解説する。

対象読者

• 音声認識（ASR）モデルの評価方法を理解したいエンジニア
• ベンダー選定でWERの数字を比較したい事業責任者
• 論文やリーダーボードのスコアを正しく読み解きたい研究者

到達目標

• WERの定義と計算方法を理解する
• 業界標準のベンチマークとトップモデルのスコアを把握する
• WERの限界と使用上の注意点を知る

TL;DR

• WERは「単語レベル」で音声認識の精度を測定する指標
• 計算式: (置換 + 削除 + 挿入) / 正解単語数
• 英語ASR評価のデファクトスタンダード
• 2025年11月時点のトップモデル: NVIDIA Canary Qwen 2.5B（WER 5.63%）
• 低いほど良いが、5%以下は人間の書き起こし精度に迫るレベル
• 日本語・中国語には不向き（単語境界がないため）

---

WERとは何か

WER（Word Error Rate：単語誤り率）は、音声認識システムの性能を測る最も広く使われている指標だ。

Wikipediaの定義を見てみよう。

Word error rate (WER) is a common metric of the performance of a speech recognition or machine translation system. The WER metric typically ranges from 0 to 1, where 0 indicates that the compared pieces of text are exactly identical, and 1 (or larger) indicates that they are completely different with no similarity.

（単語誤り率（WER）は、音声認識システムや機械翻訳システムの性能を測る一般的な指標である。WERの値は通常0から1の範囲で、0は比較するテキストが完全に一致することを示し、1（またはそれ以上）は類似性がまったくないことを示す。）

出典: Wikipedia - Word Error Rate

要するに、システムが出力したテキストと正解テキストを「単語ごと」に比較して、どれだけ間違っているかを数値化したものだ。

音声認識の業界では、このWERがベンチマークのスタンダードになっている。Y Combinatorに採択されたAssemblyAIの創業者も、最初に聞かれた質問が「What's your WER?」だったと語っている。それくらい、この指標は重要視されている。

WERの計算方法

WERの計算式はシンプルだ。

WER = (S + D + I) / N

ここで：

• S（Substitution）: 置換エラー（間違った単語に置き換わっている）
• D（Deletion）: 削除エラー（あるべき単語が欠落している）
• I（Insertion）: 挿入エラー（余計な単語が追加されている）
• N: 正解テキストの総単語数

この計算には「レーベンシュタイン距離」（編集距離）というアルゴリズムが使われる。2つの単語列を変換するのに必要な最小の編集操作数を求めるものだ。

具体例で理解する

正解: The dog is under the table
出力: The dog is the fable

この場合：

• "under" が削除されている: 1削除（D=1）
• "table" → "fable" に置換されている: 1置換（S=1）
• 合計エラー = 2

正解の単語数 = 6

WER = (1 + 1 + 0) / 6 = 0.333 = 33.3%

別の例も見てみよう。

正解: hello there
出力: hello duck

この場合、"there" → "duck" で1置換。全2単語中1エラーなので WER = 50%。

たった1単語間違えただけでWER 50%。これがWERの特徴であり、後述する限界でもある。

Pythonでの実装例

# jiwer ライブラリを使う方法（業界標準）
from jiwer import wer

reference = "hello world"
hypothesis = "hello duck"
error = wer(reference, hypothesis)
print(f"WER: {error:.3f}")  # WER: 0.500

# 複数文の評価
references = ["the quick brown fox", "jumps over the lazy dog"]
hypotheses = ["the quick brown dog", "jump over a lazy dog"]
error = wer(references, hypotheses)
print(f"Batch WER: {error:.3f}")

jiwer は Apache License 2.0 で公開されているオープンソースライブラリで、内部では RapidFuzz（C++実装）を使用しているため高速に動作する。

# インストール
pip install jiwer
# または
conda install conda-forge::jiwer

詳細な分析が必要な場合は process_words を使う：

import jiwer

out = jiwer.process_words(
    "short one here",
    "shoe order one"
)
print(out)
# 置換、挿入、削除の詳細が取得できる

Hugging Face の Evaluate ライブラリを使う方法もある：

import evaluate

wer_metric = evaluate.load("wer")
reference = "The cat is sleeping on the mat"
hypothesis = "The cat is playing on mat"
result = wer_metric.compute(references=[reference], predictions=[hypothesis])
print(f"WER: {result:.3f}")

出典: jiwer Documentation, PyPI - jiwer

WER vs CER：どう使い分けるか

WERには兄弟分がいる。CER（Character Error Rate：文字誤り率）だ。計算式は同じで、対象が違う。

項目	WER	CER
評価単位	単語	文字
粒度	粗い	細かい
1文字ミスの影響	単語全体が1エラー	そのまま1エラー
典型的な数値関係	高い（CERの3〜5倍）	低い

なぜWERとCERで数値が違うのか

正解: The cat sat on the mat
出力: The cat sit on the mat

WERの場合: "sat" → "sit" で1単語エラー。全6単語中1エラーなので WER = 16.7%

CERの場合: "a" → "i" で1文字エラー。全22文字中1エラーなので CER = 4.5%

1文字間違えただけでも、WERでは「単語丸ごと」がエラーとしてカウントされる。

Hugging Face Audio Courseの説明:

It seems a bit unfair that we marked the entire word for "sit" wrong when in fact only one letter was incorrect. That's because we were evaluating our system on the word level, thereby annotating errors on a word-by-word basis.

（実際には1文字しか間違っていないのに、"sit"という単語全体を間違いとしてマークするのは少し不公平に見える。これは単語レベルでシステムを評価しているため、単語ごとにエラーを注釈しているからだ。）

出典: Hugging Face Audio Course - Evaluation Metrics

言語による使い分け

ここが極めて重要だ。

英語: WERが主流。単語という概念が明確で、スペースで分かち書きされているため。

日本語・中国語: CERが標準。なぜなら、単語の境界がないからだ。

Hugging Face Audio Courseより:

Certain languages, such as Mandarin and Japanese, have no notion of 'words', and so the WER is meaningless. Here, we revert to using the CER.

（中国語や日本語のような言語には「単語」という概念がないため、WERは意味をなさない。ここではCERを使う。）

日本語で「今日は良い天気ですね」をどこで区切るかは、形態素解析器によって異なる。MeCabとSudachiで結果が違うこともある。そのため、単語単位のWERは不安定になりやすい。

最新研究が示すCERの優位性

2024年10月に発表された論文「Advocating Character Error Rate for Multilingual ASR Evaluation」（arXiv:2410.07400）は興味深い主張をしている。

We show that CER correlates more closely with human judgments than WER, even for English.

（CERは英語においてさえも、WERよりも人間の判断とより強く相関することを示した。）

この研究では、マラヤーラム語、英語、アラビア語という異なる形態素特性を持つ3言語で人間評価を実施。結果として、多言語ASR評価ではCERを優先すべきという結論に至っている。

ただし、英語ASRの世界ではWERが圧倒的にデファクトスタンダードのため、当面はWERを理解しておく必要がある。

WERの目安：どのくらいなら良いのか

実務的な目安を示しておこう。

WER範囲	評価	適用シーン
2〜5%	優秀	人間レベル、クリーン録音、最先端モデル
5〜10%	良好	エンタープライズ向け、実用レベル
10〜15%	許容範囲	バーチャルアシスタント、コマンド認識
15〜20%	要改善	ノイズ環境、アクセント対応必要
20%以上	問題あり	業務利用は厳しい

人間の書き起こし精度は約4% WERと言われている。つまり、5%以下のWERは「人間並み」と評価できる。

Speechmatics のドキュメントより:

Today's state of the art ASR systems are able to achieve below 5% on many test sets. This will depend a lot on the audio and speaker.

（最先端のASRシステムは、多くのテストセットで5%以下を達成できる。ただし、音声と話者に大きく依存する。）

出典: Speechmatics - Accuracy Benchmarking

---

業界標準ベンチマーク：代表的なデータセットとスコア

ここからは、英語を中心に代表的なベンチマークと主要モデルのスコアを紹介する。

代表的なデータセット

LibriSpeech

英語ASRの最も有名なベンチマーク。

LibriSpeech is a corpus of approximately 1000 hours of 16kHz read English speech, prepared by Vassil Panayotov with the assistance of Daniel Povey. The data is derived from read audiobooks from the LibriVox project.

（LibriSpeechは、約1,000時間の16kHz英語朗読音声コーパスである。LibriVoxプロジェクトのオーディオブックから作成されている。）

出典: OpenSLR - LibriSpeech, Hugging Face - LibriSpeech

LibriSpeechには主に2つのテストセットがある：

• test-clean: 高品質な録音（朗読音声）
• test-other: ややノイズの多い録音

その他の主要データセット

データセット	概要	規模
GigaSpeech	YouTube等から収集	10,000時間
TED-LIUM 3	TEDトーク	452時間
Common Voice	Mozillaのクラウドソーシング	多言語、継続拡大中
Earnings-21/22	企業決算説明会	長尺音声評価用
VoxPopuli	EU議会音声	多言語対応

MLPerf Inferenceベンチマークでは、2025年9月からLibriSpeechを使ったWhisper Large v3評価が正式採用されている。

Open ASR Leaderboard（2025年11月時点）

Hugging Face、NVIDIA、Cambridge大学、Mistral AIの共同プロジェクトである「Open ASR Leaderboard」が、60以上のモデルを11データセットで評価している。

We present the Open ASR Leaderboard, a fully reproducible benchmark and interactive leaderboard comparing 60+ open-source and proprietary systems across 11 datasets.

（Open ASR Leaderboardは、60以上のオープンソースおよびプロプライエタリシステムを11のデータセットで比較する、完全に再現可能なベンチマークとインタラクティブなリーダーボードを提供する。）

出典: arXiv:2510.06961 - Open ASR Leaderboard

英語トランスクリプション トップモデル

モデル	平均WER (%)	RTFx	備考
NVIDIA Canary Qwen 2.5B	5.63	418	1位、LLMデコーダ採用
IBM Granite Speech 3.3 8B	5.85	31	2位
Microsoft Phi-4 Multimodal	5.87	—	マルチモーダル
NVIDIA Parakeet TDT 0.6B v2	6.05	3,386	超高速
OpenAI Whisper Large v3	7.01	68	定番モデル

RTFx（Real-Time Factor x）は処理速度を示す。100なら1分の音声を0.6秒で処理できる。Parakeet TDT 0.6B v2のRTFx 3,386は驚異的で、1時間の音声を約1秒で処理できる計算だ。

LibriSpeechでの詳細スコア

NVIDIA Canary Qwen 2.5Bの詳細:

• LibriSpeech test-clean: WER 1.6%
• LibriSpeech test-other: WER 3.1%

他の有力モデルとの比較（LibriSpeech clean/other）:

モデル	clean WER (%)	other WER (%)
SpeechBrain	1.77	3.83
wav2vec2 (fine-tuned)	1.8	3.3
Whisper Large v3	2.7	6-7

出典: Northflank Blog, Vatis Tech

多言語評価（ドイツ語、フランス語、イタリア語、スペイン語、ポルトガル語）

モデル	ドイツ語 WER	フランス語 WER	ポルトガル語 WER
Microsoft Phi-4 Multimodal	4.50%	5.13%	—
NVIDIA Canary 1B v2	4.96%	4.86%	—
Whisper Large v3	4.97%	6.59%	4.38%（最強）

多言語対応では、特定言語に最適化したモデルと汎用モデルでトレードオフがある。Whisperは99言語対応の汎用性が強み。

精度と速度のトレードオフ

Open ASR Leaderboardの分析から、明確なトレードオフが見えてくる。

Models combining Conformer encoders with large language model (LLM) decoders currently lead in English transcription accuracy... While highly accurate, these LLM decoders tend to be slower than simpler approaches.

（ConformerエンコーダとLLMデコーダを組み合わせたモデルが英語トランスクリプションの精度でリードしている。ただし、これらのLLMデコーダは高精度だが、よりシンプルなアプローチより遅い傾向がある。）

精度重視: Canary Qwen 2.5B（WER 5.63%、RTFx 418）
速度重視: Parakeet CTC 1.1B（23位の精度だが、RTFx 2,728で超高速）

用途に応じて選ぶ必要がある：

• リアルタイム字幕 → 速度重視（CTCアーキテクチャ）
• 議事録作成 → 精度重視（LLMデコーダ）
• バッチ処理 → コスト効率（中間モデル）

---

WERを使う際の注意点と限界

WERは便利だが、万能ではない。知っておくべき限界がある。

1. テキスト正規化の影響

テキストの正規化方法によってWERは劇的に変わる。

AWSのブログから具体例:

正解: They will tell you again: our ballpark estimate is $450.
出力: They'll tell you again our ball park estimate is four hundred fifty dollars.

正規化なし → WER 90%（ほぼ全滅に見える）
正規化後  → ほぼ問題なし

The term ballpark is spelled as a single compound word in the reference, but as two words in the hypothesis.

（"ballpark"は正解では1単語だが、出力では2単語に分かれている。）

出典: AWS Blog - Evaluating an ASR Service

正規化で考慮すべき点：

• 句読点の扱い
• 大文字小文字の統一
• 数字の表記（"123" vs "one hundred twenty three"）
• 複合語のスペース
• 略語の展開（"Mr." vs "Mister"）

Whisper論文でも正規化の影響が指摘されている。正規化なしと正規化ありでWERが大きく変わるため、評価時のプロトコルを明確に定義し、一貫して適用することが重要だ。

2. すべてのエラーを平等に扱う

WERの最大の問題点がこれだ。

正解: The book is on the table
出力1: The book is on a table  → WER = 16.7%（意味ほぼ同じ）
出力2: The hook is on the table → WER = 16.7%（意味が変わる）

どちらも同じWER 16.7%だが、実際の深刻さは全く違う。

WER considers only literal word-level correctness. Consider the ground-truth 'Morale is raised', and the two hypotheses 'Moral is raised' and 'Morale is razed'. WER is same for both the sentences, but we can clearly see that the former hypothesis makes more sense.

（WERは文字通りの単語レベルの正確性のみを考慮する。正解「Morale is raised」に対し、「Moral is raised」と「Morale is razed」の2つの仮説を考えよう。WERは両方とも同じだが、前者の方がはるかに意味が通じることは明らかだ。）

出典: arXiv:2211.01722 - H_eval

「morale（士気）」を「moral（道徳）」と誤認識するのと、「raised（上げた）」を「razed（破壊した）」と誤認識するのでは、意味への影響が全く違う。しかしWERは同じスコアを返す。

3. 意味的正確性を捉えられない

WERは機械的な評価であり、意味的な重大さは考慮しない。

研究者たちはこの問題に取り組んでおり、様々な代替指標が提案されている：

• SeMaScore: 意味的類似度とエラー率を組み合わせた指標
• BERTScore: BERTの埋め込みを使った意味的類似度
• Semantic-WER: 構文・意味情報を考慮したWER

Traditional ASR metrics like WER and CER fail to capture intelligibility, especially for dysarthric and dysphonic speech, where semantic alignment matters more than exact word matches.

（WERやCERのような従来のASR指標は、特に構音障害や発声障害のある音声において、理解可能性を捉えられない。こうした音声では、正確な単語一致よりも意味的な整合性が重要だ。）

出典: arXiv:2506.16528

4. 日本語・中国語には不向き

繰り返しになるが、単語境界のない言語ではWERは信頼性が低い。

As ASR systems expand to multilingual contexts, WER fails in various ways, particularly with morphologically complex languages or those without clear word boundaries.

（ASRシステムが多言語に拡大するにつれ、WERは様々な点で失敗する。特に形態素的に複雑な言語や、明確な単語境界がない言語で顕著だ。）

出典: arXiv:2410.07400 - Advocating CER

日本語ASRを評価する場合は、CERを使うか、形態素解析の方法を明示した上でWERを報告すべきだ。

5. ベンチマークと実環境のギャップ

LibriSpeechで5% WERを達成したモデルが、コールセンターの通話では15%以上になることも珍しくない。

Studies document 2.8–5.7× degradation from benchmark to production environments.

（研究によると、ベンチマークから本番環境で2.8〜5.7倍の性能劣化が記録されている。）

出典: Deepgram - Speech Recognition Accuracy

ベンチマークは「クリーンな」録音が多いが、実環境には：

• 背景ノイズ
• 重複発話
• アクセント・方言
• 専門用語
• 低品質マイク

これらの要因があるため、自社のデータに近いベンチマークで評価されているかを確認することが重要だ。

---

まとめ

WER（単語誤り率）は、音声認識の精度を単語単位で評価する、業界のデファクトスタンダード指標だ。

重要ポイント:

• 計算式: (置換 + 削除 + 挿入) / 正解単語数
• 英語ASR評価では必須の指標
• 低いほど良く、5%以下は人間レベル
• 2025年11月時点のトップ: NVIDIA Canary Qwen 2.5B（5.63%）

限界と注意点:

• テキスト正規化で結果が大きく変わる
• すべてのエラーを平等に扱い、意味的重大さを考慮しない
• 日本語・中国語には不向き（CERを使うべき）
• ベンチマークと実環境には大きなギャップがある

言語別の推奨指標:

• 英語: WER（デファクト）
• 日本語・中国語: CER
• 多言語評価: CERを優先

モデルを選定する際は、WERだけでなく：

• 処理速度（RTFx）
• 対応言語
• 長尺音声での性能
• 自社ドメインに近いベンチマーク結果

これらを総合的に判断しよう。「WERが低い＝最適」とは限らない。用途とコストのバランスが重要だ。

---

参考資料

公式ドキュメント・ツール

• Wikipedia - Word Error Rate
• jiwer - PyPI
• jiwer Documentation
• Hugging Face Audio Course - Evaluation Metrics
• Speechmatics - Accuracy Benchmarking

リーダーボード・ベンチマーク

• Open ASR Leaderboard (Hugging Face Space)
• Open ASR Leaderboard Paper (arXiv:2510.06961)
• Hugging Face Blog - Open ASR Leaderboard Trends
• LibriSpeech ASR Corpus
• MLPerf Inference - Whisper Benchmark

研究論文

• Advocating CER for Multilingual ASR (arXiv:2410.07400)
• From WER and RIL to MER and WIL (Morris et al., 2004)
• H_eval: Hybrid Evaluation Metric (arXiv:2211.01722)
• SeMaScore (arXiv:2401.07506)
• Semantic-WER (arXiv:2106.02016)

実務ガイド

• AWS Blog - Evaluating an ASR Service
• Deepgram - Speech Recognition Accuracy
• AssemblyAI - Is WER Useful?
• Gladia - WER Definition and Limitations
• Speechmatics - The Problem with WER