マイクロソフトの研究部門であるMicrosoft Research Africaは、アフリカ系言語における自動音声認識(ASR)モデルの総合的な評価研究「Paza」を発表しました。
グローバル向けサービスや多言語対応の音声アプリを開発するエンジニアにとって、本研究で提示された精度と処理速度のバランス(トレードオフ)はシステム設計の直接的な指針となります。
精度とスピードの選択肢
精度優先ならPhi-4、応答速度ならMMSが優位。
| システム構造 |
主なモデル |
文字エラー率(CER) |
推論速度 |
最適な用途 |
| LLM基盤 |
Phi-4 multimodal |
最も低い(高精度) |
遅い |
高精度な書き起こし |
| Encoder-only |
Meta MMS-1B |
中程度 |
28倍以上高速 |
リアルタイム会話・エッジAI |
| Encoder-Decoder |
OpenAI Whisper-v3 |
低い(条件付き) |
中程度 |
標準的な音声処理 |
LLM基盤と従来の音声AIで判明した性能差
研究チームは、約10億パラメータ規模の3つの異なるアーキテクチャモデル(Phi-4 multimodal、Whisper-large-v3、MMS-1B)を用い、スワヒリ語やキクユ語などケニアの6言語でファインチューニングを実施しました。
検証の結果、大規模言語モデル(LLM)を基盤とするPhi-4システムが、6言語中4言語で最も低い文字エラー率(CER)を記録しました。
一方で推論速度の指標であるRTFx(実時間比率の逆数)では、Encoder-only構造のMeta MMSモデルがLLM基盤モデルより28倍以上速いパフォーマンスを示しました。
OpenAIのWhisperモデルは、非音声ノイズを文字として誤認識するハルシネーション(幻覚)やテキストの重複ループが発生しやすく、未対応の少数言語ではエラー率が高くなる傾向が確認されています。
日本からの利用方法と開発者向けモデルの活用
本研究の成果物であるベンチマークデータセット「PazaBench」およびモデルカードは、GitHubやHugging Face、Azure Foundry上でオープンソースとして順次公開されています。
日本国内からでも開発者アカウントを用意すれば、これらのデータやモデルアセットを無料で入手し、独自のファインチューニング実験に活用できます。
データ収集においては、1言語あたり150〜200時間程度のラベル付き音声データを与えると精度の伸び率が鈍化する(収穫漸減の法則)ことも実証されました。
また、対応言語に含まれていない言語を新しく追加する場合、ゼロから学習させるよりも、語族の近い近縁言語の制御モジュール(Adapter)を初期値として利用する方が、エラー率を6%〜20%削減できることが示されています。
特定分野(農業ドメインなど)の専門用語に対応させる実験では、約38時間のドメインデータを取り込むことでLLM基盤モデルの精度が最大83%改善しました。
まだ分からないこと
- オンデバイス(手元のスマホ等)で動かすための量子化(軽量化)を行った際の正確な精度低下幅は検証中です。
- 複数人が同時に話す長尺音声(会話データ)に対する堅牢性の検証は今後の課題とされています。