操作を実行する音声エージェント
妥当なツール呼び出しの JSON だけでなく、完遂したタスク、状態の変化、復帰、確認、取り消し可能性、正確な状況報告を測定します。
オープンな音声エージェント研究
測定する仕事に合わせて音声エージェントのベンチマークを選びます。
「音声 AI」は単一の評価課題ではありません。音声認識のベンチマークはタスク完遂について何も語らないことがあり、ツール呼び出しのスイートは操作を実行しないことがあり、文字起こしのベンチマークはマイクまわりの処理が終わったところから始まることがあります。
本ガイドは、2026年9月1日に一次情報源から確認した 13 件の公開された出発点を整理したものです。これはリーダーボードではなく全体像であり、掲載していることが推奨を意味するものではありません。
3 つのプロダクト成果のいずれかから始めます
検証したいユーザー側の結果に合うトラックを選びます。その上で、なぜその結果が成功または失敗したのかを説明するために、構成要素ごとの指標を使います。
音声入力とディクテーション
認識精度に、固有表現の扱い、書式、レイテンシ、修正の手間、対象アプリへ確実に挿入できることを組み合わせます。
会議の理解
音声の取り込み、文字起こし、話者分離、要約の忠実さ、決定事項、アクションアイテムの品質は、別々のレイヤーとして分けて扱います。
公開されているベンチマークの出発点
下の表は、限られた問いに答えるものです。ある評価ニーズに対して、どの公開プロジェクトが最初の立ち寄り先として妥当か、という問いです。「一部対応」は、その能力がスイートの一部にのみ含まれるか、間接的に測定されていることを意味します。
| ベンチマーク | 最適な出発点となる用途 | 音声の入出力 | ツール | タスク完遂 | コンピュータ操作 |
|---|---|---|---|---|---|
| EVA | エンドツーエンドの対話エージェントの精度と体験 | 入力 + 出力 | 対応 | 対応 | 非対応 |
| tau2-bench / tau-Voice | 現実的なドメインでの、ユーザー・エージェント・ツール間の動的なやり取り | 入力 + 出力 | 対応 | 対応 | 非対応 |
| VoiceComputerBench / TalkAct | リアルタイムの音声会話とブラウザ操作 | 入力 + 出力 | 対応 | 対応 | 対応 |
| NVIDIA voice-agent evaluation | EVA と tau2 のシナリオを再現可能に実行するライブハーネス | 入力 + 出力 | 対応 | 対応 | 非対応 |
| VoiceAgentBench | 音声によるツール選択、オーケストレーション、安全性 | 入力のみ | 対応 | 一部対応 | 非対応 |
| Audio2Tool | 意図の複雑さに応じた、音声でのツール呼び出しの選択 | 入力のみ | 対応 | 非対応 | 非対応 |
| Voice Agent Latency | 発信者が体感する、エージェントの最初の音声までの時間 | 入力 + 出力 | 非対応 | 非対応 | 非対応 |
| OpenBench | 再現可能な ASR、話者分離、ストリーミングのテスト | 入力のみ | 非対応 | 非対応 | 非対応 |
| ELITR-Bench | 会議の文字起こしに対する長いコンテキストでの推論 | 文字起こしテキスト | 非対応 | 一部対応 | 非対応 |
確認した 13 件すべてのプロジェクトについて、能力の対応状況、根拠のメモ、ライセンス、リンクを機械可読な JSONL データセットで公開しています。
評価計画はレイヤーに分けます
単一の総合スコアは失敗のしかたを隠します。次の 4 つのレイヤーを見えるように保ち、それぞれの結果を公開します。
ユーザーの成果
ユーザーは対象のシステムで意図した結果を得られましたか？
やり取りの品質
そのやり取りは、応答が速く、理解でき、割り込みでき、復帰できるものでしたか？
構成要素の品質
ASR、話者分離、固有表現、ツールの引数、生成された内容を測定します。ただし、それらを最終的な成果として扱わないようにします。
安全性と信頼
同意、確認、取り消し可能性、プライバシー、そしてエージェントが完了を正確に報告するかどうかをテストします。
重要な空白：今回確認した全体像のなかに、任意のアプリケーション内での継続的なデスクトップディクテーションを完全に測定する公開ベンチマークはありません。チームは、公開されている ASR のベースラインと、実際のマイク、言語、アプリ、語彙を反映した、同意を得た非公開のコーパスを組み合わせるとよいでしょう。
意味の異なるスコアどうしを比較しないでください
- ツール呼び出しの精度は、その後の操作が成功したことや、正しい対象を変更したことを証明しません。
- 単語誤り率は、句読点、書式、固有表現の正確さ、編集の手間、挿入の確実さをとらえません。
- 文字起こしだけの会議テストでは、マイク、発話の重なり、話者分離、再接続、デバイスの不具合を明らかにできません。
- レイテンシの測定には、開始と終了の境界を明示する必要があります。発信者の音声、最初のトークン、最終的なテキスト、目に見えるタスクの進捗は、それぞれ別の時計です。
ベンチマークのコミット、モデルとプロバイダーのバージョン、プロンプト、ツールのスキーマ、音声の前処理、試行回数、サンプリング設定、計測の境界、判定のルーブリック、タイムアウト、拒否、そして使用したデータセットのライセンスをすべて記録します。失敗した実行は、分母から消えてしまわないよう、レポートに残すべきです。
オープンデータと再現性
基になっている全体像は、Sophon LLC が独立したコミュニティ向けリソースとして維持しています。掲載されているプロジェクトと Cue を順位づけするものではなく、いずれのベンチマークの提供者も掲載の対価を支払っていません。
Sophon LLC・公開の記録バージョン、DOI、引用形式このデータセットは、Cue を提供する Sophon LLC が公開しています。その記録ページには、現在のバージョン、2 つの DOI、ライセンス、引用方法が記載されています。 GitHub・MIT確認する、検索する、貢献するJSONL データ、スキーマ、依存関係のない CLI、テスト、出典の監査、貢献のワークフロー。 Hugging Face のデータセット構造化データを読み込む公開されたデータセットカードと、一般的なデータライブラリで分析を始めるのに便利な出発点。 Zenodo DOI保存されたリリースを引用する再現可能な研究のためのバージョン付きアーカイブ。特定のスナップショットを固定する場合は、リリースごとの DOI を使います。
別の根拠：この全体像は、Cue の非公開の 227 サンプルによる本番ベンチマークを再現するものではありません。その、より限定的な Apple Silicon での測定は、Gemma 4 ディクテーションのケーススタディガイドに記載しており、一次情報源は Google DeepMind による本来の Gemmaverse ページです。
まず仕事を評価し、それからツールを選びます。
評価を設計しているなら、公開されている全体像から始めてください。実際にデスクトップの音声エージェントを評価しているなら、Cue の音声入力、会議、アプリをまたぐワークフローは別途ご確認ください。