
215
7.9
結論
便利なツールだ。
図
7-10.
Voxom
の航空会社の通話誘導アプリが自動作成したグラフ(
Vitaly Yurchenko
提供)
回帰テスト
データを分析し、問題のあるプロンプトを改訂し、パラメータを微調整したら、実
際に成績が向上したかどうかを確認することが重要だ。
テストすることなく、改善されたと決めつけないこと。録音した音声データを取り
出して、調整済みの新システムに流してみる。不一致率は減少したか?
誤った受理
の割合は改善されただろうか?
回帰テストは、改善処理が成功し、なおかつ別の何かに不具合が起きていないこと
を確認する安定した方法だ。ある問題を解決している間に、意図せず別の問題を引き
起こしてしまうことがある。回帰テストはそうした問題を、修正版を公開する「前に」
見つけ出してくれる。
7.9
結論
アプリの公開は楽しみな出来事のひとつだ。
VUI
は「音声」という複雑な入力方
式を採用しているため、想定通り動作することを確信するのは特に難しい。
幸いなことに、アプリがどう動いているかを観察する方法がいろいろあるので、デ
ザイナーはすばやく動作を改善することができる。必要になるかもしれない情報はす
べて記録しておくことが非常に重要だ。そうすればデータ収集を始めたあとすぐに分
析を進めることができる。一方、ユーザーが実際に話したことを人力でテキスト化す
る「文字起こし」は、システムが本当はどう振る舞っているかを知るために必要不可
欠だ。
成功の基準とタスク完了の定義はデザインフェーズの ...