Google Assistant 语音评估

lixia01

语音与技术的交互正成为我们生活中的重要组成部分——从要求手机查询交通状况到在家中使用智能设备开灯或播放音乐。Google 助理旨在跨各种平台提供帮助和信息，并将许多产品整合在一起——包括 Google 地图、搜索、Google 相册、第三方服务等。对于其中一些产品，我们已经发布了特定的评估指南，例如搜索质量评分指南。但是，Google 助理需要制定自己的指南，因为它的许多交互都利用了所谓的“免眼技术”，即体验中没有屏幕。
过去，我们曾收到过一些学者的请求，要求查看我们的评估指南，他们正在研究语音交互、问答和语音引导探索的改进。为了方便他们进行评估，我们发布了一些首批 Google 助理指南。我们希望公开这些指南将有助于研究界构建和评估他们自己的系统。创建指南对于许多查询，答案都会以图形、表格或交互元素的形式显示在显示屏上（如电话），就像您看到的 [本周末的天气] 一样。
但语音响应与显示结果有很大不同，因为屏幕上的内容需要翻译成有用的语音。此外，语音响应的内容有时来自网络，在这种情况下，向用户提供原始来源的链接非常重要。虽然用户可以通过移动设备点击阅读原始网页，但无需眼睛观察的解决方案却带来了独特的挑战。为了生成最佳音频响应，我们结合使用显性语言知识和深度学习解决方案，使我们能够保持答案符合语法、流畅和简洁。
我们如何确保在所有答案类型和语言中始终满足用户对质量的期望？我们用来衡量这一点的工具之一是人工评估。在这些评估中，我们要求评估者确保答案在几个方面都令人满意：
信息满意度：答案的内容应该满足用户的信息需求。
长度：当显示的答案太长时，用户可以快速浏览并找到相关信息。对于语音答案，这是不可能的。更重要的是确保我们提供有用的信息量，希望不要太多或太少。我们之前的一些工作目前正在用于识别最相关的答案片段。
措辞：措辞不当的书面答案比不合语法的口头答案更容易理解，因此必须更加小心地确保语法的正确性。
朗诵：口头回答必须有正确的发音和韵律。文本转语音生成方面的改进（例如WaveNet和Tacotron 2）正在迅速缩小与人类表现的差距。
指南的最新版本可在此处找到。当然，指南会经常更新，这些只是对一个不断变化、始终在进行的评估的一个快照！