通过 Talk to Books 和 Semantris 引入语义体验

lixia01

过去几年，自然语言理解取得了长足发展，部分原因是词向量的发展，它使算法能够根据实际语言使用示例了解单词之间的关系。这些向量模型根据思想和语言的等价性、相似性或相关性，将语义上相似的短语映射到附近的点。去年，我们使用语言的分层向量模型改进了 Gmail 的智能回复。最近，我们一直在探索这些方法的其他应用。
今天，我们很自豪地与大家分享“语义体验”网站，该网站展示了两个示例，说明这些新功能如何驱动以前不可能实现的应用程序。Talk to Books是一种全新的图书探索方式，它从句子级别开始，而不是作者或主题级别。Semantris是一款由机器学习驱动的词语联想游戏，您可以在其中输入与给定提示相关的单词。我们还发布了“通用句子编码器”，其中更详细地描述了用于这些示例的模型。最后，我们为社区提供了一个预训练的语义 TensorFlow 模块，以便他们尝试自己的句子和短语编码。
建模方法
我们的方法扩展了在向量空间中表示语言的想法，通过为较大的语言块（例如完整句子和小段落）创建向量。由于语言由概念层次结构组成，我们使用模块层次结构创建向量，每个模块考虑对应于不同时间尺度上的序列的特征。如果我们以正确的方式训练相关性、同义词、反义词、部分同义词、全义词和许多其他类型的关系，然后提出正确的“问题”，它们都可以在向量空间语言模型中表示。我们在论文“智能回复的高效自然语言响应”中描述了这种方法。与
书籍对话
通过与书籍对话，我们提供了一种探索书籍的全新方式。您发表声明或提出问题，该工具会在书中找到响应的句子，而无需依赖关键字匹配。从某种意义上说，你是在与书籍对话，并得到书籍的回应，这可以帮助你确定是否有兴趣阅读它们。
与书对话
推动这一体验的模型接受了十亿对对话式句子的训练，学会了识别好的回答应该是什么样的。一旦你提出问题（或发表声明），该工具会搜索十多万本书中的所有句子，找到那些基于句子级别语义响应你输入的句子；没有预定义的规则来约束你输入的内容和得到的结果之间的关系。
此功能非常独特，可以帮助你找到关键字搜索可能无法找到的有趣书籍，但仍有改进空间。例如，这个实验是在句子级别进行（而不是在段落级别，如 Gmail 的智能回复），因此一个“好的”匹配句子仍然可能脱离上下文。你可能会发现一些你意想不到的书籍和段落，或者某个段落被突出显示的原因可能并不明显。你可能还会注意到，知名度并不会让一本书排在最前面；这个实验只看各个句子的匹配程度。但是，这样做的一个好处是，该工具可以帮助人们发现意想不到的作者和书名，并以新颖和创新的方式展示书籍。Semantris我们还提供由这项技术驱动的词语联想游戏
Semantris。当您输入单词或短语时，游戏会对屏幕上的所有单词进行排名，并根据它们对您输入内容的响应程度进行评分。同样，使用此语义模型，相似性、对立性和邻近概念都是公平的游戏。
我们今天分享的示例只是使用这些新工具思考体验和应用程序设计的几种可能方式。其他潜在应用包括分类、语义相似性、语义聚类、白名单应用程序（从众多替代方案中选择正确响应）和语义搜索（Talk to Books 就是一个例子）。我们希望您能从这些示例应用程序中获得启发，想出更多想法。我们期待看到开发者社区对我们的TensorFlow 模型进行原创和创新使用。
致谢
Talk to Books 由 Aaron Phillips、Amin Ahmad、Rachel Bernstein、Aaron Cohen、Noah Constant、Ray Kurzweil、Igor Krivokon、Vladimir Magay、Peter McKenzie、Bryan Richter、Chris Tar、Dave Uthus 和 Ni Yan 开发。Semantris 由 Ben Pietrzak、RJ Mical、Steve Pucci、Maria Voitovich、Mo Adeleye、Diana Huang、Catherine McCurry、Tomomi Sohn 和 Connor Moore 开发。核心语义搜索技术开发由 Brian Strope 和 Yunhsuan Sung 领导。快速可扩展匹配工作由 Sanjiv Kumar、Dave Dopson 和 David Simcha 领导。我们还要感谢 Hallie Benjamin、Eric Breck、Mario Guajardo-Céspedes、Yoni Halpern、Margaret Mitchell、Ben Packer、Andrew Smart 和 Lucy Vasserman。