智能撰写：利用神经网络帮助撰写电子邮件

lixia01

在Google I/O大会上，我们推出了智能撰写功能，这是 Gmail 的一项新功能，它利用机器学习在您输入时以交互方式提供句子完成建议，让您可以更快地撰写电子邮件。智能撰写功能以智能回复技术为基础，提供了一种帮助您撰写邮件的新方法 — 无论您是回复收到的电子邮件还是从头开始撰写新邮件。
在开发 Smart Compose 的过程中，我们面临许多关键挑战，包括：
延迟：由于 Smart Compose 根据每次按键提供预测，因此它必须在 100 毫秒内做出响应，以便用户不会注意到任何延迟。平衡模型复杂性和推理速度是一个关键问题。
规模： Gmail 的用户超过 14 亿。为了提供对所有 Gmail 用户都有用的自动补全功能，模型必须具备足够的建模能力，以便在细微差别的上下文中提供定制建议。
公平性和隐私性： 在开发 Smart Compose 时，我们需要解决训练过程中可能出现的偏见，并且必须遵守与 Smart Reply 相同的严格用户隐私标准，确保我们的模型绝不会泄露用户的隐私信息。此外，研究人员无法访问电子邮件，这意味着他们必须开发和训练机器学习系统来处理他们自己无法读取的数据集。
寻找合适的模型
典型的语言生成模型，例如ngram、 神经词袋(BoW) 和RNN 语言(RNN-LM) 模型，都会学习根据前缀词序列预测下一个词。然而，在电子邮件中，用户在当前电子邮件撰写会话中输入的单词只是模型用来预测下一个单词的一个“信号”。为了融入更多有关用户想要表达的内容的背景信息，我们的模型还以电子邮件主题和前一封电子邮件正文为条件（如果用户正在回复收到的电子邮件）。
融入这种额外背景的一种方法是将问题转化为序列到序列(seq2seq) 机器翻译任务，其中源序列是主题和前一封电子邮件正文（如果有）的串联，目标序列是用户正在撰写的当前电子邮件。虽然这种方法在预测质量方面效果很好，但它未能满足我们严格的延迟限制，而且延迟时间差了几个数量级。
为了改进这一点，我们将 BoW 模型与 RNN-LM 相结合，这样比 seq2seq 模型更快，而模型预测质量仅略有下降。在这种混合方法中，我们通过平均每个字段中的单词嵌入来编码主题和之前的电子邮件。然后，我们将这些平均嵌入合并，并在每个解码步骤中将它们提供给目标序列 RNN-LM，如下面的模型图所示。
Smart Compose RNN-LM 模型架构。主题和之前的电子邮件信息通过对每个字段中的单词嵌入进行平均来编码。然后，在每个解码步骤中将平均嵌入馈送到 RNN-LM。
加速模型训练和服务
当然，一旦我们决定采用这种建模方法，我们仍然必须调整各种模型超参数，并在数十亿个示例中训练模型，所有这些都可能非常耗时。为了加快速度，我们使用完整的TPUv2 Pod进行实验。通过这样做，我们能够在不到一天的时间内将模型训练到收敛。
即使在训练了更快的混合模型之后，我们在标准 CPU 上运行的初始版本的 Smart Compose 的平均服务延迟也为数百毫秒，这对于试图节省用户时间的功能来说仍然是不可接受的。幸运的是，TPU 也可以在推理时使用，以大大加快用户体验。通过将大部分计算卸载到 TPU 上，我们将平均延迟缩短到几十毫秒，同时还大大增加了单台机器可以处理的请求数量。
公平和隐私
机器学习中的公平性非常重要，因为语言理解模型可以反映人类的认知偏见，从而导致不必要的单词联想和句子完成。正如 Caliskan 等人在他们最近的论文“从语言语料库自动得出的语义包含类似人类的偏见”中指出的那样，这些关联深深纠缠在自然语言数据中，这对构建任何语言模型都是一个不小的挑战。我们正在积极研究如何继续减少训练过程中的潜在偏见。此外，由于智能撰写是基于数十亿个短语和句子进行训练的，类似于垃圾邮件机器学习模型的训练方式，我们利用本文中的发现进行了广泛的测试，以确保我们的模型只记住多个用户使用的常用短语。未来
工作
我们一直致力于通过遵循最先进的架构（例如Transformer、 RNMT+等）并尝试最新和最先进的训练技术来提高语言生成模型的建议质量。一旦我们的严格延迟限制得到满足，我们就会将这些更先进的模型部署到生产中。我们还致力于将个人语言模型纳入我们的系统，旨在更准确地模拟个人的写作风格。
致谢
Smart Compose 语言生成模型由 Benjamin Lee、Mia Chen、Gagan Bansal、Justin Lu、Jackie Tsay、Kaushik Roy、Tobias Bosch、Yinan Wang、Matthew Dierker、Katherine Evans、Thomas Jablin、Dehao Chen、Vinu Rajashekhar、Akshay Agrawal、Yuan Cao、Shuyuan Zhang、Xiaobing Liu、Noam Shazeer、Andrew Dai、Zhifeng Chen、Rami Al-Rfou、DK Choe、Yunhsuan Sung、Brian Strope、Timothy Sohn、Yonghui Wu 等人开发。