Facebook宣布全面转为神经网络人工智能翻译

本篇文章2548字，读完约6分钟

雷锋的《人工智能科技评论》:语言翻译是一种力量，它能使人们组成群体，使世界更加紧密。它可以帮助人们与生活在海外的家人联系，或者更好地理解说不同语言的人的观点。通过使用机器翻译，文章和评论被自动翻译，从而打破语言障碍，使世界各地的人们能够相互交流。

即使它有facebook那么大，也很难为20亿用户创造无缝和高度准确的翻译体验，这需要同时考虑语境、俚语、错别字、缩写和语义。为了继续提高翻译质量，facebook团队最近宣布，将从基于短语的机器翻译模式转向基于神经网络的翻译模式，以支持所有后端翻译系统。每个翻译系统每天翻译2000多个翻译方向和45亿个翻译。这些新模式可以提供更准确、更流畅的翻译体验，并改善人们在使用facebook阅读用不同寻常语言撰写的内容时的阅读体验。雷锋。(公开号码:雷锋。ai科技评论根据facebook上的文章整理并介绍了相关信息如下。

facebook以前使用的基于短语的统计技术是有效的，但是它们也有局限性。基于短语的翻译系统的主要缺点之一是它们将句子分解成单个单词或短语，因此在生成翻译时它们一次只能考虑几个单词。这种方法会导致翻译困难，当一个翻译者有明显不同的语序时。为了解决这个问题，建立一个神经网络系统，facebook开始使用一个循环神经网络，叫做序列对序列lstm(长短期记忆)。这种网络可以考虑源语句的整个上下文以及到目前为止生成的所有内容，从而创建更准确、更流畅的翻译。这样，例如，当英语和土耳其语之间的翻译单词的排列有差异时，它可以被重新排序。当使用基于短语的翻译模式从土耳其语翻译成英语时，可获得以下翻译:

与基于神经网络的土耳其语到英语的翻译相比:

当使用新系统时，与基于短语的系统相比，bleu平均增加了11%--Bleu是用于判断所有语言的机器翻译的准确性的广泛使用的度量。

处理未知单词在许多情况下，目标词汇中的源语句中的单词没有直接翻译。当这种情况发生时，神经系统会为未知单词生成占位符。在这种情况下，注意机制可以用来在源词和目标词之间产生软校准，从而将原始源词转移到目标句。然后，从由训练数据构建的双语词典中搜索单词的翻译，并替换目标句子中的未知单词。这种方法比传统的字典更强大，特别是对于有噪声的输入。例如，在从英语到西班牙语的翻译中，你可以把“明天”翻译成“马”？安娜.虽然增加了一本字典，但是bleu的分数只有轻微的提高，但是对于使用facebook的人来说还是比较高的。

典型的神经机器翻译模型将计算目标词汇表中所有单词的概率分布。这个分布包含的单词越多，计算时间就越长。通过使用一种叫做词汇缩减的建模技术，这个问题可以在训练和推理时间方面得到解决。通过词汇缩减，目标词汇中最频繁出现的单词可以与给定句子中单个单词的一组翻译候选词组合，以缩减目标词汇的大小。过滤目标词汇将减小输出投影层的大小，这有助于更快的计算，并且不会过多降低质量。

用于调整模型参数的神经网络几乎总是具有可调参数，可以调整和控制模型的学习速度。选择最佳的超参数集对性能非常有帮助。然而，这给大规模的机器翻译带来了巨大的挑战，因为每个翻译方向都由它自己的具有一组超参数的唯一模型来表示。因为每个模型的最优值可能不同，所以每个系统必须单独调整。facebook团队在几个月内进行了数千次端对端翻译实验，使用fblearner flow平台微调超参数，如学习率、注意力类型和整体规模。这些超参数对某些系统有很大的影响。例如，仅基于调谐模型超参数，我们可以看到从英语到西班牙语系统的bleu的相对值增加了3.7%。

用caffe2将神经机器翻译扩展到神经系统的挑战之一是使模型以facebook上信息规模所需的速度和效率运行。因此，facebook团队在caffe2中实现了翻译系统，这是一个Deepen学习框架。由于其灵活性，可以在gpu和cpu平台上进行训练和推理，以调整翻译模型的性能。

关于培训，团队已经实现了内存优化，例如blob回收和blob重新计算，这有助于更大批量的培训和更快地完成培训。关于推理，该团队使用了一个特殊的向量数学库和权重量化来提高计算效率。现有模型的早期基准表明，支持2000多个翻译方向的计算资源将非常高。然而，caffe2的灵活性和团队使用的优化模型将计算效率提高了2.5倍，因此神经机器翻译模型可以应用于实践。

该团队还遵循在解码中使用波束搜索的实践，这在机器翻译中是常用的，以根据模型改进对最有可能输出的句子的估计。利用caffe2中递归神经网络(rnn)的抽象一般性实现波束搜索，波束搜索作为单个前向网络直接计算，从而实现快速有效的推理。

在这项工作的过程中，团队还开发了rnn构建模块，如lstm、乘法积分lstm和注意力。这项技术将作为caffe2的一部分共享，并为研究和开源社区提供学习材料。

正在进行的工作facebook人工智能研究(fair)团队最近发表了利用卷积神经网络(cnn)进行机器翻译的研究。在不到三个月的时间里，facebook代码团队和fair Close合作首次完成了将这项技术投入生产系统的过程。他们引进了美国有线电视新闻网从英语翻译成法语和从英语翻译成德语的模式。与以前的系统相比，bleu的质量分别提高了12.0%(+4.3)和14.4%(+3.4)。这些质量改进使团队看到cnn将成为一条令人兴奋的新发展之路，他们将继续努力通过使用cnn引入更多的翻译系统。

目前，机器翻译刚刚开始使用更多的翻译语境。神经网络开辟了许多与添加更多上下文相关的发展方向，以创建更好的翻译，如文章的照片。

该团队还开始探索多语言模型，可以同时翻译许多不同的语言方向。这将有助于解决微调与特定语言对相关的每个系统的挑战，并且还可以通过共享训练数据来提高某些翻译方向的质量。

对于facebook来说，从短语到神经机器翻译的过渡是一个里程碑，它代表着用他们的共同语言为每个人提供更好的facebook体验。他们还将继续推广神经机器翻译技术，目的是为facebook上的每个人提供人性化的翻译。

Viacode.facebook雷锋。技术评论汇编

雷锋文章版权所有。严禁擅自转载。详情请参考转载说明。