谷歌开源神经机器翻译技术推出TF SEQ2SEQ框架

陈桦 编译自 Google官方博客

量子位 报道 | 公众号 QbitAI

谷歌研究软件工程师、谷歌大脑团队成员Anna Goldie和Denny Britz今天撰文,宣布在“谷歌神经机器翻译”的基础上推出开源框架tf-seq2seq,给外部研究人员提供帮助。

tf-seq2seq相关链接

项目介绍:https://google.Github.io/seq2seq/

GitHub:https://github.com/google/seq2seq

以下是Google官方博客上发布的全文:

去年,我们宣布了“谷歌神经机器翻译”(GNMT)项目,这是一种“语句到语句”(seq2seq)模型,目前已被用在谷歌翻译系统中。尽管GNMT在翻译质量方面取得了长足进步,但由于模型的训练框架没有被开放给外部研究人员,因此其影响力存在局限。

今天,我们很高兴发布tf-seq2seq。这是TensorFlow内开源的语句到语句框架,帮助外部人士更方便地试验语句到语句模型,并取得最先进水平的成果。为了实现这一目标,我们会确保tf-seq2seq的代码库干净、模块化,确保完整的测试覆盖,并在文档中记录所有功能。

我们的框架支持标准语句到语句模型的不同配置,例如编解码深度,注意力机制、RNN元素类型,或束尺寸。正如我们的论文《神经机器翻译架构的大规模探索》(https://arxiv.org/pdf/1703.03906.pdf)中所说,这样的灵活性帮助我们发现优化的超参数,并能够胜过其他框架。

语句到语句模型能进行中英文之间的翻译。在每一步中,编码器获取一个中文字符及其之前的状态(黑色箭头),并生成一个输出向量(蓝色箭头)。解码器随后逐个单词地生成英文翻译结果。每一步都会获取最后一个单词、之前的状态,以及对编码器所有输出结果的加权合并,随后生成下一英文单词。请注意,在我们的配置中,我们使用公共字子单元(Wordpieces)来处理罕见字。

除机器翻译之外,tf-seq2seq还可应用于其他任何语句到语句任务(例如学会根据给定的输入语句生成输出语句),包括机器归纳,图片标识、语音识别,以及会话建模。我们的对框架的设计确保了通用性,并提供了教程、预处理数据,以及用于机器翻译的其他工具。

我们希望,tf-seq2seq能帮助你们加速(或启动)自己的深度学习研究,这个系统的Github页面上还有多个开放的问题,欢迎你们提供帮助,为其做出贡献。

今天AI界还有哪些事值得关注?在量子位(QbitAI)公众号会话界面回复“今天”,看我们全网搜罗的AI行业和研究动态。笔芯❤~

另外,欢迎加量子位小助手的微信:qbitbot,如果你研究或者从事AI领域,小助手会把你带入量子位的交流群里。

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注

此站点使用Akismet来减少垃圾评论。了解我们如何处理您的评论数据