“三国鼎立”机器翻译模型最新发展

序列模型作为自然语言处理领域的一类重要模型,已经是老生常谈了,然而从2017年5月开始的Facebook与Google的论文大战,将序列模型的讨论重新引上了一个高峰!

    “三国鼎立”机器翻译模型最新发展

    课程背景:

    序列模型作为自然语言处理领域的一类重要模型,已经是老生常谈了,然而从2017年5月开始的Facebook与Google的论文大战,将序列模型的讨论重新引上了一个高峰!


    facebook-google-microsoft.jpg


    2017年5月,Facebook AI Research发布了一篇论文《Convolutional Sequence to Sequence Learning》,文中指出其“ConvS2S”模型在机器翻译任务中取得了极其出众的效果,并且仅需要很短的训练时间。看到别人家的模型已经如此优秀,AI科技大佬Google当然不干了,仅仅一个月后,Google团队就发布了另一篇论文《Attention is All You Need》,不仅宣称自己的模型“ Transformer”在机器翻译的任务中将水平提高了2 BLEU,还特别强调了其模型所需要的训练时间比Facebook的“ConvS2S”还要短!正在Facebook与Google在机器翻译任务上的角逐愈发激烈时,Microsoft也不甘示弱,推出了自己的“Neural Phrase-based“模型,声称新模型性能优越且完全抛弃了注意力机制,箭头直指Google Facebook。三家巨头互掐互撕,毫不想让,竟成了AI时代的三国鼎立之势。


    那么不管是Facebook提出的“ConvS2S“,还是Google极力推崇的将“Attention”发挥到极致的“Transformer ”,还是由微软鼓吹的反其道而行之的“Neural Phrase-based ”,这些模型凭什么能在机器翻译领域独当一面?它们都有什么特点,各有什么不同?别着急,且由来自北京师范大学的青年才俊龚力,为你细细道来。


讲师介绍
龚力

北京师范大学系统科学学院硕士研究生,彩云小译的开发者之一。研究兴趣:机器翻译、语音识别及其应用。