“三国鼎立”机器翻译模型最新发展

本课程主要讲解ConvS2S、Transformer MT、Neural Pharse-based MT三种机器翻译模型的特点与原理。起源是2017年谷歌、微软、脸书三家研究机构在机器翻译任务上的模型大战。(课时:13分钟)

    课程资料

    • 课程讲稿:(报名后可见)

    • 相关论文:(报名后可见)

    课程背景

    序列模型作为自然语言处理领域的一类重要模型,已经是老生常谈了,然而从2017年5月开始的Facebook与Google的论文大战,将序列模型的讨论重新引上了一个高峰!

    2017年5月,Facebook AI Research发布了一篇论文《Convolutional Sequence to Sequence Learning》,文中指出其“ConvS2S”模型在机器翻译任务中取得了极其出众的效果,并且仅需要很短的训练时间。看到别人家的模型已经如此优秀,AI科技大佬Google当然不干了,仅仅一个月后,Google团队就发布了另一篇论文《Attention is All You Need》,不仅宣称自己的模型“ Transformer”在机器翻译的任务中将水平提高了2 BLEU,还特别强调了其模型所需要的训练时间比Facebook的“ConvS2S”还要短!正在Facebook与Google在机器翻译任务上的角逐愈发激烈时,Microsoft也不甘示弱,推出了自己的“Neural Phrase-based“模型,声称新模型性能优越且完全抛弃了注意力机制,箭头直指Google Facebook。三家巨头互掐互撕,毫不想让,竟成了AI时代的三国鼎立之势。


    那么不管是Facebook提出的“ConvS2S“,还是Google极力推崇的将“Attention”发挥到极致的“Transformer ”,还是由微软鼓吹的反其道而行之的“Neural Phrase-based ”,这些模型凭什么能在机器翻译领域独当一面?它们都有什么特点,各有什么不同?别着急,且由来自北京师范大学的青年才俊龚力,为你细细道来。

    课程目的

    学完本课程,你能做到

    • 了解在 Facebook、Microsoft、Google 三家巨头间爆发的序列模型大战的原委

    • 了解来自三家巨头的 ConvS2S、Transformer MT、Neural Phrase-based MT 模型的结构、原理、优势在哪里

    课程详情

    本课程的主要内容有:

    • Seq2Seq模型与 “RNN Attention Based MT”简介

    • ConvS2S  模型详解

    • Transformer MT 模型分析

    • Neural Phrase-based MT 模型

    • 序列模型最新进展讨论 


讲师介绍
龚力

北京师范大学系统科学学院硕士研究生,彩云小译的开发者之一。研究兴趣:机器翻译、语音识别及其应用。