深度学习中的注意力机制

本课程是“火炬上的深度学习”系列课程的配套视频,详细讲解了在机器翻译任务中非常重要的“注意力机制”。(课时:30 分钟)

讲师:   张江

课程背景

本课程是火炬上的深度学习(下)第四集:彩云小译 附加课程。主要讲解了在基于深度神经网络的机器翻译任务中,注意力机制的实现原理。

课程目的

学完本课程,你能做到

  • 了解深度学习中的注意力机制以及与注意力相关的运算原理。

课程详情

本课程的主要内容有:

  • 人类的注意力实验

  • 深度学习中的注意力机制

  • 机器翻译中的注意力机制

  • 全局注意力

  • 记忆与注意力的读取与写入

  • 自注意力与注意力的本质

  • 注意力与高阶运算


讲师介绍
张江

北京师范大学系统科学学院教授,博士生导师,集智俱乐部、集智AI学园创始人,集智科学家,阿里研究院、腾讯研究院、网络智库专家,人工智能研究者与布道者。主要讲授课程:人工智能、复杂性思维、计算机建模与模拟、Matlab基础及其应用。主要从事的研究领域包括:复杂系统建模、计算社会科学等。曾发表学术论文数十篇,访问过圣塔菲研究所、密西根复杂系统中心等知名国外大学。曾带领集智俱乐部写作、出版书籍:《科学的极致——漫谈人工智能》,《走近2050——注意力、互联网与人工智能》。