深度学习中的注意力机制

本课程是“火炬下的深度学习”系列课程的配套视频,详细讲解了在机器翻译任务中非常重要的“注意力机制”。(课时:30 分钟)

深度学习 PyTorch 注意力机制

讲师:   张江

课程背景

本课程是火炬上的深度学习(下)第四集:彩云小译 附加课程。主要讲解了在基于深度神经网络的机器翻译任务中,注意力机制的实现原理。

课程目的

学完本课程,你能做到

  • 了解深度学习中的注意力机制以及与注意力相关的运算原理。

课程详情

本课程的主要内容有:

  • 人类的注意力实验

  • 深度学习中的注意力机制

  • 机器翻译中的注意力机制

  • 全局注意力

  • 记忆与注意力的读取与写入

  • 自注意力与注意力的本质

  • 注意力与高阶运算