GANImation——GAN专题论文研读

本课程主要介绍了使用标注好的AU图像,结合注意力机制,一种新的GAN条件生成方法。(课时:35 分钟)

GAN 注意力 注意力机制 GANimation Action Unit

讲师:   杨双

课程资料

报名后可见。

专题研读paper list

专题研读paper list

课程背景

本系列课程——GAN专题论文研读涉及>30篇经典论文;每个经典模型均会有代码复现与分析讲解;覆盖范围广泛,包括:

  • 原理介绍&代码实训!
  • 理论基础&实际应用!
  • 计算机视觉&文本处理!
  • 机器学习顶会&CV顶会!
  • 2014的提出之初 → 2018的当下最新!

从GAN的诞生之初讲起,全方位覆盖,介绍每个类别的代表性论文,复现经典模型,跟大家一起逐步梳理清楚GAN的发展脉络!

在人脸表情生成任务中,GAN模型表现极好。其中最成功的框架是StarGAN,而其缺点在于只能产生一系列与所用数据集相关的离散的表情,而无法精细控制。

本课程讲解的论文尝试用一种新的GAN条件生成策略,利用标注好的AU单元,来产生出可以控制每个AU幅度的图像。同时,也提出一种完全无监督的学习策略,只需要用标注好 AU的图像,结合注意机制,就可以产生出对光照和背景鲁棒的图像。

适用人群

本课程适用于对深度学习及其在计算机视觉领域的应用等内容感兴趣的高校学生或者工程技术人员。

课程详情

本课程的主要内容有:

  • 论文的主要贡献:
    • 可以控制到每个AU(action unit)的幅度,而不只是离散的集中表情
    • 引入注意力机制,增强鲁棒性
  • 模型的整体框架
    • 生成器结构
    • 判别器结构
    • 损失函数
    • 具体实现

课程目标

学完本课程,你能做到:

  1. 理解如何控制生成图片的每个AU幅度
  2. 理解注意力机制的引入方法,以及优势
  3. 学习模型的整体设计框架

参考论文

1. [GAN,ECCV]Albert Pumarola, Antonio Agudo, Aleix M. Martinez, Alberto Sanfeliu, Francesc Moreno-Noguer. GANimation: Anatomically-aware Facial Animation from a Single Image (ECCV2018)