使用Cycle-GAN进行图到图的翻译

本课程将围绕CycleGAN介绍生成式对抗网络中一个非常有趣的应用“图到图的翻译”。它不依赖配对数据,而且不仅可以实现图片的风格转换,还能实现图片中“实体的转换”。(课时:45 分钟)

GAN CycleGAN 深度学习 图像生成 图像翻译

讲师:   楼晓丹

课程资料

  • 讲稿下载:(报名后可见)

  • 参考文献:(报名后可见)

课程背景

你知道吗?在深度学习领域,有两种非常有趣的关于图片转化的应用。一种可以实现图片到图片的风格转换,可以将你的照片转化成犹如梵高的油画一般。另一种可以实现图到图的抽象转换,比如你随手勾勒出一只猫的简笔画,系统就可以在你的简笔画中画出一只“真正的”猫出来。这种从图片生成转化图片的过程可以理解为“图到图的翻译”。

今天我们要讲的主题就是“图到图的翻译”。一般来说,如果我们要训练一个能将“简笔画”转化成“猫照片”的模型,那肯定需要大量的“简笔画”与“猫照片”的配对图片。这样模型才能学习到将“简笔画”翻译成“猫照片”过程中的模式。这里有个问题,大量的配对图片可不好获得,不管是使用工具生成还是人工标注,都会产生很大的工作量。

这时候CycleGAN应运而生,它不需要“配对图片数据”的训练,也能将“图到图的翻译”完成的非常棒,且转换效果比传统模型更加优秀。究竟是什么原因使CycleGAN有如此优秀的特性?Cycle的原理是什么?它是怎么完成训练的?且看来自北师大的美女博士楼晓丹为你娓娓道来。

课程目的

学完本课程,你能做到

  • 了解使用“配对数据”训练的多种 GAN 的原理与效果

  • 了解使用 GAN 做风格转换的不同点

  • 熟悉多种 GAN 的结构原理

课程详情

本讲的主要内容有:

  • 图像的风格转换

    • 莫奈再生?1873年的塞纳河畔

    • 风格转换——图到图的翻译

  • 具有图到图翻译功能的几种GAN

    • 条件GAN(Conditional Adversarial Networks)

    • PatchGAN

  • 使用非配对图片完成图到图翻译

    • CoGAN(Coupled generative adversarial networks)

    • CycleGAN

  • 强大的CycleGAN

    • CycleGAN的模型结构

    • 优化目标

    • CycleGAN在模型结构上的改进

    • 性能优异的CycleGAN

    • CycleGAN的应用展示