使用Cycle-GAN进行图到图的翻译

今天我们要讲的是GAN的一个非常有趣的应用“图到图的翻译”。它可以将你的照片变成日本的浮世绘风格,也可以将你的随手几笔涂鸦变成一只活灵活现的小猫,甚至将苹果变成西瓜,将骏马变成斑马。传统上实现GAN的这种功能挺麻烦的,因为需要大量的配对图片来训练,然而也有例外,那就是我们今天要讲的CycleGAN。

讲师:   楼晓丹

使用Cycle-GAN进行图到图的翻译

课程背景:

你知道吗?在深度学习领域,有两种非常有趣的关于图片转化的应用。一种可以实现图片到图片的风格转换,可以将你的照片转化成犹如梵高的油画一般。另一种可以实现图到图的抽象转换,比如你随手勾勒出一只猫的简笔画,系统就可以在你的简笔画中画出一只“真正的”猫出来。这种从图片生成转化图片的过程可以理解为“图到图的翻译”。

今天我们要讲的主题就是“图到图的翻译”。一般来说,如果我们要训练一个能将“简笔画”转化成“猫照片”的模型,那肯定需要大量的“简笔画”与“猫照片”的配对图片。这样模型才能学习到将“简笔画”翻译成“猫照片”过程中的模式。这里有个问题,大量的配对图片可不好获得,不管是使用工具生成还是人工标注,都会产生很大的工作量。

这时候CycleGAN应运而生,它不需要“配对图片数据”的训练,也能将“图到图的翻译”完成的非常棒,且转换效果比传统模型更加优秀。究竟是什么原因使CycleGAN有如此优秀的特性?Cycle的原理是什么?它是怎么完成训练的?且看来自北师大的美女博士楼晓丹为你娓娓道来。

课程资料:

课程讲稿:

    购买课程后可见

参考文献:

unpaired image-to-image translation using cycle-consistent adversarial networks.pdf


课程大纲:

一、图像的风格转换

    1.莫奈再生?1873年的塞纳河畔

    2.风格转换——图到图的翻译

二、具有图到图翻译功能的几种GAN

    1.条件GAN(Conditional Adversarial Networks)

    2.PatchGAN

三、使用非配对图片完成图到图翻译

    1.CoGAN(Coupled generative adversarial networks)

    2.CycleGAN

四、强大的CycleGAN

    1.CycleGAN的模型结构

    2.优化目标

    3.CycleGAN在模型结构上的改进

    4.性能优异的CycleGAN

    5.CycleGAN的应用展示




讲师介绍
楼晓丹

2013年毕业于西北农林科技大学,获学士学位。现北京师范大学系统科学学院博士生在读。研究兴趣:集中在社会计算科学,包括集体注意力等人类行为分析以及信息传播过程。目前研究基于图信号处理的网络预测问题。