PATHNET: 大规模迁移学习技术

近日,一直研究成果不断的 DeepMind 又在 arXiv 上发布了一篇也许向这个方向迈进了一步的新论文,该论文提出了一种 PathNet,宣称能够实现某种巨型神经网络,并结合遗传算法技术实现大规模的迁移学习。

讲师:   文雷

PATHNET: 大规模迁移学习技术

课程背景:

通用人工智能(articial general intelligence/AGI)至今看起来仍然是一个遥不可及的技术圣杯。迁移学习则是实现它的重要一环,它可以把在A任务上学习到的本领迁移到B领域中去。但是,如何进行大规模迁移学习仍然是未解决的问题。近日,一直研究成果不断的 DeepMind 又在 arXiv 上发布了一篇也许向这个方向迈进了一步的新论文,该论文提出了一种 PathNet,宣称能够实现某种巨型神经网络(giant neural network),并结合遗传算法技术实现大规模的迁移学习。

这种巨型神经网络允许参数复用,并且不会遗忘太多东西,如果多个用户训练同一个巨型神经网络,那么这对通用人工智能而言将是高效的。PathNet 是在这个方向上迈出的第一步。

那么PathNet巨型神经网络的构架是怎样的?如何对它进行训练?它在监督学习的分类任务中表现如何?它又是怎样应用在增强学习任务中的?你将在本节课程中找到答案。

课程大纲:

1.什么是PATHNET?它是如何进行训练的?

2.PATHNET的构架

3.PATHNET在有监督学习领域的应用:

       在二分类问题、MINIST、Cifar & SVHN分类应用的效果表现

4.PATHNET与A3C构架结合在增强学习任务下的表现:

       ATARI & LABYRINTH 游戏效果演示

       结果分析对比


讲师介绍
文雷

北京师范大学系统科学学院研究生 研究方向:复杂网络及深度学习技术在经济系统中的应用