还记得Wasserstein GAN吗？不仅有Facebook参与，也果然被 ICML 接收 | ICML 2017

本篇文章2167字，读完约5分钟

根据雷锋的人工智能科技评论:facebook已经列出了它的9篇2017年icml论文，其中wasserstein gan是令人印象深刻的。

Icml 2017仍在悉尼如火如荼地进行着，facebook研究院今天也发表了一篇介绍其Icml论文的论文。截至2017年，Facebook共收到9篇论文。这些论文的主题包括语言建模、图像的优化和无监督学习；此外，facebook将参与组织视频游戏和机器学习研讨会。

在引发研究热潮的9篇论文中，facebook最受欢迎的是“瓦瑟斯坦生成对抗网络”(wgan)，它对整个机器学习领域产生了巨大的影响。今年，也出现了一波WGAN。

每个人都非常熟悉伊恩古德费勒提出的原始甘。对抗性训练过程为生成性问题提供了一个很好的解决方案，并在空.得到了广泛的应用此后，基于gan框架的论文陆续出现。然而，gan训练困难，训练过程难以判断，生成的样本缺乏多样性(模式崩溃)等问题还没有得到很好的解决。这篇wgan论文是由facebook和纽约大学库兰数学科学研究所的研究人员完成的，它是许多试图改进gan并解决其问题的论文中的一个里程碑。

事实上，wgan的作者花了整整两篇论文来充分表达他们的观点。在第一篇文章《走向生成高级网络的训练的原则性方法》中，推出了一组公式定理，并对原gan的问题进行了理论分析，从而给出了改进点。在第二篇文章《瓦瑟斯坦生成对抗网络》中，从这个改进点推出了一组公式定理，最后给出了改进算法的实现流程。

Wgan已经成功实现了以下爆炸点:

彻底解决了gan训练不稳定的问题，不再需要仔细平衡发生器和鉴别器的训练程度

基本解决了折叠模式问题，保证了生成样本的多样性

在训练过程中，最终会有一个值(如交叉熵和准确度)来指示训练过程。值越小，gan训练越好，生成器生成的图像质量越高(如标题图所示)

所有上述好处不需要设计良好的网络架构，最简单的多层完全连接网络就可以做到

与原gan算法相比，改进算法只改变了四点:

鉴别器的最后一层去除sigmoid

发生器和鉴别器的损失不记入日志

每次更新鉴别器参数后，将其绝对值截断到不超过固定常数c

不要使用基于动量的优化算法(包括动量和亚当)，推荐rmsprop和sgd

因此，学好数学真的很重要。只有深入分析gan的原理和存在的问题，我们才能找到有针对性的方法来改善这些问题，而最后的介绍是如此简单。(有关wgan的详细解释，请参阅雷锋的人工智能技术评论文章中令人惊叹的wasserstein gan)

《wgan》在今年1月发表后立即引起了轰动，伊恩·古德费勒也在reddit上与网友进行了热烈讨论。然而，在讨论过程中，有人报告说wgan存在训练困难、收敛速度慢等问题。wgan的一篇论文martin arjovsky也表达了他对reddit的认识，并对wgan做了进一步的改进。

改进后的论文是“瓦瑟斯坦甘斯的改进训练”。原始wgan中使用的lipschitz限制的实现方法需要截断鉴别器参数的绝对值，使其不超过固定常数C，问题就来自于此。作者的初衷是避免鉴别器给出的分数之间的差异，并使用较小的梯度来配合生成器的学习；然而，鉴别器仍然会追求最大的分数差，这将最终导致参数的最大值或最小值，浪费网络的优秀拟合能力。在改进的wgan-gp中，采用梯度惩罚代替，使得鉴别器参数能够学习到合理的参数值，显著提高了训练速度，解决了原wgan收敛速度慢的问题，并在实验中首次成功实现了"纯"文本gan训练。(有关wgan-gp的详细说明，请参阅wasserstein gan，他的ai科技评论文章《雷锋》。最近取得了什么研究进展？(

facebook在2017年收到的另外八篇论文。其他八篇论文如下。欢迎有兴趣的读者下载和阅读。

高维降方差随机梯度期望最大化算法

proceedings.mlr.press/v70/zhu17a/zhu17a.pdf

双层relu网络的种群梯度解析公式及其在收敛性和临界点分析中的应用

作者田元东

arxiv/abs/1703.00560v2

卷积序列到序列学习

proceedings.mlr.press/v70/gehring17a/gehring17a.pdf

GPU的有效软最大逼近

proceedings.mlr.press/v70/grave17a/grave17a.pdf

高维稀疏输出的梯度增强决策树

proceedings.mlr.press/v70/si17a/si17a.pdf

门控卷积网络的语言建模

proceedings.mlr.press/v70/dauphin17a/dauphin17a.pdf

parseval网络:提高对抗示例的健壮性

proceedings.mlr.press/v70/cisse17a/cisse17a.pdf

预测噪声的无监督学习

proceedings.mlr.press/v70/bojanowski17a/bojanowski17a.pdf

雷锋。(公开号码:雷锋。ai科技评论大会将继续带来更多精彩的论文和现场演讲。请继续注意。

相关文章:

神奇的瓦瑟斯坦甘

瓦瑟斯坦近年来取得了哪些研究进展？

雷锋原创文章。严禁擅自转载。详情请参考转载说明。