ICML 上有19场 DeepMind的论文演讲，多到看不过来了 | ICML 2017

本篇文章2747字，读完约7分钟

雷科技评论出版社:2017年国际分子生物学大会即将在悉尼召开。每年年底举行的ICML(国际机器学习会议)和NIPS(神经信息处理系统会议)是在机器学习和人工智能研究领域具有较高影响力的两大会议。此外，上半年举行的ICLR(学习代表国际会议)也有落后的趋势。

icml 2017的会议时间是从8月6日到8月11日，悉尼和北京的时差只有两个小时，所以很快就会到了。事实上，icml 2017收到的论文列表早在5月就已经公布了，但是deepmind仍然想提醒参与者注意他们的论文，所以今天，他们的研究博客上发布了一个论文和演讲的列表。

这份名单上有19篇论文，即19篇论文和演讲。事实上，deepmind最初在这个icml中包含了多达25篇论文。19篇论文的列表太长了，以至于deepmind把列表分成了3篇。

论文太多了，雷技术评论在这里将简要介绍其中的三篇。

夏普最小值中的夏普最小值可以推广为深度网深度神经网络也可以使模型具有推广能力

作者:Laurent Dinh(蒙特利尔大学)，Razvan Pascanu，Samy Bengio(谷歌大脑)，Yoshua Bengio(蒙特利尔大学)

简介:虽然深度学习架构的过拟合能力有点强，但是它们对新数据的泛化能力比较好，所以可以用来解决一些实际问题。然而，解释这种情况背后的机制仍然是一个未决问题。近年来，越来越多的人关注一个假设，即基于随机梯度寻找损失函数的最小值，其光滑度越高，模型的泛化性能越高。本文认为，大多数关于光滑性的观点都不适用于深层神经网络，也不能直接用来解释泛化。如果我们详细讨论具有激活函数的深层神经网络，我们可以得到这些网络结构的参数空之间的特定几何结构，并使用这些几何结构来建立等效于任何更尖锐的最小值的模型。此外，如果允许一个函数重新参数化，它的参数化几何可以发生很大变化，但它的泛化性能不受影响。

论文地址:arxiv/ABS/1703.0400。

论文演讲:8月7日星期一，11: 06-11: 24 @ c4.8。

海报地址:8月8日，星期二，18: 30-22: 00 @画廊# 3

通过梯度下降学习无梯度下降学习一个可以无梯度下降学习的模型

作者:陈玉田、马修·霍夫曼、塞尔吉奥·戈麦斯、米沙·德尼尔、蒂莫西·莉莉拉普、马修·博特维克、南多·德·弗雷塔斯(均为deepmind英国团队成员)

简介:借助梯度下降法，我们可以用简单的母函数来训练和学习循环神经网络优化器。结果表明，这些学习优化器具有很高的迁移能力，可以有效地优化多种不可微的“黑盒”函数，包括班迪特环境下的高斯过程、简单控制对象、全局优化基准和超参数调整任务。在训练层次上，学习优化器可以学习在应用和探索之间找到平衡，并根据自己的偏好在高度工程化的贝叶斯优化方法集中选择适合超参数调整的方法。

论文地址:arxiv/ABS/16821 . 382800000005

论文发表时间:8月7日，星期一，17: 15-17: 33 @达令港剧院

海报地址:8月8日，星期二，18: 30-22: 00 @画廊# 6

雷锋。(公开号码:雷锋。注:这篇论文的名字很有特色，而且论文也是中文的。我们已经特别关注前面的记者，请期待我们的好消息

使用wavenet自动编码器的音符的神经音频合成使用wavenet自动编码器的神经网络来生成音乐

作者:桑德·迪·莱曼，凯伦·西蒙扬，杰西·恩格尔(谷歌大脑)，CIN·乔恩·雷斯尼克(谷歌大脑)，Adam Roberts(谷歌大脑)，道格拉斯·埃克(谷歌大脑)，穆罕默德·诺鲁齐(谷歌大脑)

简介:在算法进步和高质量图像数据集的帮助下，可视化生成模型发展迅速。本文在音频领域对这两个因素做出了贡献，使音频模型也能有更大的发展。首先，作者详细介绍了一种高级的新的波形网式自动编码器模型，它对应于一个能够从原始音频波形中学习临时编码的自返回解码器。其次，作者介绍了大规模高质量的音乐数据集nsynth，它比现有的公共数据集大一个数量级。在nsynth的帮助下，本文表明，与一个完善的、优化的频谱自动编码器基准模型相比，wavenet自动编码器在数量和质量上都有所提高。最后，论文表明该模型可以学习多种嵌入方式，从而可以在乐器之间进行变换，在音色上进行有意义的插值，创造出真实感人的新型声音。

地址:arxiv/ABS/1704.01277

论文演讲:8月8日，星期二，14: 42-15: 00 @ Parkside 1

海报地址:8月8日，星期二，18:30-22:00 @ 98 #画廊

其他16篇演讲论文

使用合成梯度的解耦神经接口

arxiv/abs/1608.05343

并行多尺度自回归密度估计

arxiv/abs/1703.03664

理解合成梯度和解耦神经界面

arxiv/abs/1703.00522

强化学习的极大极小后悔界限

arxiv/abs/1703.05449

视频像素网络

arxiv/abs/1610.00527

为什么后验抽样比乐观主义更适合强化学习？

arxiv/abs/1607.00215

darla:改善强化学习中的零触发迁移

arxiv/abs/1707.08475

神经网络的自动化课程学习

arxiv/abs/1704.03003

强化学习的分布视角

arxiv/abs/1707.06887

强化学习中选项发现的拉普拉斯框架

proceedings.mlr.press/v70/machado17a/machado17a.pdf

深层神经网络的认知心理学:形状偏差案例研究

arxiv/pdf/1706.08606.pdf

基于计数的神经密度模型探索

arxiv/abs/1703.01310

预测:端到端的学习和计划

arxiv/abs/1612.08810

等级强化学习的封建网络

arxiv/abs/1703.01161

神经情景控制

arxiv/pdf/1703.01988.pdf

神经信息传递学习量子化学

arxiv/abs/1704.01212

对最后16篇论文的演讲时间和海报位置感兴趣的读者可以访问deepmind的原始博客进行具体查看。这是三篇论文列表中第一篇论文的地址，在论文的末尾有另外两篇论文的链接。

无法访问icml 2017的读者可以先阅读上述论文，并期待我们的会议相关报告；如果你能去现场，我会在雷锋的人工智能技术回顾后在现场看到你！

相关文章:

刘铁燕的icml论文提出了一种新的机器学习范式:双重监督学习

科技公司争相进入icml 2017，占论文的1/4，谷歌独占6.3%

雷锋文章版权所有。严禁擅自转载。详情请参考转载说明。