深度学习理论研究已进入瓶颈期？看看李飞飞们怎么说

本篇文章2304字，读完约6分钟

艾圈推特红人，克拉斯框架弗兰的作者？Ois chollet又成了大新闻！弗兰最近怎么样？Ois chollet在推特上写道:“深度学习研究已经进入瓶颈期。应用深度学习来解决现实生活中的问题正迎来一场大爆发。”

这条推文很快获得了数千条赞、数百条转发和一系列热烈的讨论。从回复中，很多被调查者(尤其是业内人士)认为“深度学习进入平台期”的提法值得商榷，雷选择了其中几个:

亚当·凯莱赫，buzzfeed首席数据科学家，哥伦比亚大学客座助理教授:

这可能只是社交网络造成的样本偏见吗？

machinebox创始人大卫·赫尔南德斯:

在我看来，“实际问题”的应用仍然非常有限。我和许多人交谈过，他们经常做三种类型的应用之一:聊天机器人、欺诈检测或推荐。

爱丁堡大学和艾伦·图灵学院助理教授查尔斯·萨顿研究员？：

我们能讨论一下整个深度学习的繁荣时代是否已经到来吗？

谷歌研究研究员大卫·贝特洛:

我想如果你写一篇龙的文章来解释为什么你认为深度学习已经进入了一个平台期，那对我和其他读者来说会更有启发。

卡雷尔建筑公司大数据首席调查员费赞·贾韦德:

加强学习不是一个新的热点吗？

斯坦福大学负责谷歌云机器学习的副教授李菲菲同意弗兰的观点？Ois chollet的观点，但也表示深度学习仍有很长的路要走:

同意。大浪冲走了沙子，最后历史上只留下了几件工具；学习没有止境，在智力、人力、机械和设备方面还有很长的路要走。

那么其他人怎么想呢？雷锋。com就深度学习的理论研究进展和实际应用趋势咨询了一些专家:

微软亚洲研究院首席研究员郑宇(JUNG WOO)表示，深度学习爆发的瓶颈在于人工智能技术与传统产业的联系:

我部分同意这个观点。目前，数据、技术和基础设施确实已经成熟，这将带来未来应用的爆炸式增长。然而，爆炸的瓶颈可能不在于技术本身，而在于人工智能技术与传统产业的对接。人工智能的未来不在于it行业，而在于人工智能与交通、规划、能源、环境、物流、制造和金融等传统行业的融合。人工智能从业者需要学习传统行业的知识，理解传统业务的逻辑和难点，并知道如何用传统行业的语言与行业专家交流。有必要帮助创新传统产业，尊重传统产业，这就要求数据科学家具有强大的综合实力。这类复合型人才的培养难度大，周期长，批量生产不易，这可能成为制约ai爆发的真正瓶颈。

零点机器人(Horizon Robot)创始人、百度研究院前副院长余凯告诉雷锋，深度学习理论研究的主流架构将会趋同，很难有革命性的理论突破:

我基本上同意这个观点。未来的学术研究将继续基于当前的研究，但它不会是革命性的，每个人的主流架构将会趋同，因此后续的重点是在各种具体应用场景中部署深层神经网络。

密苏里科技大学副教授傅用php框架编程来比较这一波深度学习:

我基本上同意这两种观点。与web系统类似，php在那个时代变得流行起来，因为许多人用php编程语言设计了许多基于mvc设计模式的web编程框架。目前，有很多用于深度学习的编程框架，如张量流、antano、keras、torch等。这些框架使得深度学习更容易使用，并且编程工作量更小，出错的可能性更低。因此，深度学习确实进入了一个平台时期。

结合数据挖掘的研究思路，深度学习使用层次学习模型来研究研究对象的表示，相当于使用隐式方法来完成表示步骤。因此，可以将深度学习融入到感知-表征-建模-应用的思想中，这是一种非常实用的解决问题的方法。

华为诺亚方舟实验室的研究员李振国认为，理论往往先于应用。计算能力的提高和大数据的出现证实了以前算法和理论的有效性:

我同意他的观点。这不是理论上的突破，但由于计算能力的提高和大数据的出现，算法的有效性得到了验证。应用将永远是机器学习的焦点，而理论和可解释性将永远被探索。除了gan，深层元学习也值得关注。

密歇根州立大学助理教授唐认为，深度学习工程的门槛越来越低，理论的门槛越来越高:

深度学习是两极分化的。大多数、甚至越来越多的深度学习者倾向于工程学。包括建立一个更加全面、方便、快捷甚至可视化的深度学习平台，并将深度学习应用到更多的领域。少数深度学习研究者倾向于理论化:解决深度学习的理论瓶颈包括可解释性等。一个新的趋势是工程的门槛越来越低，而理论的门槛越来越高。所以我基本上同意他的观点，但我们也期待着在理论深度学习上的突破。

中国科学院自动化研究所的副研究员张佳俊认为，深度学习还没有真正得到大规模的爆炸性应用:

我没有深入研究过深层次学习的理论，所以我不能判断理论研究的趋势。然而，就应用而言，很明显，深度学习还没有真正成功地大规模应用。我认为在各种实际应用问题中爆发应该是一种趋势。在应用方面，关键是要了解具体应用领域的数据、场景和背景知识，选择合适的深度学习方法，而不是盲目使用。

结论雷锋。(公开号码:雷锋。com)认为，从历史发展来看，深度学习领域的经典算法和理论已经提出了一段时间，并且随着计算能力和数据规模的发展，这些经典理论和算法已经逐渐得到验证。如果说深度学习的问题和挑战，以及解决问题的思路都发展得比较好，那么说深度学习“进入平台期”也不无道理。但是从另一个角度来看，进入“平台期”可能是一些需要深入学习的经典问题，但是如果我们继续深入研究这些经典问题，我们也许能够找到我们以前没有想到的解决方案(例如，在imagenet图像识别中，大多数人不应该在alex krizhevsky使用gpu之前想到alexnet来大大提高效果)。正如李菲菲所说，学习没有尽头，深入学习还有很长的路要走。

雷锋原创文章。严禁擅自转载。详情请参考转载说明。