重磅| Geffory Hinton：深度学习进入平台期？不，深度学习需要的是“推倒重来”

本篇文章2000字，读完约5分钟

一周前弗兰写的？Ois chollet在twitter上发起了关于“深度学习是否已经进入平台时代”的讨论，因为伟大的上帝geffory hinton的参与达到了顶峰。

辛顿:深度学习可能需要“重新发明轮子”。据科技媒体axios报道，辛顿上周三在多伦多举行的人工智能会议上表示，他对反向传播算法“深感怀疑”。该算法是训练人工神经网络的常用方法，它计算网络中所有权值的损失函数的梯度。该梯度将被反馈到优化方法以更新权重，从而最小化损失函数。值得一提的是，辛顿本人是反向传播算法的早期支持者。1986年，韩丁在一篇论文中首次将反向传播算法引入多层神经网络训练。

尽管在这次会议上，许多与会的科学家说反向传播在人工智能的未来仍然处于核心地位，但辛顿的讲话是最后的:可能会有一种新的方法被引入。韩丁在现场引用了普朗克的名言:“马克斯·普朗克曾经说过:‘科学的道路没有被打破’未来取决于那些对我所说的一切持怀疑态度的研究生。他还说，如果深层神经网络变得更聪明，也就是说，过渡到无监督的学习，“这可能意味着完全放弃反向传播。”

这一观点在推特上被广泛讨论，并被佩德罗·多明戈斯、李菲菲和其他许多人转发。在李菲菲转发的推特上，雷锋。com注意到，几天前,“很少有工具能让生命永恒”已经悄然变成了“没有工具是永恒的”,韩丁的想法震惊了人工智能研究人员。

众所周知，韩丁2006年在《科学》杂志上发表的论文《深层信念网络》开启了深层神经网络的新时代。十多年来，基于韩丁和许多先驱者提出的深度学习概念框架，深度学习在监督学习方面取得了一些突破，但同时也暴露出一定的技术局限性，如数据需求大、环境适应性弱、可解释性差、性能差异大、数据共享困难等。许多研究者认为，人工智能的下一步发展需要在无监督学习领域取得进一步突破。

如何打破游戏？辛顿提出了胶囊

辛顿最近重新思考并改进了胶囊的概念，这是他在2011年的论文《改造自动编码器》中提出的。关于胶囊的最新论文“胶囊间的动态路径”已被nips 2017接受，该论文目前尚未正式发表。然而，我们仍然可以从谷歌研究博客上发表的论文摘要和部分提到胶囊的幻灯片中了解到辛顿对胶囊的想法。雷锋的摘录如下:

胶囊是一组神经元，其活动向量的向量方向和方向分别表示物化程度和实例参数。同级活性胶囊可以通过矩阵变换预测上级胶囊物化参数。当多个预测一致时，高层胶囊将更加活跃。在本文中，我们证明了用于判别训练的多层胶囊系统在mnist数据集中是完美的，并且其性能优于具有高度重叠数的卷积网络。为了实现这个目标，我们尝试使用迭代路由协议机制，也就是说，低级胶囊倾向于将预测结果发送到高级胶囊，从而高级胶囊的活动向量具有大的标量积。论文的最终版本正在修订中，将包括评审者的意见。

换句话说，capsule试图在神经网络内形成并抽象地创建子网络，也就是说，如果你观察一个标准的神经网络，各层是完全相连的(也就是说，第1层中的每个神经元可以访问第0层中的每个神经元，第2层中的每个神经元都可以访问它，以此类推)，并且这种更复杂的图形拓扑似乎在提高生成的网络的有效性和可解释性方面更有效。本文提到的动态路由就是形成一种机制，使网络能够将适合某一层胶囊的内容路由到相应的胶囊进行处理，从而形成一定的推理链。

(关于胶囊理论的更多信息，请参考雷锋的前一篇文章。(公开号码:雷锋。):“韩丁亲自解释了迄今未发表的工作:胶囊理论的核心概念是什么？】

你觉得胶囊怎么样？在智虎的这个问题下，获得最高评价的思怡这样回答:

首先，这项工作成功或失败是正常的。即使胶囊真的会成为未来的趋势，韩丁也可能不会这么快找到正确的训练算法；即使韩丁找到了正确的训练算法，也没有人能保证当胶囊的数量少于人脑中的微型柱的数量时，它能达到人类的识别率(此外，尽管cnn现在有很多问题，但识别率已经超过了人类)。

根据目前公开的信息，胶囊的概念将更加仿生，能够更好地模拟人脑神经元之间复杂的连接结构，但这一框架的具体数学描述还需要进一步研究。

雷认为，近年来，深度学习得到了广泛的应用，而深度学习工程的门槛也逐渐降低。因此，许多学术会议开始出现“我不好意思向没有深入学习的人打招呼”的现象。在这种环境下，除了深度学习，许多研究者也在探索其他理论研究。辛顿认为“深度学习需要重新发明，可能需要放弃反向传播”,这更有启发性，也更能激发灵感。

值得一提的是，国内许多学者已经在这一领域走在了前列。例如，南京大学的周志华教授今年早些时候发表了一篇关于多层随机森林的论文，题目是“深层森林:向深层神经网络的替代物发展”，它用于深度学习，不需要反向传播；去年，周志华教授还针对当前深度学习的技术局限性提出了一个“学习件”解决方案。在这场反思深度学习的浪潮中，我们也期待更多的国内学者做出更多的突破。

雷锋原创文章。严禁擅自转载。详情请参考转载说明。