360副总裁颜水成教授:深度学习的研发目标及1×1的卷积的功能 | CCF-GAIR 2017

本篇文章1656字，读完约4分钟

7月7日，由雷主办的第二届中国国际合作论坛-全球人工智能与机器人峰会在深圳如期开幕。奇虎360副总裁兼首席科学家、ieee和iapr研究员严水成教授发表了题为“精度极限与用户体验”的演讲。这是今天的最后一次演讲。

深度学习研究和开发的两个不同目标:

追求极高的精确度。

针对一个特定的问题，我们将探索新的算法。例如，我们可以设计更好的模型结构，我们可以使用更大更快的模型，我们也可以使用更多的模型进行融合。另一方面，我们也会考虑使用更好的培训平台和更多的资源来实现更多的培训。更重要的是如何在训练中利用大量的数据，例如，利用预测学习来实现训练。在您很好地训练模型之后，您可以通过加强学习来提高模型的性能。

追求产品体验。

人工智能不是一种产品，它必须与特定的场景相结合才能有其内在价值。核心算法只是其中的一部分。最好的方法是算法形成一个闭环。首先，训练初始模型，然后在特定场景中找到一些数据来提高模型的准确性。然后，在场景中使用模型，不断迭代，最终在场景中获得最佳体验。此时，算法科学家和产品工程师的结合可能会使不完美的算法产生完美的用户体验。一个明显的例子是蒙眼算法。

结合这两个目标的示例:

对象分割，在2016年之前，每个人都认为分类和检测可以很好地应用于工业，但从来没有人认为对象分割已经达到可用阶段。我的研究小组已经做了大量的研究工作，给出一个图像，并输出每个板块是什么。我们花了两年时间将其性能从44%提高到86%，并且在其他细分领域也取得了许多成就。这时，业界开始认为很多应用场景可以真正从这种分割技术中受益，于是很多人开始思考如何发酵模型，以及一些有限场景的性能能否满足产品化的需要。

比如从今年开始，米托秀秀可以把人的头发和脸分开，可以产生很好的可爱脸的效果，而360提供人体分割的效果，可以把人从自拍的照片中实时分离出来，叠加到动态场景中，产生很多有趣又漂亮的效果。这是一个典型的例子，因为对精度的追求达到了一定的极限，这刺激了新产品形式的设计。

1×1卷积概念

我们有很多图片，比如，在一个3×3的空，在不同的位置做内积，然后得到内积的结果。在空场中，它从3×3变为1×1，内积在一个位置上完成，成为1×1卷积。

纯内积不能很好地模拟人类神经元的工作模式，1×1卷积可以用更复杂的网络结构代替。当这个复杂结构是多层感知器时，对应于这些正向操作，它对应于1×1卷积。这个1×1卷积与先前的3×3和5×5卷积叠加，这将产生非常复杂的抽象过程。这种1×1卷积模型的参数可以很快降低到非常低的水平，这为我们将深度学习移植到云中提供了可能性。

1×1卷积函数

利用1×1卷积，可以实现更复杂的网络结构，但其计算复杂度将进一步降低

它的思路很简单。例如，如果任何卷积用完了，你会发现它的输出在大约40%或更多的位置是0。如果这个位置的输出是0，那么它是负10、负100还是0就不那么重要了。如果可以估计0的数目，则不需要计算特定的卷积。例如，如果有一个3×3的卷积，在下面添加一个相应的1×1的卷积。relu完成后，我们将做点乘法。只要1×1卷积的输出是0，上面的具体数字就变得完全不重要。如果我们40%的位置是0，上面40%的计算可以忽略。因为它是下面的1×1卷积，它的计算量只有1/9或更少，所以你可以在1/9的时间内节省40%的计算量，所以非常值得。

理论上，这种网络结构不会损失精度，最终的精度可以提高模型的速度。

我们在不同的数据库和不同的模型上进行了测试，总体性能提高了20%到40%。这种方法对于追求体验极限的低功耗应用非常重要。例如，如果你想做自动驾驶，你需要在道路上合作，所以这个算法是非常有价值的。同样，我们需要在移动应用中进行实时人体整容，比如各种相机产品，我们可以很好地利用这些方面。从深度学习研发的角度来看，如果能在算法上降低其功耗，其价值是非常大的。

详情请关注雷Feng.com的后续报道(公开号:雷锋网)。雷锋原创。

雷锋原创文章。严禁擅自转载。详情请参考转载说明。