原来神经网络的认知原理和人类是一样的，DeepMind揭示神经网络的认知偏好

本篇文章2570字，读完约6分钟

雷锋。(公开号码:雷锋。人工智能公司deepmind最近发表了一篇论文，介绍了它对神经网络解释问题的最新探索。这篇论文被icml接受后，deepmind研究人员写了一篇流行的介绍文章，让更多的人了解他们的方法和效果。

以下是雷《科技评论》深度思维导语的翻译。

人类已经教会了深层神经网络做许多令人惊奇的事情，从识别和推理图像中的物体，到玩超越人类的雅达利游戏和围棋。随着神经网络的结构和任务变得越来越复杂，人类越来越难以理解神经网络所学习的解决问题的方法。

人们称这个问题为“黑匣子”。随着神经网络越来越多地参与解决现实世界中的问题，解决这个黑箱问题变得越来越重要。

为了理解和解释这些神经网络系统，深层思维研究人员一直在探索新的工具和方法。最近，icml收集了一篇来自deepmind的论文，其中他们提出了一种从认知心理学来理解深层神经网络的新方法。认知心理学通过测量行为来推断认知过程的机制。许多关于认知心理学的论文详细解释了这些机制，并介绍了许多实验方法来验证这一机制。随着最新的神经网络在特定任务中达到人类水平，认知心理学的方法可以帮助解决黑箱问题。

在这篇论文中，deepmind研究了一个具体的案例来表明自己的观点。他们设计了一个实验来阐明人类的认知过程，用来帮助理解深度神经网络能够解决图像分类的任务。

因此，认知科学家在人类身上观察到的行为也可以在这些深层神经网络中观察到。此外，人们可以从这些结果中深刻理解神经网络是如何解决图像分类问题的，这不仅有用，而且令人惊讶。总的来说，这个案例研究的成功显示了运用认知心理学来理解深层学习系统的潜力。

一次性词汇学习模型中形状偏好的测量

在deepmind的案例研究中，他们思考了一个问题:人类儿童如何识别和分类物体，这在发展认知心理学中已得到广泛研究。孩子们有能力从一个例子中猜出单词的意思，这叫做“一次性词汇学习”。这种能力很容易获得，人们经常认为这个过程很简单。然而，哲学家威拉德·范·奥曼·奎因提出了一个经典的思想实验，它表明这个过程是多么复杂:

一位现场语言学家去体验另一种文化，在这种文化中使用的语言与他以前使用的完全不同。这位语言学家需要请愿意帮助他的当地人教他一些单词。当一只兔子经过时，当地人说“gavagai”，语言学家必须猜测当地人用这个词是什么意思。对语言学家来说，这个词可以指很多东西，比如兔子，动物，白色的东西，特别是这只兔子，甚至是兔子的一部分。事实上，这个词所指的图像数量是无限的。人类如何从中选择正确的一个？

Gavag AI问世50年后，面对能够一次性完成词汇学习的深层神经网络，同样的问题也出现在人们面前。以deepmind开发的“匹配网络”为例。注意模型和记忆模型的最新发展已被应用于该模型，达到了imagenet图像只能通过单一分类实例进行分类的最高水平。但是我们不知道网络在对图像进行分类时会采取什么样的假设。

为了深入探讨这一问题，深度思维研究者参考了发展心理学的一些研究。这些心理学家发现了儿童有归纳偏好的证据。此首选项可以消除许多不正确的引用，以便他们可以找到正确的引用。该偏好包括:

对整个物体的偏好，孩子们会假设一个词指的是整个物体而不是它的组成部分(消除了奎因对指兔子的单个部分的担心)

分类偏好，孩子们会假设一个词指的是一个物体所属的基本分类(消除了奎因关于指“所有动物”而不是“兔子”的基本含义的担心)

形状偏好，孩子们会假设一个名词的意义是根据物体的形状而不是颜色或质地来决定的(消除了奎因对指所有白色事物而不是特定物体“兔子”的担心)

深度思维研究人员已经测量了他们的神经网络的形状偏好，因为有许多关于人类形状偏好的研究。

deepmind使用来自认知心理学的刺激例子来测量深度神经网络的形状偏好。印第安纳大学认知发展实验室的琳达·史密斯慷慨地提供了这些图片。deepmind研究人员使用的经典形状偏好实验如下进行:显示三个对象的深度神经网络照片，一个测试对象，一个形状匹配对象(具有与测试对象相同的形状)和一个颜色匹配对象(具有与测试对象相同的颜色但不同的形状)。然后，将形状偏好定义为测试对象和形状匹配对象被网络划分为同一类的情况所占的比例，从而进行度量。

实验中使用的图像是印第安纳大学认知发展实验室人类实验中使用的图像。

这个认知心理学实验的总结使用了匹配网络。匹配网络将测试图片(左侧)与图像A或B(中上侧或右上侧)进行匹配。输出(右下)取决于该匹配网络的形状偏好。Deepmind团队对他们的深层神经网络(匹配网络和基准初始模型)进行了实验，发现他们的网络对物体形状的偏好比颜色或材料强得多，就像人类一样。换句话说，他们确实有“形状偏好”。

这一结果表明，在匹配网络和初始分类器中使用形状的归纳偏好来消除错误的假设，这使研究者清楚地了解了通过这些网络解决一次性词汇学习的方法。

除了形状偏差，deepmind团队还发现了一些有趣的事情:

他们发现形状偏好在网络的早期训练中逐渐出现。这让人联想到人类形状偏好的出现:心理学家发现，年龄较小的孩子比年龄较大的孩子有较弱的形状偏好，而成年人有最强的形状偏好。

他们发现选择不同的随机种子进行初始化和训练会导致不同程度的网络偏好。这表明，当研究深度学习系统并得出结论时，研究样本的数量需要非常大，就像心理学家已经知道他们不能仅仅通过研究一个单一的对象得出结论一样。

他们发现，尽管几个网络的形状偏好有很大不同，但它们的一次性词汇学习表现是相似的，这表明不同的网络可以找到许多同样有效的方法来解决复杂的问题。

这种偏好存在于标准的神经网络结构中，但是以前没有人认识到它。这种偏好的发现显示了用人类创造的认知心理学解释神经网络解决方案的潜力。其他心理学领域的研究也可能有所帮助。情境记忆文献中的观点可能有助于理解情境记忆的框架，语义认知文献中的方法可能有助于理解最近的概念形成模型。心理学领域有大量的文献，这些文献有可能给人类带来强有力的新工具，有助于解决“黑箱”问题，使人类更好地理解神经网络的各种行为。

论文地址:arxiv/ABS/17000.170800000005

通过深度思维博客，由雷科技评论编辑

雷锋文章版权所有。严禁擅自转载。详情请参考转载说明。