ICML 2017最佳论文：为什么你改了一个参数，模型预测率突然提高了|分享总结

本篇文章2528字，读完约6分钟

雷技术评论:正在进行的2017年国际机器学习大会(icml 2017)早在官方网站上公布了本次大会的最佳论文评选结果(重| icml 2017最佳论文公告！机器学习的可解释性已经成为一个热点)，其中最佳论文奖是通过影响函数理解黑箱预测，其主题是如何利用影响函数理解黑箱预测。

8月7日下午，最佳论文奖获得者庞伟·科(斯坦福大学博士生)作了工作报告。《雷技术评论》在会议现场记录了这份报告。以下是由雷技术评论编辑并与大家分享的koh的报告。

大家下午好，感谢大家收听本报道。

动机

接下来，我将谈谈如何使用一种叫做影响函数的统计工具来研究神经网络的预测问题。

在过去的几年里，机器学习模型在许多领域的预测精度越来越高，但是这些模型本身变得越来越复杂。然而，人们经常会问一个问题——为什么系统会做出这样的预测？-但是很难回答。

例如，我们通过图左侧的训练数据训练一个网络，当输入一幅图片时，它会进行预测。为什么这个模型会做出这样的预测？我们知道模型学习的所有信息和“知识”都是从训练示例中获得的，因此我们应该能够查询特定预测受各种数据点影响的程度。

如果某个特定的训练点不存在或受到轻微干扰，例如，在经验风险函数被微调后，预测的置信水平将从79%增加到82%。那么两个预测损失函数之间的差异可以表示某个训练点对整个训练的影响。

影响函数

我们在这里的目标是，如果我们增加经验风险函数的值，就可以测量损失函数的变化。这里，结构风险函数由特定的训练数据决定。当函数是光滑的，那么测量值就是函数1，即影响函数。这个公式的第二行是黑森矩阵。从这里，我们可以看到影响函数取决于具体的模型和训练数据。

例如，让我们看两个例子。右边两列的第一列是由像素数据训练的径向基函数支持向量机，第二列是逻辑回归模型。两种模型用于预测左侧测试图，rbf svm模型的影响函数会随着与测试对象的距离而迅速减小，而逻辑回归模型的影响函数与距离无关。因此，我们可以利用影响函数来更好地理解模型。在我们看影响函数的应用之前，我们应该先讨论一下这个方法中的潜在问题。

首先，计算效率低

为了应用影响函数，我们必须构造经验风险函数的hessian矩阵，并求出矩阵的逆。这对于具有数百万个参数的神经网络模型来说是不可接受的，尤其是反演过程将非常缓慢。

最好的方法是我们不显式地找到hessian矩阵的逆，而是用hessian矢量积来近似它。

第二，非平稳损失

当损失函数的一阶和二阶导数不存在时，我们可以消除这些非光滑点，并且我们发现我们仍然可以很好地预测。例如，当t=0.001时，平滑铰链模型可以更好地满足实际变化。

第三，很难找到全局最小值

我们假设了全局最小值，但有时我们可能会得到一个次最小值。在这种情况下，黑森可能有负特征值。

我们通过凸二次近似构造了损失函数的软最大值。这可以大大减少由非全局最小值引起的问题。

应用

好，最后，我们来谈谈影响函数的应用。

1.调试模型错误

当模型出错时，我们能帮助开发人员找出哪里出错了吗？我们用一个例子来说明我们使用逻辑返回模型来预测病人是否应该再次入院。培训模式有2万名患者和127个特征。

为了解释这种情况，我们将训练模型中的3(24)名儿童改为3(4)，也就是说，健康儿童的20个训练样本被移除。当一个健康的孩子被用作预测时，这个模型会犯一个错误，并预测它需要被重新接纳。

我们计算每个训练点的影响函数。这个数字清楚地表明，四名受训儿童的影响值是其他样本的30-40倍，其中一名儿童为阳性，其他三名为阴性。

对4个孩子的127个特征的仔细研究表明，被表达为“孩子”的特征做出了重要贡献。

2.对抗训练

最近的工作产生了与实际测试图像无法区分的对抗测试图像，从而使分类器完全被愚弄。事实上，一些研究人员，如伊恩古德费勒，已经表明，具有高精度的神经网络也可以被欺骗，用来欺骗它的样本是精心挑选的，这似乎是正常的人眼。这种样品称为“拮抗试验样品”。

构建它们的方法之一是沿着与测试输入相对应的测试损失的梯度不断修改测试输入，从而增加测试损失。

因此，由于存在拮抗测试样本，我们能否创建拮抗训练样本，其中训练点的微小变化会改变模型的预测结果。

我们问自己这个问题，然后很自然地，我们试图在测试损失的梯度上做同样的事情。但是现在不是关于测试特性，而是关于训练特性。换句话说，我们首先给出测试样本，然后沿着测试样本的梯度变化修改训练数据。

然后我们发现它的影响函数可以帮助我们找到这个梯度，因为它们基本上是一样的。随着训练的进行，模型的预测将会是这样的。我们得到的结果是。从数学上讲，它与基于梯度的攻击是一样的，它可以适用于不同的模型和数据集。

该方法在实际应用中也能起到一定的作用。我们设计了一个简单的二元分类任务。模型应该确定图像是狗还是鱼。这两件事看起来完全不同。我们使用一个逻辑回归模型，比如初始阶段。令我们惊讶的是，如果我们仔细地选择训练数据，然后仔细地选择要添加到其中的干扰，那么训练数据中的一点点变化会在相同类型的多个测试图像的预测结果中引起问题。这表明这种攻击在某些环境下相当危险。事实上，在这个问题上还有很多值得研究和讨论的地方，我们可以以后再谈。

结论

最后，做一个简短的总结。我们首先讨论了模型是如何进行预测的。我们知道模型是通过训练数据得到的，我们把它写成一个公式，然后我们知道模型在改变训练数据后会发生怎样的变化，我们可以通过模型偏离训练数据的程度来更好的理解模型的预测结果。影响函数为这些事情提供了有效的手段。

在这项工作中，我们还有很多事情要做，比如如果所有的病人都离开医院，我们能做些什么来防止这种情况发生？如果我们有一个大的凸模型，并运行sgd几次，…目前的工作只是朝着这个方向迈出的一小步。在我们能够很好地理解这个模型之前，还有许多基本问题等待我们去解决。

谢谢大家！

(结束)

雷锋。(公开号码:雷锋。人工智能科技评论。

论文下载:arxiv/pdf/1703.04730.pdf

相关文章:

重| icml 2017年最佳论文发表！机器学习的可解释性成为一个热点

雷锋原创文章。严禁擅自转载。详情请参考转载说明。