深度揭秘AI换脸原理，为啥最先进分类器也认不出？

本篇文章2387字，读完约6分钟

4月20日的新闻，人工智能变脸并不是什么新鲜事。手机应用市场上有许多改变面孔的应用。此前，有消息称，互联网知识产权伪造了带有明星头像的色情电影，并在大选期间制作了带有候选人头像的视频信息。

为了避免滥用深度伪造所带来的不良后果，许多研究者试图利用人工智能技术来开发识别分类器。

然而，谷歌公司和加州大学伯克利分校的研究人员最近的研究表明，目前的识别技术水平不足以100%识别人工智能变脸作品。加州大学圣地亚哥分校领导的另一项研究也得出了同样的结论。

这些研究结果为我们敲响了警钟，我们应该警惕人工智能变脸所产生的信息。

目前，谷歌和加州大学伯克利分校的研究已经在学术网站arxiv上发表，论文的题目是“利用白盒和黑盒攻击消除深度制造图像检测器”

纸质链接:arxiv.org/pdf/2004.00622.pdf

人工智能人脸变换技术被称为深度伪装，其原理是基于生成对抗网络合成图像。甘由生成网络和甄别网络组成。

gan模型的学习过程是生成网络和鉴别网络相互博弈的过程:生成网络随机合成一幅图片，鉴别网络判断图片的真伪，然后根据鉴别网络给出的反馈不断提高“伪造”的能力，最终达到真实性。

研究人员测试了三个分类器，其中两个是第三方分类器，一个是由研究人员训练用于比较的分类器。

所选择的第三方分类器采用两种不同的训练方法。

第一个分类器模型基于深度残差网络resnet-50(深度残差网络)。

Resnet-50已经过大型视觉数据库imagenet的训练，然后被训练来辨别真假图像。采用包含720，000个训练图像和4，000个验证图像的训练集，其中一半是真实图像，另一半是由progan生成的合成图像。空模糊和jepg压缩增强了合成图像。

经过训练，该分类器可以准确地识别progan生成的图像，也可以对其他未发现的图像进行分类。

第二种识别分类器采用基于相似学习的方法。经过训练，该分类器能够准确识别不同发生器合成的图像。

研究小组还建立了一个识别分类器模型，作为两个识别分类器的比较示例。该分类器使用progan生成的100万幅图像进行训练，其中一半为真，一半为假。文章指出，这种分类器的训练通道比前两种简单得多，因此错误率较高。

根据分类器是否具有开放访问权限，研究者选择不同的攻击方法。白盒攻击用于开发具有访问权限的分类器；黑盒攻击用于不开放访问权限的分类器。

此外，研究人员使用接收器操作特性曲线(roc曲线)来评估分类器的准确性。评估标准是曲线下面积(auc)。Auc范围从0到1。一般来说，AUC > 0.5表示分类器具有预测值，AUC值越大表示分类器具有更高的精度。

对于具有开放访问权限的分类器，研究人员使用白盒攻击来评估它们的鲁棒性。

白盒攻击意味着攻击者可以知道分类器使用的算法和算法使用的参数。在生成对抗攻击数据的过程中，攻击者可以与分类器系统进行交互。

攻击中使用的所有图像都来自包含94，036幅图像的视觉数据库。

在开始白盒攻击之前，基于该数据库的分类器的auc值是0.97。分类器的auc值保持在0.94以上，即使在典型的清洁策略被实施以隐藏图像的合成轨迹之后。

接下来，研究人员使用了四种白盒攻击方法。这四种攻击在以前的敌对例子中已经研究过了。具体的攻击方式是修改图像，使分类器误认为它们是真实的。

▲四次攻击前后分类器的roc图。蓝色实线代表jpeg格式的合成图像，蓝色虚线代表png格式的合成图像

第一种是失真最小化叠加，即在合成图像中加入一个小的附加扰动δ。假设合成图像X首先被分类器判断为假，则在施加干扰之后，(x+δ)将被判断为真。

结果表明，当像素翻转2%时，71.3%的假图像被误判为真图像；如果像素翻转4%，89.7%的假图像将被误判为真；如果像素翻转4~11%，所有的假图像都将被误判为真。

▲a:分类器识别假图像为真；分类器识别出真实的图像是假的。将像素翻转1%，一半的假图像将被判断为真；将像素翻转7%，一半的真实图像将被判断为假。

第二是损失最大化，即定义一个更简单的目标函数，并最大化合成图像被判断为真实的概率。

结果表明，当未压缩图像的像素翻转40%时，auc值将从0.966下降到0.27。

第三种类型是普遍的对抗性补丁攻击。失真最小化攻击方法有一个限制:攻击者需要0.1秒来为每个图像定制攻击方法。为了弥补这一局限性，研究人员创建了一个单一的视觉噪声模板补丁。这个补丁可以叠加在任何假图像上，这有效地增加了假图像的混淆。

叠加补片后，分类器的auc值从0.966下降到0.085。

与前三种通过干扰虚假图像影响分类结果的方法不同，第四种攻击方法是普适空间攻击，即攻击图像的潜在空。最后，分类器的auc值从0.99降低到0.17。

▲a是一般的对抗性补丁攻击效果，b~d是一般的潜艇空攻击效果。分类器将图片中的所有假图像误判为真

文章指出，社交网站、交友网站等。实际上不会公开他们的分类器识别算法，所以很难进行上述白盒攻击。

面对这种情况，研究人员进行了一次黑盒攻击。黑盒攻击假设对方知道攻击的存在并且已经掌握了一般的防御策略。

研究结果表明，即使在这种限制性的黑盒攻击条件下，识别分类器也容易受到对抗因素的影响。黑盒攻击后，分类器的auc值下降到0.22以下。

谷歌公司和加州大学伯克利分校的研究团队已经证明，只要图像经过适当处理，他们就可以“欺骗”分类器。

这一现象令人担忧。“部署这样一个分类器将比不部署它更糟糕。不仅图像本身非常真实，而且分类器的误判也将赋予它额外的可信度。”

因此，研究人员建议开发一种新的检测方法，通过再压缩、调整大小、降低分辨率等干扰手段来识别假图像。

据悉，目前许多组织都在从事这项工作，如脸书、亚马逊网络服务等组织联合发起了“深度假冒身份挑战”，希望探索更好的解决方案。