如何管教AI的行为举止？OpenAI早已开始研究，而这只是整个AI安全领域的前哨

本篇文章3098字，读完约8分钟

雷锋的人工智能技术评论:在比赛中刷分数和在游戏中击败人类职业玩家只是人工智能研究的一部分，开放人工智能的研究人员也重视人工智能的安全性研究。本文是《纽约时报》对开放人工智能实验室的报道，介绍了开放人工智能在人工智能安全领域的最新思想和成果，也展示了开放人工智能研究者的风采。雷锋。(公开号码:雷锋。科技评论汇编。

自学的人工智能可能会学习奇怪的行为。在旧金山的openai人工智能实验室里，计算机可以自己学习并学习人类行为。但是有时候事情会出错。

杰弗里·欧文(左)和达里奥·阿莫代伊展示了人工智能可以在简单的游戏中训练

最近的一个下午，openai的研究员达里奥·阿莫代伊展示了一个人工智能系统，他在办公室里学会了玩滑行。这个游戏是一个相当多年的电脑游戏，当船只通过终点线时得分最高，就是游戏的赢家。

然而，人工智能系统的性能令人惊讶:游戏的规则是，如果你吃了不断出现在屏幕上的绿点，你就会得分，而这艘船对它们太感兴趣了。它没有冲向终点线，而是不停地盘旋，与其他船只相撞，靠墙滑行，并不断着火，也就是说，不惜一切代价得分。

达里奥.阿莫代伊的燃烧的船游戏展示了人工智能技术背后的风险，它正在迅速改变科学技术界。研究人员正在研究如何让机器独立学习，谷歌的深层思维也在做类似的事情。他们开发了阿尔法戈，可以击败世界顶级玩家。然而，当这些机器在几个小时的数据分析中训练自己时，它们也可能学会一些人类没有估计到的、不想看到的行为，甚至造成实质性的伤害。

当互联网服务、安全设备和机器人都开始使用人工智能技术时，这种担忧就不可忽视了。现在，一些人工智能研究人员，包括达里奥·阿莫代，已经开始探索新的技术理论来避免最坏的情况。

在openai，darioamodei和他的同事paul christiano正在一起开发新的算法。他们希望这些算法不仅能在几个小时的反复试验中学习，而且能在途中得到人类老师的普遍指导。

现在，他们找到了一种方法，让人工智能系统知道滑行者的船必须得分并到达终点线，而人类只需要在屏幕上点击一下。他们认为，这种算法可以综合利用人和机器的引导，有助于确保无人系统的安全。(这项研究的具体内容可以在雷锋的人工智能技术评论之前的报告中看到。你做我的评论——开放人工智能和深度思维的新强化学习方法，根据人类反馈有效学习)

Dario amodei和他的同事们正在开发新的算法，这些算法不仅可以自己尝试和学习，还可以为不可忽视的风险提供指导。近年来，埃隆·马斯克(Elon Musk)和其他权威人士、哲学家和技术爱好者一再警告说，机器可能会摆脱人类的控制，并学会一些设计师不想看到的有害行为。随着时间的推移，人们似乎忘记了这些警告。毕竟，如今的自动驾驶汽车在最基本的任务上步履蹒跚，比如识别车道或红灯。

但是像达里奥摩迪这样的研究人员希望在危险出现之前将其消除。从某种意义上说，这些科学家所做的就像父母教孩子什么是对的，什么是错的。

许多人工智能专家认为强化学习将是人工智能的主要方法之一。在这种方法中，机器在最终学会做一件特定的事情之前，不得不反复尝试和犯错误。研究人员给机器分配一个反馈，它会随机采取行动“尝试”完成任务，并密切关注什么会带来更高的反馈。当openai的研究人员训练人工智能玩滑行时，他们设定的目标是获得更高的分数。

虽然这只是一个游戏，但它可以从内部反映现实世界的情况。

研究人员认为，如果一台机器学会玩像gta这样的赛车游戏，它就能驾驶一辆真正的汽车；如果它能学会使用网络浏览器和其他常用软件，它将学会理解自然语言，并可能与人交谈。在谷歌和加州大学伯克利分校，机器人已经使用这项技术来学习简单的任务，比如拿东西或开门。这些东西不仅是人工智能开发和测试的理想环境，也表明人工智能是相当智能的，能够在更现实的环境中完成任务。

正因为如此，darioamodei和paulchristiano努力开发一种新的强化学习算法，人类可以从中获得指导，从而确保人工智能系统不会偏离他们想要完成的任务——没有人希望人工智能系统在现实中造成不良后果。

更多的研究人员加入了这个领域。这两位openai的研究人员已经和伦敦deepmind实验室的人一起发表了这个领域的一些研究成果。虽然他们过去没有任何合作经验，但毕竟他们是世界顶尖的实验室，这些算法确实是人工智能安全研究中的重要一步。

加州大学伯克利分校的研究人员Dylan hadfield-menell说:“这种方法可以验证许多前瞻性思维的结果，而且像这样的算法在未来5到10年内有很大的潜力。”

人工智能安全领域很小，但一直在增长。随着openai和deepmind都成立了致力于ai安全的研究小组，谷歌的一个本地实验室google brain也加入了进来。与此同时，加州大学伯克利分校、斯坦福大学和其他大学的研究人员也在研究类似的问题，并经常与这些大公司的实验室合作。

站着的是达里奥·阿莫代伊，保罗·克里斯蒂安诺穿着一件浅蓝色衬衫，杰弗里·欧文在白板上画画。有时，研究人员研究以确保人工智能系统不会自己出错，就像一艘船在滑行一样。他们还需要防止攻击者和其他恶意人员发现系统中的漏洞。例如，谷歌的研究员伊恩·古德费勒发现，攻击者可以欺骗人工智能系统，让他们认为他们看到了别的东西。

现代计算机视觉的基础是深层神经网络，它是一种模式识别系统，经过大规模数据训练后可以学习特定的任务。经过数千张狗照片的训练，神经网络可以学会识别狗。脸书以这种方式识别自拍中的人脸，谷歌也以同样的方式在照片应用程序中即时搜索图像。

然而，伊恩古德费勒和其他人已经表明，攻击者可以修改图像，使神经网络认为图像中有其他东西。例如，在改变大象照片中的一些像素后，它可以通过神经网络被识别为汽车。

当神经网络用于安全摄像机时，它将成为一个真正的麻烦。根据研究人员的说法，在你的脸上画几个记号会让相机认为你是另外一个人。

伊恩·古德费勒还说:“即使一个物体识别系统用一百万张人类标记的图像进行训练，我们仍然可以用人类和计算机之间100%不同的识别结果来创建新的图像。”这一现象仍需要我们继续深入了解。”

另一个不容忽视的担忧是人工智能系统可能会学习一些方法来防止人类关闭它们。在为机器设定目标反馈后，当它尝试和思考时，它可能会觉得只有确保它一直在运行，它才能始终获得这些反馈。这种经常被提及的威胁可能离目前的情况有点远，但是研究人员已经开始采取预防措施。

哈德菲尔德-梅内尔和加州大学伯克利分校的其他学者最近发表了一篇论文，介绍了解决这个问题的数学方法。它们表明，如果机器被设计成具有不确定的反馈功能，它将试图保持开关打开。这给了它选择接受人类监督还是逃避的动力。

大多数关于安全性的研究都是理论性的。然而，鉴于人工智能技术的迅速发展及其在许多工业应用中日益重要的地位，研究人员认为相关研究开始得越早越好。

deepmind的人工智能安全研究主管Shane legg给出了自己的观点:“人工智能发展如此之快，很难说未来会发生什么。”这些技术可能被滥用和破坏的方式有很多。负责任的方法是尝试理解这些方法并设计各种解决方案。”

通过纽约时报，雷锋。技术评论汇编

相关文章:

你做了我的评价——开放式和深度思维的新强化学习方法，根据人类的反馈有效地学习

伊恩·古德费勒和papernot在半年的时间里发表了三篇博客文章，这为机器学习的安全性和隐私性开了一个好头

本文详细阐述了深层神经网络中的对抗样本和学习

雷锋文章版权所有。严禁擅自转载。详情请参考转载说明。