吴恩达亲自采访百度林元庆和谷歌 Ian Goodfellow，他们对刚入门者有何忠告？

本篇文章7921字，读完约20分钟

雷锋的《人工智能技术评论》:随着吴恩达开设“深度学习”人工智能系列课程，他还出人意料地推出了一系列以“深度学习中的英雄”为主题的访谈视频。吴恩达亲自上阵采访了深度学习的教父geoffery hinton、gans之父ian goodfellow、深度学习三驾马车的另一位成员yoshua bengio、加州大学伯克利分校教授pieter abbeel、百度研究院院长林元庆、深度学习网络总监andrej karpathy和苹果机器学习(Apple Machine Learning)总监ruslan salakhutdinov。

吴恩达此举的目的之一当然是为了促进深度学习。艾，但他也希望在从课程中了解了深度学习的技术思维之后，还能认识到深度学习领域的几位重要人物，他们在该领域的建立和发展中发挥了巨大的作用。此外，他还要求这些重要人物给新人提供职业建议，如何做研究，或者如何找到工作。

吴恩达·林元庆采访林元庆，现任百度深度学习实验室(idl)主任，拥有清华大学光学工程硕士学位和宾夕法尼亚大学电机工程博士学位。林元庆在机器学习和计算机视觉领域有着多年的研究经验和显著的成就。他曾担任nips会议的现场主席和大规模视觉识别和检索国际研讨会的联合主席。在加入百度之前，他带领nec的研究团队在深度学习、计算机视觉和无人驾驶方面达到了世界领先水平。

另一方面，今年2月，国家发改委正式批准百度牵头建设国家工程实验室，用于深度学习技术和应用。该实验室将由百度深度学习实验室主任林元庆、百度深度学习实验室科学家许巍、清华大学张骞院士和空航空航天大学北航大学李伟院士组成。除百度外，牵头方清华大学、北航大学、空航空航天大学、中国信息与通信研究所、中国电子技术标准化研究所等单位也联合成立了实验室。

吴恩达:谢谢你，袁青。很荣幸邀请你参加这次面试。那么，既然你是百度研究院的院长，中国政府什么时候想建立一个全国性的深度学习学院(雷锋。(公开号码:雷锋。注:深度学习技术和应用国家工程实验室)，它也选择你来带头。在我看来，你是中国最重要的深度学习专家。我对你的研究有很多问题，但在此之前，我想请你讲一讲你自己的故事，你是如何一步步走到今天的位置的？

林元庆:好的。事实上，在我读博士之前，我的专业是光学，更接近于物理学，所以我有很好的数学背景。后来，当我来到美国时，我也在思考一个医生应该学什么专业，是继续学习光学还是别的什么。那时，大约是2000年。微电子技术很受欢迎，但我想选择一个更令人兴奋的技术。那时，正好有一个去宾夕法尼亚大学听丹尼尔·d·李讲课的好机会，他后来成了我的博士生导师。当时，听完课，我觉得机器学习是一件非常有趣的事情。我感到非常兴奋，所以我换了专业，在宾夕法尼亚大学获得了机器学习博士学位。我已经在那里呆了5年了，这总是让我觉得很有趣。有很多东西是我从零开始学习的，很多算法，甚至pca，这些我以前都不知道。每天，我都从东方和西方学习，这对我来说是一次非常有趣的经历。

吴恩达:当时，许多著名学者做了大量的研究，但是他们没有得到足够的重视。

林元庆:没错。Nec也是一个有趣的地方，在那里我从一名研究员开始，学到了很多新东西。我在nec开始学习计算机视觉，但实际上开始得很晚，相对来说比较晚。我在那里做的第一件事是参加imagenet竞赛，这是第一次。我带了一个小组去研究。我觉得很幸运，我们队很强，最终在比赛中获得了第一名。

吴恩达:世界上第一个赢得imagenet竞赛的人

林元庆:没错，我也是在研讨会上发表演讲的人。这是一次美妙的经历。这也是将我引向超大规模机器视觉方向的一件事。从那以后，我研究了大规模的计算机视觉问题。后来，当像alexnet这样的网络出现时，我很震惊，我在心里说:“深度学习真的很棒。”。我刚刚在这个领域做了很多研究。

吴恩达:作为国家深度学习实验室的负责人，你一定在其中领导了很多有趣的研究？有什么东西可以告诉全世界的观众吗？

林元庆:这个国家实验室的目标是建立一个超大规模的深度学习平台，甚至是世界上最大的平台，至少是中国最大的。在这个平台上，我们可以为研究人员提供深度学习框架，比如paddlepaddle，以及计算技能和资源，以及超大规模数据。如果有人可以利用这个平台进行研究和开发新技术，我们也会为他们提供应用的机会。例如，如果新技术连接到百度，新技术可以迭代和升级。因此，我们只是整合这些资源，成为一个强大的平台。例如，如果有人发表了一项研究结果，而其他人想重复他的结果，他们需要找到一个地方将代码下载到他们自己的计算机上。要找到用于其他目的的数据集并正确配置代码以使模型运行，需要付出很大的努力。在国家实验室的平台上，这些事情会变得容易得多。如果在平台上进行研究，平台上会有这些代码，代码的计算环境也就建立起来了，数据集也准备好了。如果你想重复结果，只需输入一行指令。这样，计算机科学中的重复性问题就基本解决了，其他人论文中的结果几乎可以在几秒钟内开始。这种东西非常强大，这是我们在国家实验室做的事情之一，以确保我们为机器学习的研究和行业提供一个非常强大的平台。

吴恩达:这太棒了。它可以大大加快深度学习的研究进程。你能告诉我们中国政府为建立这个国家实验室提供了多少资源吗？

林元庆:中国政府提供了大量资金来建设这个国家工程实验室的基础设施，但我认为更重要的是，这个活动将成为中国的一个标志性事件，这将引导更多的人进行深入的研究，比如国家项目和政策支持。这将形成一股强大的力量。对于百度来说，这个实验室也是一件大事。

吴恩达:你是中国深度学习领域的核心人物之一，但世界各地的研究人员对此知之甚少。你有什么关于在中国深入学习的事情想告诉中国以外的人吗？

林元庆:我认为在过去的几年里，由深度学习驱动的产品已经爆炸了。从搜索引擎和单词识别到安全和电子商务，有许多应用。他们都在深度学习方面做了很多努力，他们真的用这些技术让他们的产品变得非常强大。总的来说，这样的环境对人工智能技术的研究也具有重要意义。不仅是我，很多人都觉得形成一个“良性循环”很重要。例如，当我们考虑用技术构建应用程序时，我们有一些初始数据，一些初始算法，并发布一个初始产品；然后你可以从用户那里获得数据，并获得更多的数据来构建更好的算法。更多的数据和更好的算法可以带来更好的技术和更好的产品，所以你可以吸引更多的用户，拥有更多的数据。这是一个积极的循环，也是人工智能相关技术的一个独特现象。传统技术不是这样的，比如激光，我学过激光，所以传统技术的发展是相对线性的，而人工智能技术有这样一个良性循环，所以很容易想象技术在某一点上的快速增长。我们也将高度重视R&D的这一进程，我们将研究这一规律，使我们更快地达到这一快速增长点。如果我们的商业模式不能形成这样一个良性循环，我们可能不会朝那个方向走，因为其他人可能会有一个强大的商业模式，一个强大的循环，并且更快地达到高科技水平。这是我们公司选择发展方向的重要逻辑。

吴恩达:在美国和世界各地有很多人想参与深度学习和人工智能。你对那些想加入的人有什么建议吗？

林元庆:现在，人们有很多开源框架可供选择，这对初学者来说非常强大。当我第一次开始学习深度学习时，还没有开源资源。如今，在人工智能方面，特别是深度学习方面，有很多开源资源，它们是非常好的研究社区，也有很多好的深度学习框架，比如tensorflow和caffe，现在是caffe2，paddlepaddle在中国也很好。大多数框架都可以找到许多在线课程来教你如何使用它们，并且有许多开放的基准测试，所以人们可以观察强大而有经验的研究人员，看看他们如何表现。因此，如果你想了解深层学习，这些方面都很方便开始。

吴恩达:你对深度学习的深刻理解是如何形成的？

林元庆:事实上，我刚才说的正好相反。我首先接触了主成分分析、线性判别分析和其他数学方法，然后开始深入学习。然而，我认为这种方法也很好，建立了很多基础并学习了图形模型。目前，深度学习当然是主流，但是如果你有这方面的知识，你会对深度学习的效果有更好的直觉。深度学习和这些基本框架之间有各种各样的联系，这些知识将使这种联系更加紧密，并丰富进行深度学习的方式。所以我认为从那些强大的开源框架中学习是很好的，我还建议学习一些机器学习的基础知识。

吴恩达:谢谢你！你说的太好了！我认识你这么久了，但是我还没有听到你思考的这么多细节。谢谢你！

林元庆:谢谢你的邀请！

吴恩达·伊恩·古德费罗伊恩·古德费勒，目前是谷歌大脑的研究员，也是机器学习领域的名人。他是yoshua bengio的弟子。最近，由ian goodfellow、yoshua bengio和aaron courville合著的中文版《深度学习》、《花书》和《深度学习》也已上市，是该领域最好的教材之一。伊恩.古德费勒的著名之处在于他的生成对立网络，它为解决生成问题提供了一种革命性的思路，自提出以来一直是研究的热点。

吴恩达:伊恩，你是世界上最著名的深度学习研究者之一。告诉我们你的故事。你是如何开始你现在的工作的？

伊恩·古德费勒:嗯。事实上，当我遇见你的时候，我已经很久没有接触机器学习了。我过去研究神经科学。当我在斯坦福大学读本科的时候，我的导师鼓励我去看看你的“人工智能导论”课程。

吴恩达:嗯，这是我第一次听说这件事

伊恩·古德费勒:是的。当时，我认为人工智能听起来很美，但当我真正看到它们时，它们都是游戏中的人工智能。人们事先为游戏中的NPC制定了固定的规则，他们可以根据这些脚本在不同的时间和地点说不同的话。然后我看了你的“人工智能导论”课程，在课程中你谈到了线性回归和线性回归误差的偏移方差分解，我开始意识到这是一门真正的科学，所以我可以把人工智能作为一个科学事业，停止做神经科学。

吴恩达:不错~然后呢？

伊恩·古德费勒:后来，我来上你的课。其中一个重要的转折点是这个班的一个学生是我的朋友伊森。他掉进了杰夫·辛顿的深度信念网络论文里，出不来(雷·技术评论注:伊恩的原话是“在杰夫·辛顿的深度信念网络论文里被捕了”，太棒了)。后来，为了运行玻尔兹曼机器，我们两人课后构建了一个基于cuda gpu的计算机，这是斯坦福最早的一个。那时，我确立了未来应该属于深度学习的信念。我也研究过其他算法，例如，支持向量机经常让人感觉不满意，而且它在面对更多的数据时会变慢，或者对于相同的训练数据，没有其他参数可以调整来优化它的性能。这时，我开始尽可能多地学习。

吴恩达:我还记得一篇非常古老的gpu论文，它认可了你做的许多早期工作

伊恩·古德费勒:是的，那是在我们早期的机器上完成的。第一台机器是我和伊森在伊森家制造的。后来，用实验室的钱为斯坦福实验室制造了第二台和第三台机器。

吴恩达:太神奇了，我真的不知道是这样的。所以到目前为止，让深度学习突飞猛进的一个重要因素是你发明了gans。你是怎么想出来的？

伊恩·古德费勒:我已经研究生成模型很长时间了。gans是一种建立生成模型的方法。你手里有很多训练数据，然后你想创建更多类似的数据，但是你想创建从未以那种形式出现过的全新数据。在我想到gans之前，有很多流行的方法来构建生成模型。当我还是博士生的时候，我仔细研究过它们，我清楚地知道它们的优缺点。例如，玻尔兹曼机、稀疏编码等是过去几年流行的方法，所以我想找到一种新的方法来避免所有这些方法的缺点。后来，当我在酒吧和我的朋友争论时，我终于有了灵感，我说怎么做，但是那个朋友不相信。当时，我应该写“深度学习”的教科书，但我特别相信这个想法肯定会奏效，所以我把它编程为那天晚上写的，然后它真的成功了。

吴恩达:花了一个晚上才实现了第一个版本的甘斯

伊恩·古德费勒:当我从朋友的告别聚会回到家的时候，已经是午夜了，然后我花了一整夜写它。当我后来想到它的时候，我感到非常幸运，第一个版本变成了，所以我不需要超调参数或者任何东西。

吴恩达:我从其他地方听到一个谣言，说你有一次濒临死亡的经历，这让你对人工智能的投资更加坚定。你能告诉我一些关于它的事情吗？

伊恩·古德费勒:嗯，我不是真的会死，但是我想我会死。当时，我的头很痛，以至于几个医生说我可能有脑出血。所以我做了核磁共振来确定是否有脑出血。当我等待核磁共振结果时，我意识到我当时的大部分想法是让别人尝试我的研究想法。事实上，我的许多想法都是愚蠢的，但那时我意识到我一生中最大的财富之一实际上来自于我自己做更多的研究。

吴恩达:啊，所以当你认为你会死的时候，你只想完成你的研究。这种决心实在令人震惊。那么，你仍然参与了很多关于gans的研究，那么你对gans的未来有什么看法？

伊恩·古德费勒:现在gans可以用来做很多不同的事情，比如为其他模型生成训练数据，甚至在监督学习中模拟科学实验。基本上，所有这些事情都可以用其他生成模型来完成，所以我认为gans现在正处于一个重要的十字路口。目前，gans有时工作得很好，但真正发挥其巨大优势更像是一门艺术，而不是科学。这与十年前我们使用基于玻尔兹曼机的深度信念网络时对深度学习的普遍感觉是一样的，那是特别难以处理的。后来，在我们逐渐转向relu和批处理规范化之后，深度学习变得更加可靠。如果我们能让gans像深度学习一样可靠，那么我认为我们将在未来继续使用gans并取得更好的结果。然而，如果我们不能解决gans的稳定性问题，那么它在历史上的贡献只能说明一种建立生成模型的方法，而这种方法最终将被其他形式的生成模型所取代。因此，我目前大约40%的时间都花在了研究如何让gans更加稳定上。

吴恩达:还不错。很多人已经进入深度学习领域10年了，比如，你就是其中的一个先锋。如果他们能解决这个问题，也许现在加入甘斯研究的人将成为未来的先锋。

伊恩·古德费勒:是的，很多人都是冈斯的早期先驱。当我们整理历史上为gans的发展做出贡献的人时，我们不能错过其他研究小组，如facebook、Berkeley等。他们也做出了许多贡献。

吴恩达:除了你自己的研究，你还是《深度学习》的作者之一。跟我说说。

伊恩·古德费勒:这本书是由约舒亚·本吉奥和亚伦·库尔维尔合著的。亚伦是我的博士生导师。这是第一本关于现代深度学习的教科书。英文版和中文版都很受欢迎。这两种语言的合订本应该能卖出7万份。我也收到了很多学生的反馈，说阅读后有很大收获。我们的书和其他书有点不同。一开始，我们有一个特殊的章节是关于深入学习所需的数学知识。我从你在斯坦福教的课程中学到，线性代数和概率论非常重要，也就是说，人们对机器学习算法感兴趣，但是如果他们想成为好的实践者，他们首先需要掌握算法背后的基本数学原理。因此，我们一开始就将重点放在所需的数学知识上，这样我们就不必学习线性代数的所有知识，但我们可以很快学会深入学习线性代数最常用的知识。

吴恩达:所以那些对数学感到头疼并且有一段时间没见过数学的人可以从数字的开始就学习这些背景知识，然后进入深度学习的部分

伊恩·古德费勒:所有的知识和公理都需要知道，然后在它们被很好地使用之前，需要花费很多努力去实践它们。对于那些真正不喜欢数学的人来说，它应该更痛苦。但是对于那些愿意学习并有信心掌握的人来说，所有必要的数学工具都在这里。

吴恩达:作为深度学习领域的长期研究者，你认为人工智能和深度学习近年来的发展趋势如何？

伊恩·古德费勒:十年前，整个研究家族中最大的问题是如何利用深度学习来解决与人工智能相关的问题。当时，我们使用强大的工具来解决简单的问题，例如如何从手动提取的特征中识别模式。人类设计师不得不做大量的工作，创造这些特征，并将它们输入电脑。这种方法对于诸如广告点击预测和各种基础科学分析等任务非常有用，但是要使其处理数百万像素的图像、音频波形等需要大量的能量，因为这样的系统完全是从零开始开发的，并且几乎在五年前就解决了这些问题。我们现在遇到的问题是我们面前有太多的方法。对于一个想进入人工智能领域的人来说，最大的问题是选择追求哪个方向，是将强化学习提升到监督学习的水平，还是将非监督学习提升到监督学习的水平，是确保机器学习算法能够保证公平，不表现出人类想要避免的偏见，还是解决人工智能带来的社会问题，以确保人工智能能够造福于每个人，而不是造成剥削和失业。现在真是美好的时光。有许多不同的事情要做。我们需要避免人工智能带来的问题，充分发挥人工智能的优势。

吴恩达:现在有很多人想加入人工智能的潮流。你对他们有什么建议吗？

伊恩·古德费勒:许多想学习人工智能的人认为博士学位或类似的证书是必须的，但我认为这不再是强制性的要求了。我认为写代码并把它放到github上是吸引注意力的好方法。如果你有一个有趣的项目，并且和顶尖的研究人员解决了同样的问题，一旦他们看到你的github项目，他们就会来找你，邀请你去工作。我去年在openai和今年在Google招募的很多人都是因为我第一次在github上看到他们的开源项目，我很高兴能和他们合作，然后我招募了他们。在arxiv上发表论文也很好。很多时候，你的想法可能没有被彻底的审查，以至于不能形成新的学术成果，被科学界所接受，但是仅仅形成一个软件项目将会更容易和更快。

吴恩达:所以从你的书中学习，训练编程，最后在github甚至arxiv上发表

伊恩·古德费勒:我认为如果你以阅读的方式学习，同时开发一个项目是非常重要的。找一个你感兴趣的地方，尝试学习算法。假设你是一个户外生物学家，想学习深度学习。你可以自己开发一个识别鸟类的系统；或者，如果你不知道如何在自己的生活中运用深度学习，你也可以制作一个街景照片门牌号分类器，数据集是现成的，易于使用。这样，你就可以在阅读书籍或观看视频课程的技术分析过程中练习所有的基本技能。

吴恩达:在过去的两三年里，我看到你们对拮抗样品做了大量的研究。告诉我们。

伊恩·古德费勒:对抗性样本实际上创造了一个新的研究领域，我称之为“机器学习安全”。我们以前见过计算机安全问题，攻击者可以欺骗计算机，让它们运行其他代码，这就是应用层安全；还有一些攻击使计算机错误地识别网络信息的发送者，这样他们就可以冒充别人。这是网络层安全。现在我们已经表明，机器学习算法也可以表现出异常的性能，即使运行该算法的计算机执行的代码是正确的并且知道谁是网络信息的发送者。我认为当新技术首次出现时，把安全作为它的一部分是非常重要的。我们发现将来很难提高一个完整功能系统的安全性。因此，我特别支持现在就应该关注和提高机器学习的安全性的观点，这样才能保证这些算法在开始时是安全的，而不是几年后才修补它们。

吴恩达:非常感谢！虽然我认识你这么多年了，但你说的这些话听起来还是很棒，这是我没想到的。谢谢你！

伊恩·古德费勒:谢谢你邀请我参加面试。我也聊得很开心！

所有7集的采访视频都被朋友们运到了中国。点击下面的链接观看。

在吴恩达采访杰弗里·辛顿

吴恩达采访伊恩·古德费勒

吴恩达采访了约舒亚·本吉奥

在吴恩达采访彼得·阿比勒

吴恩达采访了林元庆

在吴恩达采访安德烈·卡普西

在吴恩达采访罗斯兰·萨拉赫丁诺夫

通过深度学习，雷锋文章中的采访内容。科技评论听力和翻译

相关文章:

由于深度学习，技术圈再次从媒体大师吴恩达的屏幕上消失了

吴恩达希望通过在线培训解决人工智能人才的需求。它不可靠吗？

雷锋文章版权所有。严禁擅自转载。详情请参考转载说明。