微软科学家谈机器学习的公平性问题：对性别和种族避而不谈并不是一个好方法

本篇文章2001字，读完约5分钟

雷锋的艾技术评论。微软杰出的科学家和管理总监jennifer t. chayes最近以acm的名义发表了一篇文章，介绍了机器学习的公平性和当前研究人员的应对方式。《雷技术评论》编辑如下。

机器学习是计算机科学的一个分支，它通过识别数据中存在的模式来开发算法。例如，我们的个人助理，如cortana、siri和alexa，将学习如何识别我们在谈论什么，并使用与数百万人的交流来学习如何最好地回答我们的问题。

当计算机变得越来越智能时，一些数据科学家会发现他们的算法变得性别歧视或种族歧视，但非常困惑。然而，这种现象不应该令人惊讶，因为这些算法是由社会数据训练的，并且所使用的社会数据天生就有社会偏见。训练中使用的评估指标将使算法放大这些偏差。

例如，如果一个人简单地训练一个机器学习算法来筛选简历，目标是在工作前根据就业记录选择最合适的候选人，即使该算法被明确指示忽略“受保护的属性”，如种族和性别，结果仍然可能是种族或性别偏见。这是因为种族和性别与其他“不受保护的”信息相关联，比如名字，这些信息可以被算法使用。在招聘过程中，我们知道招聘人员倾向于做出与算法相同的选择。他们不会被告知申请人的性别，但他们会认出一个女人的名字，不会采访她，因为大多数前雇员都是男性。

一般来说，当设计深思熟虑的算法时，即使训练数据有偏差，计算机仍然可以变得比普通人类决策者更公平。就像不管我们的孩子看到谁做什么，我们都会教他们“任何人都有潜力做任何工作”，我们还可以教智能算法如何忽略训练数据中的偏差。幸运的是，随着计算机变得越来越聪明，教它们这些东西变得越来越容易。计算机现在可以理解什么是种族，什么是性别，社会数据也可以用来自动揭示和消除偏见。

现行制度有时表现出非常强烈的偏见。当哈佛大学教授拉坦娅·斯威尼把自己的名字输入搜索引擎时，她收到一则广告，上面写着:“拉坦娅·斯威尼被捕过吗？”并且会收费提供背景调查。作为背景调查的结果，斯威尼博士没有逮捕记录，就像大多数杰出的科学家一样。这个广告显然对斯威尼博士非常不合理和歧视。如果潜在雇主将斯威尼博士的名字输入搜索引擎，他们可能会因为看到这个广告而立即停止考虑聘用她。此外，斯威尼博士证明，如果你寻找一个更黑的名字，像拉坦亚，你将有更大的机会被显示这个“你被逮捕了吗？”广告。

好消息是，我们的许多计算机科学家都非常关心机器学习算法的公平性，并且已经开发了一些方法，使这些算法比人类的算法更不偏不倚。几年前，一群来自微软和波士顿大学的研究人员发现了许多搜索引擎中固有的性别歧视。当被要求完成下列句子时，“男人将是电脑程序员，女人将是_”，这个工具将产生“家庭主妇”的答案。我们的团队使这个工具更少偏见，所以它可以产生性别中立的答案，这使得我们的算法比人类更公平。

微软和哈佛大学的一组研究人员最近设计了一种智能算法，可以在学习的中期直接读取“受保护的属性”，如种族或性别。在这种情况下，这种算法做出的决定有时比人类的判断更少带有偏见。假设我们想为我的组织招聘一名新经理。我们简单的招聘算法将学习我们过去优秀的经理，并根据这些特点推荐候选人。假设招聘算法发现我们的候选人有一个中断的就业历史，这种中断与“成为一个好经理”负相关。因为在我收集的数据中，绝大多数经理都是男性，所以结论是，有中断工作经历的男性在管理岗位上表现更差。

现在让我们考虑一下候选人是女性的情况。大多数女性可能会离开工作环境几年来抚养孩子，在这个过程中，她们学会了如何平衡许多相互竞争的事情，这将使她们回到工作环境后成为更好的管理者。然而，我们简单的招聘算法在数据中找不到关于女性的这些细节，因为男性数据在培训数据中占有绝对的数量优势。我们的研究人员发现，如果他们在根据受保护的属性划分的不同组中使用朴素算法，这些算法在决策过程中会表现出较少的偏见。在这种情况下，该算法将不会惩罚那些中断就业历史并从事经理工作的妇女。现行法律不允许在做出雇用决定的过程中使用性别信息，但这一最新结果可以为未来的监督提供一个新的视角。

有些人认为消除算法中的偏差从本质上来说是不成功的，但第一步是设计一个比人类更安全或更少偏差的系统，就像自动驾驶汽车不可避免地会卷入交通事故一样。使用数学来定义“公平”决策指标的过程也迫使我们在公平和准确性之间进行权衡，这在过去有时会被决策者有意或无意地掩盖。这个过程让我们重新审视公平对待所有群体意味着什么——在某些情况下，了解他们不同的群体特征是公平对待不同群体的唯一途径。

在计算机科学、法律和道德的交汇处，一个新的领域正在形成。它不仅会引导我们创建更公平的算法，还会引导我们找到能够追踪责任的算法，这将使决策背后的影响因素更加透明。我们有足够的理由期待这样的算法！

《雷锋网》(公开号:雷锋网)人工智能技术评论汇编

雷锋文章版权所有。严禁擅自转载。详情请参考转载说明。