数据安全事件频发，数据脱敏技术发展趋势如何？

本篇文章3589字，读完约9分钟

1导言

在当前的大数据时代，各种数据分析和应用技术已经广泛应用于国家治理、企业运营、个人日常生活等各个方面。如今，数据已经成为一种流行的基础资源，因此对数据安全的关注也越来越多，成为一个备受关注的话题。

近年来，数据安全事件在世界范围内频繁发生，尤其是数据泄露事件。根据riskbasedsecurity在2019年下半年发布的数据，2019年上半年发生了3800多起数据泄露事件，比2018年同期增加了54%。数据泄露通常会带来显性或隐性的经济损失。根据安全研究中心ponemoninstitute和ibmsecurity联合发布的2019年数据泄漏成本报告，超过100万条记录的泄漏预计会给企业带来4200万美元的损失，当泄漏记录超过5000万条时，预计损失将达到3.88亿美元。

安全事件的不断爆发，以及事件背后潜在的重大隐患和巨大损失，不断促使国家、行业、企业等层面更加重视数据安全，并开始从法律、标准和制度等方面采取相应措施。欧盟于2018年发布了《通用数据保护条例》(gdpr)，该条例规定了企业如何收集、使用和处理欧盟公民的数据。2019年5月28日，国家互联网信息办公室发布了《数据安全管理办法(征求意见稿)》，明确要求信息的保存和提供应匿名化，以有效降低数据应用中的信息泄露风险。

2数据脱敏技术

数据脱敏技术是一种数据处理技术，通过数据变形来处理敏感数据，从而降低数据的敏感性。适当使用数据脱敏技术可以有效减少敏感数据在收集、传输和使用过程中的暴露，降低敏感数据泄露的风险，最大限度地减少数据泄露造成的危害。根据不同的数据脱敏规则和算法，可以采用多种数据变形方法对特定的敏感数据进行组合处理，不同程度地降低数据的敏感性，在严格的脱敏规则和算法下实现匿名处理。

数据脱敏技术本质上是对数据的变形处理，因此数据脱敏技术的另一个主要特点是能够在一定程度上保留数据的一些原始特征，使得脱敏后的数据仍然具有可用性。对整个数据集使用统一的脱敏算法可以保证数据集的整体统计特征和数据唯一性不变，同时降低数据的敏感性，从而继续满足关联分析、机器学习和即时查询等应用场景的使用要求。

2.1数据脱敏算法和匿名化方法

在数据脱敏技术的实际应用中，通常有三个不同的概念:脱敏算法、脱敏规则和脱敏策略。

数据脱敏技术的核心是对敏感数据进行变形以降低其敏感性。其中，脱敏过程中使用的具体数据变形模式是脱敏算法。在原有脱敏算法的基础上，通过对特定敏感数据应用一种或多种脱敏算法，形成脱敏规则。在特定的业务场景中，根据不同的业务场景选择一系列特定的脱敏规则可以称为脱敏策略。

数据脱敏算法是数据脱敏技术及其应用和工具的核心能力。常见的脱敏算法包括加密、屏蔽、替换、模糊等。

除了上述基本的脱敏算法之外，为了实现更高程度的敏感信息保护，特别是实现特定级别的灵敏度降低，还有更复杂的针对整个数据集的脱敏策略。例如，在信息保护场景中的匿名要求下，需要使用匿名方法，如k匿名、l多样化和t封闭。

k-匿名方法要求数据集中的每个记录至少不能与其他k-1记录区分开来，即数据集中的每个敏感属性组合应该同时出现在至少k个记录中，不能区分的k个记录形成一个等价类。l多样化是基于k的匿名化方法在敏感属性上的扩展。该方法要求每个等价类中所有记录的敏感属性至少包含l个不同的敏感属性值。T-proximity方法要求所有等价类中敏感属性值的分布尽可能接近整个数据集中属性的全局分布，以抵抗偏斜攻击。

2.2数据脱敏技术的分类

目前，数据脱敏技术可分为静态数据脱敏和动态数据脱敏，它们面对不同的使用场景，采用不同的技术路线和实现机制。

2.2.1

静态数据脱敏静态数据脱敏的主要目标是实现对完整数据集中大量数据的一次性整体脱敏。通常，根据建立的数据脱敏规则，使用类似etl技术的处理方法对数据集进行统一的形变变换处理。静态脱敏在根据脱敏规则降低数据敏感性的同时，可以最大限度地减少对数据集原始内在数据相关性、统计特征等可挖掘信息的破坏，保留更多有价值的信息。静态脱敏通常用于生产环境中的敏感数据需要开发、测试或发送的情况。

2.2.2

动态数据脱敏动态数据脱敏的主要目标是对从外部申请访问的敏感数据进行实时脱敏，并立即返回处理结果。一般来说，像网络代理这样的中间件技术用于转换外部访问应用程序，并根据脱敏规则实时返回结果。在根据脱敏规则降低数据敏感度的同时，动态脱敏可以大大减少数据需求者获取脱敏数据的延迟。通过设计和实现适当的脱敏规则，即使是实时生成的数据也可以通过请求访问来返回脱敏数据。动态数据脱敏通常用于敏感数据需要向外部提供访问和查询服务的场景。

3数据脱敏技术的应用现状

近年来，数据脱敏技术的应用呈上升趋势。根据gartner的“数据脱敏市场指南”，2017年，15%的企业使用了数据脱敏或其他类似的去识别技术，2018年这一比例上升至20%，预计2022年将达到50%。

3.1数据脱敏技术行业的应用现状

在实际应用中，数据脱敏技术通常用于一些与个人隐私数据的存储和应用相关的行业，因此被广泛应用于政务、金融、电信、互联网等行业。数据脱敏技术的应用目的主要包括两个方面:第一，主要目的是保护敏感数据的安全，实现合法合规；第二，在实现第一个目标的前提下，尽可能保证数据的可用性和可利用价值。

在当前的大数据时代，涉及个人隐私数据存储和使用的大多数领域不可避免地需要面对数据安全和合规性问题。具体来说，在政务领域，由于政府数据平台经常掌握大量极其敏感的信息数据，如身份证和户籍信息等，因此有必要对数据采集、传输、应用和归档的整个生命周期进行脱敏处理，同时实施其他数据安全保护手段；在金融、电信等关键领域，由于电信客户的号码编码、通话记录、网络流量等信息，以及金融客户的个人账户信息和交易记录都是重要而敏感的信息，它们面临着严格的行业监管要求，数据脱敏技术被用来实现合规性；在数据被广泛使用的互联网领域，使用了大量可能涉及个人隐私的用户行为数据。从避免违规造成的额外成本的角度来看，数据脱敏是使用敏感数据的重要前提。

在大数据分析和应用领域，企业需要保持数据可用性和附加值，同时确保数据安全性和合规性。具体而言，在金融和电信领域，信用报告、反欺诈和精准营销等应用场景高度依赖于对用户行为数据等私人数据的分析和挖掘。在互联网领域，用户行为数据已经成为企业引导企业增加收入的重要资源。用户行为分析、个性化推荐、精准营销等应用方向已经成为大多数互联网企业的常用服务手段，相应的分析和挖掘应用不可避免。可以看出，在实现数据安全性和合规性的同时，不损害数据可用性和可开发价值的数据脱敏技术是目前较好的选择，并且在各行各业也有实际应用。

3.2数据脱敏技术的供应状况

目前，许多企业已经完成或正在开发数据脱敏技术。一般来说，数据脱敏技术的供应商可以分为三类:信息安全服务供应商、自主开发企业和通用数据脱敏工具开发商。

3.2.1信息安全服务提供商

通常，客户以提供完整的安全服务系统解决方案的形式得到服务。为确保整个安全系统的完整性，数据脱敏技术通常被视为一个重要的技术环节，它包含在自主开发或集成的第三方企业产品所提供的服务系统或解决方案中，一般服务于金融、电信等行业需要构建整体数据安全系统的企业。

3.2.2自主开发和自主使用的企业

它主要包括运营商、通信技术服务提供商、大型互联网公司等具有敏感数据保护需求并具有一定特征的企业。因为他们的需求是个性化的，并且他们具有一定的R&D能力，所以定制适合他们自己的数据脱敏工具更经济有效。

3.2.3通用数据脱敏工具的开发人员

致力于通用数据脱敏工具研发的企业通常以某类企业的需求为出发点，研发满足基本数据脱敏需求的工具产品，然后根据市场情况逐步完善产品功能。利润形式包括直接销售给要求高的企业，或者与安全服务提供商合作，整合他们提供的数据安全解决方案。

从数据脱敏技术的供给类型来看，静态脱敏技术目前已经成熟，而且大多数数据脱敏技术工具都可以提供完善的静态脱敏能力，其差异主要体现在易用性和自动化上。然而，动态脱敏仍处于初始开发阶段。

在动态脱敏的实现中，一个简单的实现方案是在请求目标数据后对数据进行脱敏，实际上仍然使敏感数据从数据源传输到外部；另一个相对复杂的实现方案是干扰数据请求和返回的过程。例如，在查询敏感数据所在的数据库时，解析查询sql，识别敏感数据列，修改查询sql，从而直接返回脱敏处理后的查询结果。一方面，该实现需要分析查询过程中涉及的数据源协议，在非开源的商业数据源中分析该协议比较困难，存在一定的法律风险；另一方面，由于不同数据源的查询协议之间存在相应的差距，这种动态脱敏实现很难推广，只能针对有需求的数据源类型进行定制，当有多种类型的有需求的数据源时，这既费时又费力。由于上述原因，目前的动态脱敏技术仍有一定的改进空，其实际应用远不如静态脱敏技术

3.3数据脱敏工具的产品标准化

对数据脱敏的需求仍在增加，市场上的产品也在陆续出现。由于产品不同，供需双方的对接还存在一些问题。目前，数据脱敏工具通常通过自我声明告知客户产品的基本功能。但是，没有办法证明产品的能力、脱敏程度、脱敏过程的安全性等。，这使得企业很难区分产品能力是否满足自己的功能需求，脱敏过程是否能保证脱敏过程中没有泄漏风险，以及产品形式和脱敏能力是否符合自己的业务场景。解决这些问题的一个办法就是推进与数据脱敏工具相关的标准化工作，根据行业需求和产品特点制定相关的技术和流程等标准，通过权威的第三方选择符合一定标准和规范的数据脱敏工具，可以有效消除需求方的诸多疑虑。因此，相关的标准化工作和基于标准的后续工作值得关注。

在数据脱敏工具的标准化过程中，除了数据脱敏技术的核心能力外，还应注意工具提供的其他相关能力，包括敏感数据识别能力、数据源管理能力、工具操作和维护管理能力、安全审计能力、脱敏算法、规则和策略管理能力。就核心能力而言，可分为两个部分:静态脱敏能力和动态脱敏能力。在静态脱敏能力方面，关注与脱敏任务相关的各种能力；在动态脱敏方面，我们侧重于防止绕过敏感数据访问的能力。除了基本功能之外，数据脱敏工具的性能可以从静态脱敏的数据吞吐量和动态脱敏的并发数和响应延迟来评估。

4数据脱敏技术的发展趋势

数据脱敏技术在一些领域已经成熟并得到应用，但随着脱敏需求的不断发展和变化，仍有不断优化和演进的方向。后续数据脱敏技术的发展有四个趋势。

4.1提高数据脱敏性能

数据脱敏需求的重要变化是数据量的增加。随着信息技术的逐步深入应用，各种企业组织可以保留和使用的数据量将激增，相应的需要脱敏处理的数据量也将同时增加；另一方面，依靠数据分析进行即时反馈调整的数据应用对实时数据的需求越来越大。在涉及敏感数据的实时应用中，实时或短时间内对大量数据进行脱敏处理的需求将逐渐增加。数据量和响应时间的需求变化预示着高性能数据脱敏技术的发展方向。

4.2非结构化数据的脱敏

数据脱敏需求的第二个变化来自大数据时代的非结构化数据。与传统的关系数据库存储的结构化数据相比，在当今存储和应用的数据中，图片、视频、音频和文本等非结构化数据的比例越来越大。在许多智能数据应用中，与个人隐私相关的非结构化数据的挖掘越来越正常，而结构化数据的脱敏处理技术将远远不能满足需求，各类非结构化数据的脱敏处理技术将成为关键的发展方向。

4.3智能数据脱敏

数据脱敏需求的第三个变化源于数据量和数据类型的增加。当数据的维度和类型不断扩展时，通过用户指定数据脱敏策略来手动绑定要脱敏的数据和脱敏规则和算法将是非常低效的。用户的手工工作量需要进一步减少，因此一些企业已经在脱敏工具中实现了自动识别和发现敏感数据等便利功能。在后续工作中，通过应用机器学习等技术，结合各种数据分类和分类规则以及实际使用的数据脱敏策略和规则，自动实时敏感数据发现和自动脱敏规则匹配等智能数据脱敏技术将成为预期的发展方向。

4.4数据脱敏技术的合规性应用

& # 8205；

数据脱敏需求的第四个变化来自相关政策的持续收紧。随着国内外保护个人隐私数据相关法律法规的不断出台，近年来频繁发生的数据泄露事件，以及对非法使用用户隐私数据的企业的处罚，促使企业将数据合规作为当前的重中之重。随后关于企业使用信息的法律法规将变得更加复杂和有针对性，企业合规的人力实施成本将继续上升。通过将数据脱敏技术与企业的各种相关法律法规和相关业务相结合，使敏感数据在企业业务流程中的使用处处合规，形成直接实现业务合规的数据脱敏产品，将有效改善这一合规问题，后续工作值得探索。

5结束语

本文对数据脱敏技术的应用背景、技术发展现状、应用及产品现状进行了梳理和阐述，并在参考当前行业应用的前提下，总结了数据脱敏技术未来的四大发展趋势。同时，从数据脱敏工具产品的角度，总结了三种类型的供应商。在进一步的分析中，阐述了数据脱敏工具产品标准化和评价的重要性，并提出了相应标准化工作的主要方向。

数据脱敏技术将永远是未来非常主流和常用的数据安全技术。随着新的和更复杂的脱敏需求，数据脱敏技术将会不断发展，数据脱敏工具的市场将会更加广阔。因此，随着技术的不断提高，相应的标准化工作将变得更加重要，成为不可忽视的支撑工作。