Gartner对于建设数据中台的建议

本篇文章3453字，读完约9分钟

数据中间站是一个在中国诞生的名词，很多企业都在“什么是数据中间站”和“我想去xx中间站”之间徘徊。其炒作程度与“大数据”一词相同。如果我们看看高德纳的炒作周期图，数据中心现在正接近炒作的顶峰。

企业不应该老是讨论什么是数据中间站，而是应该明白，构建数据中间站的目的是让企业能够高效地驱动数据，减少重复的架构构建。如果你想用一张图片来描述gartner如何看待数据中心的建设方向，可以如下图所示。

数据中间平台的建设方向应以企业数字平台为核心，即高德纳定义的数据和分析平台(红色虚线)，帮助企业数字平台(客户体验平台、生态系统平台、物联网平台和内部信息系统)的业务用户做出更好的决策，并在各种数字平台的协同孵化下形成可复用的数据分析能力。数据分析能力应该无处不在，在业务方面高度自助，最终帮助数字平台实现gartner定义的打包业务能力。

以下是gartner对希望建立数据中心的企业的建议。

数据中心数据管理策略的平衡

上述“大而全”的方向听起来很美，但许多企业在建设初期并没有考虑各种数字平台数据资产的可重用性或自助式(这也是许多企业建立数据中心的初衷)。原因很简单。一次性数字化所有平台是不现实的。许多公司分阶段实施，特别是在传统企业。许多企业尚未完成数字化，更不用说建立数据中心了。阿里、腾讯等数字原创企业在建设中间站方面有很大优势，或者说数据中间站是这些企业在业务成倍增长的同时自然成长的产物。

此外，数据作为数字业务核心资产的价值被广泛接受。企业最直接的反应是在建立数字平台时尽量收集数据，好像这是实现商业价值的关键。例如，过去非常流行的数据湖将收集数据作为其核心竞争力。然而，收集数据可能不会带来商业价值，企业不可能一次收集所有数据。

以物联网平台为例，数据分布在网络、边缘设备、网关、云和传统系统上。& quot例如:“事物”(例如联网的汽车或风力涡轮机)必须具有机载或网关数据和处理，以便对变化的条件做出即时响应。面向消费者的物联网解决方案，如用于健身跟踪的可穿戴设备，通常将数据存储在云中进行分析。此外，几乎所有物联网解决方案都必须与传统业务应用程序共享和集成数据，以执行客户服务和长期性能分析。

此外，对于实时(或“接近实时”)而言，对集成的日益增长的需求引入了对交付时间的要求，这使得快速数据收集策略无法满足。在采取响应之前，操作流程处于“边缘”状态。对数据的操作与预先在集中存储位置收集所有数据的要求不兼容。试图收集所有这些物联网数据供后续处理和使用既不现实也不可行。

同时，保护信息的隐私法律法规也会阻碍数据的整体收集。因此，一些数据用例需要连接到数据，而不仅仅是收集数据。

在企业中构建数据中心绝不是在开始应用数据之前在一个地方收集所有数据。随着数据的不断涌入，以连接的方式在最初存储数据的介质中重用数据是数据中心应该具备的手段。收集数据和连接数据之间的平衡是现代数据管理的必要条件。数据虚拟化的能力将是企业在保留现有数据库和投资数据湖时必须考虑的一个因素，但希望建立一个数据中心。重复或冗余的数据总是存在的，企业应该建立“单一来源的信任”而不是“单一来源的信任”。

企业可以进一步参考gartner提出的新一代数据管理设计原则datafabric，实现可重用和增强的数据集成服务、数据管道和语义层，从而实现灵活的数据交付。

定位数据中心以促进组织战略的合作

企业在逐渐数字化转型的过程中面临的一个共同问题是，他们走自己的路，构建类似的解决方案，例如针对不同业务目的的数据分析模型，这些模型具有共同的元素。在更好的情况下，这将导致重复，但在更多的情况下，它也将增加复杂性，因为它将产生不同的点解决方案，这些解决方案甚至不能在单个企业内进行沟通，更不用说在整个公司的业务价值链中了。从这个角度来看，gartner建议企业将数据中心定义为一种组织战略，并将数据分析团队作为构建数字平台的一个基本要素。Gartner还在2019年的gartner Digital Business Team问卷调查中发现，数据分析/商业智能是fusionteam的一项常见功能，但它不是。

一个好的数据分析团队由不同业务领域的集中团队和分散团队组成。许多企业过于注重技术架构的构建，而不是业务人员基于数据的合作。在盲目追求新的数据分析技术堆栈的过程中，他们忽略了组织策略的调整来解决实际业务用户的问题，将原来遗留下来的问题从数据仓库转移到数据湖，然后转移到当前的中间平台去享受数据而不是解决它们。现代数据分析团队应该是数据分析能力的推动者，从控制数据能力到促进基于数据的合作。

从业务场景中组织现有的数据分析功能

企业已经投资各种数据分析资产，同时不断构建自己的数字平台。此时，没有必要为了数据中间平台这个新词而放弃已经建立的数据仓库、数据湖和数据集成平台。企业需要做的是将数据中间平台作为一种组织战略，与各部门共同构建可重用、自助式的数据分析能力，并通过业务流程到数字平台，将现有的数据分析能力自上而下(红线)进行整理。

大多数企业实际上都在做自下而上(蓝线)的数据分析平台，这并没有错，尤其是企业的集中it团队已经部署了多个仓库，设计了etl流程和报表系统。然而，作为一线企业，获得这些能力是被动的。随着时间的推移，将不会有企业主动提高自己的数据分析能力。毕竟，作为企业中的一方，企业只提及自己的需求仍然很酷。

然而，为了使企业变得更加数据驱动，或者企业建立的数据中心能够真正被使用，迫使企业从业务场景进行数据分析是一种不可避免的方式，特别是在业务方面，它是一群能够提出业务问题并发起分析的人。

下图是一个典型的电子商务业务场景，从业务角度定义和梳理分析时间，从技术层面找到相应的数据分析能力。

分析时间是gartner定义的数据分析过程，它通过可视化、探索和将算法应用于数据来支持业务结果的交付，从而做出更好或更快的决策，并实现业务流程的自动化。在这个例子中，数据分析能力(最右边)是逐渐建立起来的，有大量的制造商可以从中选择。这些能力在多大程度上可以被其他分析时刻重用，以及业务应用的阈值有多低，直接决定了数据获取的成功。其中，制造商的能力可以通过gartner每年在数据分析领域的九个magicquadrant和附带的关键能力报告进行评估。

在数据构建中，整理分析时间通常是一个棘手的部分。一方面，他依赖于供应商是否有能力进行业务咨询以理清业务场景，另一方面，他也依赖于企业自身的数据素养来不断优化对数据分析能力的要求。企业可以通过建立数据中心的机会来整理现有的数据分析能力或尝试新的数据分析能力。gartner的年度“gartneranalyticsatlas”报告可以帮助企业像能力词典一样进行分类和选择。

这是一个集成和重用数据分析功能的创新过程

从刚才的例子中，我们可以看到电子商务场景的业务逻辑非常成熟和清晰，其背后的数据分析能力可以被快速重用。然而，可重用数据分析能力是一个非常主观的概念。具有不同数据素养的团队对数据分析能力有非常不同的要求。越简单易用，就越容易被其他业务场景重用。区别在于数据场景和用户场景。如果数据平台的输出能力仅仅是dataasaservice，也就是说，api的形式远远不能被企业直接使用，从而降低了企业中数据分析应用的广度。企业应该通过集成和重用来丰富数据分析能力的输出。随着新技术的引入和集成团队的建立，这无疑是一个创新的过程。

例如，基于机器学习的增强数据分析和管理工具可以大大降低用户的使用阈值(自然语言驱动的分析)，并减少数据管理的工作量(主动使用元数据来学习用户行为)。企业应该明白，使用增强功能是为了减少数据分析的手动部分，从而让用户有更多的时间思考企业如何使用数据。

图表的引入将进一步帮助企业找出利用率严重不足的数据。图形可以发现企业数据和数据以及不同部门使用的数据之间被忽略或不易察觉的联系，从而可以发现重用的能力。图形已经成为许多数据分析产品的基本技术。当一个企业建立一个数据中心时，它缺少的可能不是数据的数量或质量，而是数据之间的联系。

如果企业建立的数据中心需要进一步减少重复开发的工作量，但从技术角度提高数据分析的利用率，这些技术值得进一步研究。增强的数据管理和映射技术也是高德纳今年十大数据分析技术之一。

最后，您可能想问高级管理人员，如果您真的有一个完美的数据中心来满足您所有的技术期望，您的员工的数据素养会保持吗？