Cognos + Kyligence：打造大数据时代的OLAP解决方案

本篇文章3345字，读完约8分钟

作为hadoop的原始企业olap大数据分析产品，kyligence是ibmcognos在大数据场景下的迁移方案，已经成为金融企业取代ibmcognos技术的主流选择！

本文通过分析金融企业在使用cognos时遇到的瓶颈问题，并以kyligence在一家保险企业和一家大型金融公司的实际应用为例，展示kyligence如何取代cognosolap后台服务，提供基于分布式架构的大数据olap能力。它突破了cognos固有的支持维度少、性能低、单元级无acl能力、无法连接大数据平台等局限性，与cognos报表工具无缝集成，帮助企业实现海量大数据的亚秒级查询体验，赋予企业整体分析和决策效率。

前言

随着企业向“internet plus”和“金融技术”的转型，数据量和数据分析需求爆炸式增长，面临着来自业务分析、客户管理、精确度和:分析了准营销、风险防控等业务的需求，cognosolap组件在数据量、维度数、维度库、查询速度、构造性能、并发性等方面的不足。，以及高昂的使用成本，使得企业用户无法充分应对基于其平台的大数据多维分析的挑战。

例如，在国家金融机构中，cognos的平均查询时间是15分钟，最长的查询时间超过1小时。数据分析师不能进行多维分析，只能查看预先生成的固定报表。此外，在国有银行中，为了减少因权限变更而导致的数据刷新次数，需要为每个具有相同分析主题的分支机构建立一个多维数据集，导致全行有2000多个多维数据集，这对开发和运营维护都是很大的压力。因此，将企业级olap分析平台从传统技术迁移到超大规模数据集，尤其是基于hadoop平台的原生olap技术，已经成为越来越多国内外金融企业的选择。

Ibmcognos是一种传统的商业智能产品，以其完善稳定的功能较早进入市场，成为当时业界公认的主流OLAP(online Analytical Processing)产品之一，广泛应用于银行、保险、证券、电信等传统行业。

近年来，许多企业开始构建基于hadoop技术的大数据分析平台，以更好地支持企业对业务数据、用户行为数据、日志数据和外部数据的融合分析。然而，cognosbi与hadoop技术的兼容性差，以及cognospowercube本身的技术局限性，使得企业缺乏在大数据平台上进行olap多维交互分析的能力。Kyligence的产品，作为hadoop最初的企业级olap大数据分析组件，可以在pb级数据集上提供亚秒级的多维交互查询能力，已经成为金融企业取代cognosolap技术的主流选择。

保险案例kyligence+cognosbi融合分析实践

以一家大型国内保险公司为例。在财产保险公司保费增长率和综合成本率的背景下，企业期望从管理会计的新视角收集财务成本，整合汽车保险、非汽车保险、渠道和费用等近4亿个财务数据进行细粒度多维分析，为财务部门提供政策层面的数据多维业务分析和成本评估。然而，由于其自身技术架构的限制，传统的cognospowercube无法高效地分析行业与金融融合后的海量数据，多维分析全年的延迟往往慢至几分钟；它不能满足灵活高效地分析数以百计的工业和金融一体化数据的维度和指标的需要。分析维度和指标少，单个分析场景只能支持少于10个维度的灵活组合分析；并且分析时间滞后，分析可预测性差，回顾性分析困难。

基于hadoop分布式技术框架的Kyligence将多维数据集的能力提升到了一个全新的水平—单个多维数据集支持数百万亿字节甚至数十亿字节的源数据，多维数据集的维度和索引数量迅速扩展，支持百万级高基数维度分析，并支持高并发数据查询。Kyligencecube可以作为数据源与cognosbi无缝连接，这可以提高多维分析性能和体验，同时保留业务用户的使用习惯。

以绩效考核分析场景为例，财务人员可以从分公司/中间分公司/分公司/部门/经理、渠道、线路、代理点、同等报酬等40多个维度无限细分作业成本项目的责任单位，在几秒钟内获得200多个指标结果，可以有效提升作业成本管理，实现绩效考核和精益管理。

金融案例kyligence取代了cognos，成为企业olap平台的新选择

自2007年以来，国内一家大型金融公司将多维分析概念引入仓库系统，支持了大量的业务分析应用。2012年以后，随着数据量的增加，基于cognosolap的多维分析平台开始出现一些缺陷和技术局限。如日/月报表数据准备时间长，月报表构建时间超过三天，查询性能不稳定，查询延迟从几秒钟到几分钟甚至几小时，给业务带来很大的麻烦。另一方面，整个平台的运维工作量也在不断增加，1200个立方体支持80%的分析应用，调度5000多个任务，给开发和运维带来了巨大的负担。此外，该平台在编程、可扩展性和权限管理方面存在瓶颈。

2018年，企业在其hadoop大数据平台上部署了kyligence的智能数据分析平台，为企业内外的大数据提供多维探索和分析服务。每日批量从15小时减少到2小时，数据准备时间减少80%；通过将数百个cognoscube替换为一个kyligencecube，it运营和维护成本降低了90%；在不到3秒的时间内实现90%的查询响应，业务分析效率得到显著提高；支持数千万商户粒度的高性能交互分析和数据探索，成功推动业务创新。

kyligence+cognos极大地提高了企业分析和决策的效率

Kyligence的产品是基于apachekylin的企业智能大数据分析平台，为用户提供pb数据集的亚秒级查询能力。作为olap数据源，kyligencecube可以快速迁移和替换原始cognospowercube，并与cognos前端分析和演示组件(如reportstudio和analysisstudio)无缝接口。在支持原有业务的同时，KyligenceCube可以极大地增强支持新需求和服务的能力，增强用户在多维探索中的体验。以下是kyligence和cognos的集成架构图:

这里，在kyligence和cognos的集成架构中使用了相同的一组用户和数据权限管理机制，这大大提高了管理效率，避免了用户多次登录。Kyligence支持传统的rdbms数据库作为多维数据集构建的数据源，因此用户不需要重新定位底层数据和更改前端应用程序。它以快速灵活的方式加速了业务交互查询体验，并提高了企业的整体分析和决策效率。

以下是kyligencecube取代cognospowercube后的架构比较图。除了cognosbi，kyligence还可以与tableau、qlik和powerbi等其他bi工具无缝集成。

该方案将传统的cognospowercube替换为kyligencecube，突破了传统多维分析在容量、性能、实时性和并发性方面的瓶颈。该方案具有以下优点和益处:

cognosbi或其他前端表示工具的无缝集成，业务应用程序不需要更改，但是底层数据源可以快速切换；

显著降低立方体设计的复杂性，节省大量重复开发和运行维护的人工成本，并将it资源集中在更有价值和创新的技术和服务上；

提供智能方法来快速迁移现有的多维数据集，提高业务分析体验和效率，并大大加快项目部署周期；

立方体的每日增量构建通常可以在1小时内完成，这极大地提高了从数据到业务结果呈现的及时性；

基于pb级数据，it团队不需要提前准备概要场景，用户可以进行灵活的拖放、过滤、钻取等自助分析操作，提供更好的用户体验，加快业务数据采集的效率；

支持读写分离架构，提供稳定的并发性能，满足大量用户同时访问的需求，使企业能够将数据分析和决策能力渗透到企业的各个层面。

关于生成

由apache Kylin创立的Kyligence是apache软件基金会在中国的一个开源项目，是一家专注于大数据分析领域创新的数据技术公司。Kyligence提供了基于apachekylin的企业级大数据智能分析产品kyligenceenterprise，以及基于公共云的托管kylin在线服务kyligencecloud。目前，麒麟已经在国内外金融、保险、证券、电信、制造、零售和广告领域赢得了众多企业级客户。