构建逻辑数据平台，DataFabric在金融、能源等行业的落地实践

原创爱分析ifenxi 2024-04-02 19:42

【有奖直播】深入学习Microchip时钟和全新单片机方案 【有奖直播】提升毫米波信号测试精度

应对业务用数敏捷和数据管理有序，本次分享结合在能源企业和证券公司的实际应用案例，就如何构建企业级逻辑数据平台进行分享。

分享嘉宾｜余俊 Aloudata合伙人兼技术副总监

内容已做精简，如需获取专家完整版视频实录和课件，请扫码领取。

企业数据开发面临的问题和挑战

近10-20年，大量企业都在做自己的大数据平台，随着历史发展和技术的不断创新，企业内部可能同时存在不止一套大数据平台，数据孤岛化趋势明显，导致用户取数、用数成本激增，传统数据解决方案存在的数据时效问题、数据权责问题均难以解决。

数据湖与整个数仓的技术发展在近些年来迭代更新非常之快，随着企业大数据发展进程，数据孤岛问题随之产生。

首先，数据孤岛导致取数工作非常困难，尤其是不同数仓体系或者数据服务体系，不同产品访问、取数、用数、接口、语法都会不太一样，导致我们很难把这些数据真的用好，用户的学习成本非常高。

其次，业务用数时一旦涉及到一些全局业务，数据不在一个平台里面去使用，这些业务用数就非常难，典型的像业务360数据、集团财务看板这样一些数据。

最后，数据孤岛里面的数据也很难去做一些全域的数据治理，比如盘清楚企业真正的核心资产有哪些，有多少重复，这些问题都会面临挑战，这里包括数据安全管控问题等等。

面对这些问题，如果采取传统数据解决方案，通常做法是去搭建一个集中式的仓库，把所有的这些数据汇集到一起，然后再去做业务的实现。这样仍然面临几个很严峻的问题。一个是数据时效性的问题，因为数据如果提前同步好，是否所有数据都要提前同步进去？如果不是提前同步好，那么只有当业务用数的时候，你再去同步的话很可能面临一个滞后性的问题。除去时效性，另外一个问题是成本。数据权责的问题，数仓中加工出来的数据，同步出去之后，数据谁来维护？从生产者角度来讲，这个数据同步出去之后可能他的工作就结束了，从使用者角度来讲，又很在意数据的质量问题。

不同于ETL人工数据管理，Data Fabric利用数据虚拟化，无需复制数据，逻辑化实现任何来源、任何格式数据的集成整合，将正确的数据，在正确的时间，给到正确的人。

但数据虚拟化之后如何解决性能问题，是企业面临落地中一个非常大的挑战。

企业级逻辑数据平台构建与优势

面对企业数据孤岛，基于数据虚拟化引擎之上一整个逻辑数据研发平台。其中包含了数据逻辑集成、逻辑数据整合等多个维度。

逻辑数据平台的优势在于以销定产，业务按需进行逻辑集成和逻辑整合数据，业务使用数据按需做数据加速，同时也能轻松集成全域数据资产。

此外，逻辑数据平台也可以创建逻辑视图，分层加工数据，自动生成ETL任务和回收物理表，借由逻辑数据内置/外接数据构建+OLAP查询双引擎，BI工具直连逻辑数仓进行消费，数据处理和消费统一一套SQL语法，管理企业所有数据资产；逻辑数仓架构和底层大数据引擎解耦，底层技术组件升级不影响业务。

指标平台企业落地案例

基于企业数据孤岛，搭建逻辑层，有几个比较经典的架构。

一是数据的链接层，提供统一的数据逻辑整合能力，在此基础上做整个企业的统一资产管理。

二是统一的数据服务，包括统一的数据治理及统一的资产目录管理，对外访问的时候，只连接逻辑层，通过逻辑层实现所有消费端的对接。

案例一

某国有能源企业建有多套数仓，数据规模较大，数据分散，难以统一分析和使用。采用数据虚拟化构建逻辑层可以实现统一的数据查询和访问入口，统一集团所有数据权限管控和审计；同时也能统一数据服务，实现集团所有业务访问数据的集中管理；此外，在统一资产管理方面也有成效。

该国企最早使用的是基于Hana至少搭建BW数仓，之后又购买了国内大厂的一些数仓，因为其业务特性，各个分公司里面存在海量数据，这些数据有存在于另一个数据湖里面。整个数据中台，有BW仓的数据，也有新建数仓的数据，还有数据湖的数据。

像Mongo这种数据面临很多痛点，BW数据如果全部迁到新的数仓里面，无论重构还是新建，对于业务影响巨大，组织协同等各种原因导致无法做到统一，无法都搭到一个新的数仓里面去，但是从业务视角，有需要使用这些数据。同时集团子分公司非常多，每个子分公司又都有自己的数据，这些数据如何整合？最终采用的方案，在所有数据源之上构建一个虚拟化逻辑层，通过提供一个统一的数据访问服务，包括资产管理、安全管控。

实施过程中，按业务场景或是按业务线逐步去做，实现所有用数用户在逻辑数据平台这层可以看到企业所有有效数据，实现了整个数据查询访问的统一入口。

案例二

某传统券商公司要新建一个数仓以解决取数难的问题，如果采用传统数仓体系搭建，公司内部原因IT人员无法完全支持且项目投入成本巨大。逻辑数仓搭建，采用RP（Relational Projection）策略，数据交付时长可以从两周缩短到几小时，数据开发管理工作量减少30%，数据存储计算成本节约70%。

该券商公司如果采用传统数仓体系搭建，很多IT层面的工作需要靠外包来解决，评估来看投入成本非常大，包括各种数仓技术组件、引擎搭建成本，IT运维成本等。基于逻辑化，低成本解决方案，源头有很多个数据源，因其各种各样的业务系统，离散在MySQL、Oracle、SQL Server，基于这些业务系统的数据，抽出一个PDS层，之上做一个DWD层，能有一个数据的历史链路去做沉淀，可以用于数据回溯，这是在该层实现的一个特点。

以上是本次分享的全部内容，如需获取专家完整版视频实录和课件可扫码领取。

⩓

长按二维码，领取完整版视频实录和课件

18年互联网技术和大数据平台相关架构经验，曾任蚂蚁集团大数据研发平台技术负责人。从零主导完成蚂蚁第一和第二代数据研发平台产品体系的建设，涵盖数据集成、研发、运维、质量基线及资产平台等完整数据研发平台产品体系，搭建了蚂蚁面向金融行业的逻辑化智能数据研发平台，有丰富的海量数据及智能化数仓的落地实践经验。

注：点击左下角“阅读原文”，领取专家完整版实录和分享课件。