到底是什么是“数据湖仓”?

原创 鲜枣课堂 2025-03-27 20:22
之前写了数据仓库和数据湖:

写给小白的“数据仓库”科普
到底什么是“数据湖”?

今天是大数据专题的最后一篇,来讲讲数据湖仓


 为什么会有“数据湖仓”

前面我们提到,数据仓库出现于1990年代,主要基于MPP(Massively Parallel Processing,大规模并行处理)或者关系型数据库实现,用于企业做数据存储、处理和分析,发展数据看板、BI(商业智能)等用途。

而数据湖,出现于2010年代,主要基于大数据技术(Hadoop等)生态,用于支撑多样化的数据存储,实时性更强,适合满足批处理、流式计算等业务场景。


数据仓库的特点是,先做数据处理,搞得规范整齐之后,存起来。用的时候就直接用。它主要存的是结构化(行列)数据。

数据湖的特点是,什么数据(结构化、非结构化、半结构化)都能存,不做预处理,先全部都存起来,等要用的时候,再处理。


两种技术,各有优缺点:


从成本的角度来看,数据湖的起步成本很低,但随着数据体量的增大,成本会迅速飙升。而数据仓库恰好相反,前期建设开支很大,后期成本增加趋缓。


数据仓库和数据湖,都是基于数据进行价值挖掘,只是侧重点不同。对于企业来说,两者都有价值,所以,会选择同时建设。

很显然,这不仅导致了高昂的建设投资成本,也使得数据存在冗余和重复。

基于以上种种原因,业界就开始思考:是不是可以将数据仓库和数据湖进行结合,充分发挥两者的优势,弥补各自的缺陷呢?


于是,就有一些服务商,开始研究如何将两者的能力进行“打通”。

主要思路包括两种:一种是让数据仓库支持对数据湖的访问。还有一种,是让数据湖具备数据仓库的一些能力。

前者比较有代表性的,是2017年Redshift推出的Redshift Spectrum。它支持Redsift数据仓库用户访问AWS S3数据湖的数据。

后者有代表性的比较多,包括2017年Hortonworks孵化出的Apache Atlas和Ranger项目,2018年Nexflix开源的内部增强版本元数据服务系统Iceberg。2018-2019年,Uber和Databricks相继推出了Apache Hudi和DeltaLake,推出增量文件格式,用以支持Update/Insert、事务等数据仓库功能。

所有这些尝试和努力,都多多少少存在一些缺陷(数据仓库和数据湖存在本质的区别,整合难度很大),并不算成功。

2020年,数据智能独角兽企业Databricks(没错,就是提出Delta Lake的那个公司,数据湖的代表企业)正式提出了数据湖仓(Data Lakehouse概念。


Databricks联合创始人兼首席执行官阿里·戈德西(Ali Ghodsi)表示:

“从长远来看,所有数据仓库都将被纳入数据湖仓,这不会在一夜之间发生——这些东西会共存一段时间——在价格和性能上,数据湖仓完胜数据仓库。”

数据湖仓,也被称为湖仓一体

2021年,“湖仓一体”首次被写入Gartner数据管理领域成熟度报告。2023年6月,大数据技术标准推进委员会发布了《湖仓一体技术与产业研究报告(2023年)》。这一年的6月26日,“湖仓一体”在中国大数据产业发展大会上成功入选“2023大数据十大关键词”。



数据湖仓的主要特点

数据湖仓(湖仓一体),说白了,就是一种将数据仓库和数据湖打通的新型开放式架构。它既具备数据湖的灵活性,也具备数据仓库的高性能及管理能力,为企业进行数据治理带来了更大的便利和更高的效率

在数据湖仓的底层,支持多种数据类型并存,能实现数据间的相互共享。

在数据湖仓的上层,可以通过统一接口进行访问,可同时支持实时查询和分析。


数据仓库和数据湖这两套体系相互打通之后,数据可以在两者之间自由流动。

也就是说,数据湖里的“新鲜”数据(热数据),可以流到数据仓库里,直接被数据仓库使用。
    
而数据仓库里的“不新鲜”数据(冷数据),也可以流到数据湖里,低成本长久保存,供未来使用。

数据湖仓的特点,其实就是数据仓库的优点+数据湖的优点。

在数据存储方面,继承了数据湖的优势,支持多样化数据,且以HDFS或云对象存储为基础,实现了低成本、高可用。数据以原始格式或开放文件格式(如 Parquet、ORC)存储,具备高效的压缩比与列存储特性,方便查找。

开放文件格式,也保障了数据在不同计算引擎间的通用性。

数据湖仓同样支持Iceberg、Hudi、Delta Lake等开放表格式。它们不仅支持数据的近实时更新、高效的快照管理,还兼容 SQL 标准,使得数据既可以像传统数据库表一样进行事务性操作,又能充分利用数据湖的分布式存储与弹性计算优势。

在计算引擎方面(采用存算分离架构),整合了Spark、Flink、Presto、Doris等多样的计算引擎。通过统一的调度与资源管理,不同引擎可以共享存储资源,协同处理复杂的数据工作流,满足企业从实时监控到深度分析的全方位计算需求。

阿里云数据湖仓架构(来自阿里云官网

在数据一致性方面,提供ACID(原子性、一致性、隔离性、持久性)保证,确保数据写入的一致性,保证了多方同时读取或写入数据时的数据准确性。

在数据管理方面,数据湖仓实现了统一的元数据管理,支持全链路血缘,提供统一的命名空间、全局的数据目录。无论数据存储在何处,使用何种计算引擎,用户都能通过统一的API进行快速检索、理解与访问数据。数据治理,变得非常高效。

在数据安全方面,数据湖仓一般还支持多租户和库表列级数据权限,能够很好地进行租户隔离和数据权限管控,确保了数据的安全性和隐私性。


当然了,数据湖仓也不是没有缺点。

作为一项融合的技术架构,它的复杂性比较高,需要很高的技术门槛。而且,它的早期投资比较大,对企业来说有一定的成本压力。

数据湖仓的性能优化、数据治理以及安全防护,也存在一定的挑战。这些门槛和挑战,往往会让企业用户望而却步。


数据湖仓的参考架构

数据湖仓诞生至今的时间并不是很长。从最开始的仓和湖独立建设,到后来,逐渐形成了“湖上建仓”“仓外挂湖”两种实践路径。

湖上建仓,是指基于数据湖架构,或者以数据湖作为数据存储中间层,实现多源异构数据的统一存储。然后,以统一调用接口方式调用计算引擎,最终实现上下结构的湖仓一体架构。

仓外挂湖,是指以MPP数据库为基础,使用可插拔架构,通过开放接口对接外部存储,实现统一存储。

随着时间的推移,也有企业开始推出两种架构的深入融合。

目前,在数据湖仓领域比较有代表性的服务商,包括国外的AWS(亚马逊云科技)、微软Azure 、Databricks、Snowflake,以及国内的阿里云、腾讯云、华为云、星环科技等。


各大服务商的架构有较差的差异,但基本上都包括存储层、元数据管理层、计算引擎层、服务与治理层等。

以下是几个比较有代表性的架构,供参考。

科杰的数据湖仓架构:

图片来自网络

Azure的数据湖仓架构:

图片来自网络

AWS的数据湖仓(他们叫智能湖仓)架构:

图片来自“特大号

基于Apache Doris的湖仓一体架构:

图片来自网络


最后的话

目前来看,数据湖仓正在加速成为企业重要的战略性基础设施,用于长期的数据价值挖掘,以及发展AI应用。

根据毕马威的报告显示,86%的海外企业计划统一其分析数据,以支持AI业务的开发。国内也是如此。例如腾讯、B站、小红书等头部互联网企业,都采用了数据湖仓架构,用于不同程度的AI应用。

数据湖仓在实时流处理与机器学习方面表现出色,能够很好地满足大模型的训练需求,相信未来几年会得到更好的发展。


好啦,以上就是关于数据湖仓的介绍。鲜枣课堂大数据专题系列到此结束。感谢大家的耐心观看!


参考文献:
1、《数据库、数据湖、数据仓库、湖仓一体、智能湖仓,分别都是什么鬼》,特大号;
2、《从数据湖到湖仓一体:统一数据架构演进之路》,Light Gao,知乎;
3、《数据仓库、数据湖、湖仓一体,究竟有什么区别?》,SelectDB,知乎;
4、《什么是湖仓一体?湖仓一体解决了什么问题?》,帆软;
5、《2024大数据“打假”:什么才是真湖仓一体?》,张友东;大数据在线;
6、《大数据架构系列:如何理解湖仓一体?》,叶强盛,腾讯云开发者社区;
7、百度百科,维基百科,各大服务商官网。



鲜枣课堂 学通信,学5G,就上鲜枣课堂!
评论 (0)
  • 在智能语音设备开发中,高音量输出是许多场景的核心需求,例如安防警报、工业设备提示、户外广播等。 WT588F02BP-14S 和 WTN6040FP-14S 两款语音芯片,凭借其内置的 D类功放 和 3W大功率输出 能力,成为高音量场景的理想选择。本文将从 性能参数、应用场景、设计要点 三大维度,全面解析这两款芯片的选型策略。一、核心参数对比与选型决策参数WT588F02BP-14SWTN6040FP-14S输出功率3W@4Ω(THD<1%)3W@4Ω(THD<0.8%)功
    广州唯创电子 2025-03-28 09:15 149浏览
  • Shinco音响拆解 一年一次的面包板社区的拆解活动拉开帷幕了。板友们开始大显身手了,拆解各种闲置的宝贝。把各自的设计原理和拆解的感悟一一向电子爱好者展示。产品使用了什么方案,用了什么芯片,能否有更优的方案等等。不仅让拆解的人员了解和深入探索在其中。还可以让网友们学习电子方面的相关知识。今天我也向各位拆解一个产品--- Shinco音响(如下图)。 当产品连接上电脑的耳机孔和USB孔时,它会发出“开机,音频输入模式”的语音播报,。告诉用户它已经进入音响外放模式。3.5mm耳机扣接收电脑音频信号。
    zhusx123 2025-03-30 15:42 95浏览
  • 真空容器的材料选择取决于其应用场景(如科研、工业、医疗)、真空等级(低真空、高真空、超高真空)以及环境条件(温度、压力、化学腐蚀等)。以下是常见材料及其优缺点分析:1. 不锈钢(如304、316L)优点:耐腐蚀性强:316L含钼,耐酸碱和高温氧化,适合高真空和腐蚀性环境。高强度:机械性能稳定,可承受高压差和外部冲击。低放气率:经电解抛光或镀镍处理后,表面放气率极低,适合超高真空系统(如粒子加速器、半导体镀膜设备)。易加工:可焊接、铸造,适合复杂结构设计。缺点:重量大:大型容器运输和安装成本高。磁
    锦正茂科技 2025-03-29 10:52 57浏览
  • 3月27日,长虹中玖闪光超高剂量率电子射线放射治疗系统(e-Flash)临床试验项目在四川大学华西医院正式启动,标志着该项目正式进入临床试验阶段。这不仅是我国医学技术领域的一项重大突破,更是我国在高端医疗设备研发和应用方面的重要里程碑。e-Flash放射治疗系统适用于哪些病症,治疗周期为多久?会不会产生副作用?治疗费用高不高……随着超高剂量率电子射线放射治疗系统(e-Flash)正式进入临床试验阶段,社会各界对该项目的实施情况尤为关注。对此,中国工程院院士范国滨,以及四川大学华西医院、四川省肿瘤
    华尔街科技眼 2025-03-28 20:26 335浏览
  • 本文介绍瑞芯微RK356X系列复用接口配置的方法,基于触觉智能RK3562开发板演示,搭载4核A53处理器,主频高达2.0GHz;内置独立1Tops算力NPU,可应用于物联网网关、平板电脑、智能家居、教育电子、工业显示与控制等行业。复用接口介绍由下图可知,红圈内容当前引脚可配置为SPI0或者PWM0功能。由标准系统固件以及相关系统手册可得,当前接口默认配置为SPI0功能:console:/ # ls dev/spidev0.0dev/spidev0.0再由原理图可知当前GPIO为GPIO0_C3
    Industio_触觉智能 2025-03-28 18:14 175浏览
  • 在智能家居领域,无线门铃正朝着高集成度、低功耗、强抗干扰的方向发展。 WTN6040F 和 WT588F02B 两款语音芯片,凭借其 内置EV1527编解码协议 和 免MCU设计 的独特优势,为无线门铃开发提供了革命性解决方案。本文将深入解析这两款芯片的技术特性、应用场景及落地价值。一、无线门铃市场痛点与芯片方案优势1.1 行业核心痛点系统复杂:传统方案需MCU+射频模块+语音芯片组合,BOM成本高功耗瓶颈:待机电流
    广州唯创电子 2025-03-31 09:06 134浏览
  • 真空容器内部并非wan全没有压强,而是压强极低,接近于零。真空状态下的压强与容器内外气体的分子数量、温度以及容器本身的性质有关。一、真空与压强的基本概念真空指的是一个空间内不存在物质或物质极少的状态,通常用于描述容器或系统中气体的稀薄程度。压强则是单位面积上所受正压力的大小,常用于描述气体、液体等流体对容器壁的作用力。二、真空状态下的压强特点在真空状态下,容器内部的气体分子数量极少,因此它们对容器壁的作用力也相应减小。这导致真空容器内部的压强远低于大气压强,甚至接近于零。然而,由于技术限制和物理
    锦正茂科技 2025-03-29 10:16 174浏览
  • 在工业控制与数据采集领域,高精度的AD采集和实时显示至关重要。今天,我们就来基于瑞芯微RK3568J + FPGA国产平台深入探讨以下,它是如何实现该功能的。适用开发环境如下:Windows开发环境:Windows 7 64bit、Windows 10 64bitLinux开发环境:Ubuntu18.04.4 64bit、VMware15.5.5U-Boot:U-Boot-2017.09Kernel:Linux-4.19.232、Linux-RT-4.19.232LinuxSDK:LinuxSD
    Tronlong 2025-03-28 10:14 197浏览
  •        随着智能驾驶向L3级及以上迈进,系统对实时性的要求已逼近极限。例如,自动紧急制动(AEB)需在50毫秒内完成感知、决策到执行的全链路响应,多传感器数据同步误差需小于10微秒。然而,传统基于Linux-RT的方案在混合任务处理中存在天然缺陷——其最大中断延迟高达200微秒,且多任务并发时易引发优先级反转问题。据《2024年智能汽车电子架构白皮书》统计,超60%的车企因实时性不足被迫推迟舱驾一体化项目落地。为旌电子给出的破局之道,是采用R5F(实
    中科领创 2025-03-29 11:55 270浏览
  • 文/杜杰编辑/cc孙聪颖‍3月11日,美国总统特朗普,将自费8万美元购买的特斯拉Model S,开进了白宫。特朗普此举,绝非偶然随性,而是有着鲜明的主观意图,处处彰显出一种刻意托举的姿态 。特朗普也毫不讳言,希望他的购买能推动特斯拉的发展。作为全球电动车鼻祖,特斯拉曾凭借创新理念与先进技术,开辟电动汽车新时代,引领行业发展潮流。然而当下,这家行业先驱正深陷困境,面临着前所未有的挑战。就连“钢铁侠”马斯克自己都在采访时表示“非常困难”,的确是需要美国总统伸手拉一把了。马斯克踏入白宫的那一刻,特斯拉
    华尔街科技眼 2025-03-28 20:44 214浏览
  • 一、真空容器的定义与工作原理真空容器是一种能够创造并保持一定真空度的密闭容器。其工作原理通常涉及抽气系统,该系统能够逐渐抽出容器内部的气体分子,从而降低容器内的气压,形成真空环境。在这个过程中,容器的体积并不会因抽气而改变,但容器内的压力会随着气体的抽出而逐渐降低。二、真空容器并非恒压系统真空容器并非一个恒压系统。恒压系统指的是在外部环境变化时,系统内部压力能够保持相对稳定。然而,在真空容器中,随着气体的不断抽出,内部压力会持续降低,直至达到所需的真空度。因此,真空容器内部的压力是变化的,而非恒
    锦正茂科技 2025-03-29 10:23 158浏览
  • 本文介绍OpenHarmony5.0 DevEco Studio开发工具安装与配置,鸿蒙北向开发入门必备!鸿蒙北向开发主要侧重于应用层的开发,如APP开发、用户界面设计等,更多地关注用户体验、应用性能优化、上层业务逻辑的实现,需要开发者具备基本的编程知识、对操作系统原理的简单理解,以及一定的UI设计感。由触觉智能Purple Pi OH鸿蒙开发板演示。搭载了瑞芯微RK3566四核处理器,支持开源鸿蒙OpenHarmony3.2至5.0系统,适合鸿蒙开发入门学习。下载与安装开发工具点下面链接下载:
    Industio_触觉智能 2025-03-28 18:16 235浏览
  • 在智能语音交互设备开发中,系统响应速度直接影响用户体验。WT588F系列语音芯片凭借其灵活的架构设计,在响应效率方面表现出色。本文将深入解析该芯片从接收指令到音频输出的全过程,并揭示不同工作模式下的时间性能差异。一、核心处理流程与时序分解1.1 典型指令执行路径指令接收 → 协议解析 → 存储寻址 → 数据读取 → 数模转换 → 音频输出1.2 关键阶段时间分布(典型值)处理阶段PWM模式耗时DAC模式耗时外挂Flash模式耗时指令解析2-3ms2-3ms3-5ms存储寻址1ms1ms5-10m
    广州唯创电子 2025-03-31 09:26 158浏览
我要评论
0
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦