90 岁程序员:他的压缩算法改变了世界!

云脑智库 2021-06-23 00:00



近日,国际电气与电子工程学会(Institute of Electrical and Electronics Engineers,简称IEEE)宣布,授予IEEE终身Fellow Jacob Ziv 2021度IEEE荣誉勋章。

这位如今已90岁的前辈,是一位以色列科学家,他开发了通用无损压缩算法Lempel-Ziv,为后来的GIF、PNG和ZIP文件的开发奠定了坚实的基础。

1、

无损压缩算法发展史

20世纪70年代,随着互联网及PC时代的来临,如何在有限内存空间的设备上节省出更多的空间,并减少对带宽的占用,让文件在较低的网络带宽下实现更快的传输,成为彼时IT行业亟需解决的一大难题。

正因此,数据压缩技术也从背后逐渐走入大众视野,并开始在计算机领域扮演重要角色。

现如今,想必很多人都知道,数据压缩主要有两种类型:一种是有损压缩,一种是无损压缩。

所谓有损压缩,主要是利用了人类对图像或声波中的某些频率成分不敏感的特性,允许压缩过程中损失一定的信息,日常生活中,我们常见的语言、图像、视频压缩其实都是有损压缩的方式。

与有损压缩相比,无损压缩要更为复杂一些,对此,IEEE 官方使用了「魔术」一词来形容这门技术,其中原因主要是因为无损压缩技术是利用数据的统计冗余进行压缩,在解压之后,可完全恢复原始数据而不引起任何失真。这就像一位魔术师拿着魔术棒一挥,手中的东西不见了,再一挥,又原封不动地出现了,无损压损技术就像表演魔术一样。

而Jacob Ziv就是这位在数据压缩领域拿着魔术棒的大师。

不过,在Jacob Ziv这位魔术师带来奇特的魔术之前,压缩算法也经历了百年的发展历程

http://ethw.org/History_of_Lossless_Data_Compression_Algorithms

  • 事实上,发明于1838年的Morse code,是最早的数据压缩实例。
  • 随着大型机的兴起,数学家香农和Robert Fano(CSAIL的计算先驱和创始人)发明了Shannon-Fano(香农-范诺)编码算法。他们的算法基于符号(symbol)出现的概率来给符号分配编码(code)。一个符号出现的概率大小与对应的编码成反比,从而用更短的方式来表示符号。
  • 1951年,作为麻省理工的一名学生,David Huffman选择写学期论文而非期末考试的方式来完成学业任务,彼时他的论文题目是寻找二叉编码的最优算法。不过,遗憾的是,经过几个月的努力后依然没有任何成果,Huffman 决定放弃所有论文相关的工作,开始学习为参加期末考试做准备。就在那时,Huffman 偶然间找到一个与Shannon-Fano编码相类似但是更有效的编码算法,这种编码方式效率高、运算速度快。
  • 后来到了20世纪70年代,随着在线存储的出现,哈夫曼编码得到了广泛应用。不过,经过不断地尝试,不少科学家发现哈夫曼编码所得的编码长度只是对信息熵(描述信源的不确定度)计算结果的一种近似,还无法真正逼近信息熵的极限。同时,它需要两次通过数据文件:一次计算文件的统计特征,第二次编码数据。将字典与编码数据一起存储,增加了压缩文件的大小。

1977年,来自以色列的Jacob Ziv和Abraham Lempel两位技术大神打破传统的设计思想,创造出一种哈夫曼编码更有效的压缩算法,并以两个人名字来命名。同时,他们还发表了一篇名为《A Universal Algorithm for Sequential Data Compression》(顺序数据压缩的一个通用算法 ,https://www2.cs.duke.edu/courses/spring03/cps296.5/papers/ziv_lempel_1977_universal_algorithm.pdf)的论文,揭晓了独创的LZ77算法,这也是第一个使用字典来压缩数据的算法。

次年,Jacob Ziv和Abraham Lempel再次发表一篇改进版的论文(《Compression of Individual Sequences via Variable Rate Coding》),并带来了LZ78的压缩算法。与LZ77不同,LZ78解析输入数据,生成一个静态字典,不像LZ77动态产生。该算法成为80年代初使用的 Unix 压缩程序的基础;影响了90年代的WinZip和Gzip,为GIF、TIFF图片格式的开发带来了一定的指引。

如果没有这些算法的存在,现在的我们不一定能够使用更为便捷的网络就可以发送大型数据文件,或还停留在将大型数据文件拷贝到光盘上进行传输时代;听音乐时,还有可能需要CD而不是通过流式传输......

2、

Ziv的过往经历

这一切都需要感谢Jacob Ziv和Abraham Lempel。

"LZ算法是第一个成功的通用压缩算法",一位支持Ziv获奖的工程师如是说。这些算法以及Jacob Ziv对它们的分析,为后续关于通用算法的大多数工作奠定了基础。

回顾Ziv的过往经历,其跨越了半个世纪,将自己全身心地投入到压缩算法领域中。

1931年,出生在当时由英国统治的巴勒斯坦城市Tiberias(现属于以色列)的Ziv,在很小的时候,Ziv就对电力和电子产品有着浓厚的兴趣,譬如,在练习小提琴的时候,他会尝试把乐谱架变成一盏灯。此外,他还试图用钢琴弹奏的金属零件制作一个马可尼发射机。

1948年,第一次阿以战争爆发时他在读高中,后来被征召到前线短暂地服过役。由于一群母亲组织抗议,他才从前线回到了后方,在空军受训担任雷达技师。战争结束后,他进入以色列理工学院学习电气工程。

在1955年完成硕士学位后,Ziv重返国防界,并加入了以色列国防研究实验室(现为拉斐尔先进防御系统),开发用于导弹和其他军事系统的电子元件。

1959年,Ziv被选为以色列国防实验室为数不多的出国留学的研究人员之一。那时,Ziv计划继续从事通信工作,但他不再只对硬件感兴趣。偶然机遇之下,他阅读了《信息理论》(Prentice-Hall,1953年)的书籍,他决定将信息理论作为他关注的焦点。然而,除了麻省理工学院之外,还有什么地方可以研究信息理论呢?

当然还是麻省理工!于是,1960年,Ziv进入MIT读博,在信息理论方面深造,在毕业返回以色列后进入了国防部担任通信部门主管。

1968年,他返回美国,进入了贝尔实验室。

两年后,Ziv和几个同事一起加入了以色列理工学院。就是在这里,他遇到了Abraham Lempel,两个人共同讨论了如何改进无损数据压缩。

Ziv和Lempel都想知道他们是否可以开发一种无损数据压缩算法,该算法适用于任何类型的数据,不需要预处理,并且能够实现数据的最佳压缩,这个目标被称为Shannon熵的对象定义。在设想时,他们并不清楚是否可以实现他们的目标。于是,他们决定找出答案。

在深入研究几年后,随着LZ77和LZ78的出现,代表了其研究成功。Ziv和Lempel开创了通用源编码,一系列无需知道固有信息压缩数据的算法,减少了从不失真和失真数据重建图像所需的数据率。

对此,斯坦福大学从事信息理论的电气工程教授Tsachy Weissman表示:"在他们发表作品时,算法清晰优雅,易于实现,计算复杂度低,这一事实几乎无关紧要。更多的是关于理论结果,为接下来的研究带来重要意义。"

另外,Ziv还促成了错误校正代码的低计算复杂性解码理论。并于:

  • 1993年,因精确科学而被授予以色列奖(Israel Prize);
  • 1995年,因其“对信息理论、数据压缩的理论和实践的贡献”获得 IEEE 理查德 · 汉明奖章;
  • 1997年,获得IEEE信息论学会的克劳德 · 香农奖;
  • 2008年,获得BBVA基金会知识前沿奖。

如今,凭借「其对信息理论和数据压缩技术的重要贡献和杰出的研究领导地位」,被授予2021年度IEEE荣誉勋章,可谓实至名归,向依旧奋战在研究一线的前辈致敬!

参考:
https://spectrum.ieee.org/the-institute/ieee-member-news/ieee-medal-of-honor-goes-to-data-compression-pioneer-jacob-ziv

https://spectrum.ieee.org/geek-life/profiles/from-winzips-to-cat-gifs-jacob-zivs-algorithms-have-powered-decades-of-compression

文章来源:CSDNnews


—  The End  —


声明本公众号目前所载内容为本公众号原创、网络转载或根据非密公开性信息资料编辑整理,相关内容仅供参考及学习交流使用。由于部分文字、图片等来源于互联网,无法核实真实出处,如涉及相关争议,请跟我们联系。我们致力于保护作者知识产权或作品版权,本公众号所载内容的知识产权或作品版权归原作者所有。本公众号拥有对此声明的最终解释权。


投稿/招聘/推广/宣传/合作/入群 请加微信:liuyuanzhu



▼ 戳#阅读原文# ,加入#知识星球#精彩继续#分享/收藏/赞/在看#

云脑智库 努力是一种生活态度,与年龄无关!专注搬运、分享、发表雷达、卫通、通信、化合物半导体等技术应用、行业调研、前沿技术探索!专注相控阵、太赫兹、微波光子、光学等前沿技术学习、分享
评论
  • 新年伊始,又到了对去年做总结,对今年做展望的时刻 不知道你在2024年初立的Flag都实现了吗? 2025年对自己又有什么新的期待呢? 2024年注定是不平凡的一年, 一年里我测评了50余块开发板, 写出了很多科普文章, 从一个小小的工作室成长为科工公司。 展望2025年, 中国香河英茂科工, 会继续深耕于,具身机器人、飞行器、物联网等方面的研发, 我觉得,要向未来学习未来, 未来是什么? 是掌握在孩子们生活中的发现,和精历, 把最好的技术带给孩子,
    丙丁先生 2025-01-11 11:35 457浏览
  • 01. 什么是过程能力分析?过程能力研究利用生产过程中初始一批产品的数据,预测制造过程是否能够稳定地生产符合规格的产品。可以把它想象成一种预测。通过历史数据的分析,推断未来是否可以依赖该工艺持续生产高质量产品。客户可能会要求将过程能力研究作为生产件批准程序 (PPAP) 的一部分。这是为了确保制造过程能够持续稳定地生产合格的产品。02. 基本概念在定义制造过程时,目标是确保生产的零件符合上下规格限 (USL 和 LSL)。过程能力衡量制造过程能多大程度上稳定地生产符合规格的产品。核心概念很简单:
    优思学院 2025-01-12 15:43 522浏览
  • 随着通信技术的迅速发展,现代通信设备需要更高效、可靠且紧凑的解决方案来应对日益复杂的系统。中国自主研发和制造的国产接口芯片,正逐渐成为通信设备(从5G基站到工业通信模块)中的重要基石。这些芯片凭借卓越性能、成本效益及灵活性,满足了现代通信基础设施的多样化需求。 1. 接口芯片在通信设备中的关键作用接口芯片作为数据交互的桥梁,是通信设备中不可或缺的核心组件。它们在设备内的各种子系统之间实现无缝数据传输,支持高速数据交换、协议转换和信号调节等功能。无论是5G基站中的数据处理,还是物联网网关
    克里雅半导体科技 2025-01-10 16:20 444浏览
  • 食物浪费已成为全球亟待解决的严峻挑战,并对环境和经济造成了重大影响。最新统计数据显示,全球高达三分之一的粮食在生产过程中损失或被无谓浪费,这不仅导致了资源消耗,还加剧了温室气体排放,并带来了巨大经济损失。全球领先的光学解决方案供应商艾迈斯欧司朗(SIX:AMS)近日宣布,艾迈斯欧司朗基于AS7341多光谱传感器开发的创新应用来解决食物浪费这一全球性难题。其多光谱传感解决方案为农业与食品行业带来深远变革,该技术通过精确判定最佳收获时机,提升质量控制水平,并在整个供应链中有效减少浪费。 在2024
    艾迈斯欧司朗 2025-01-14 18:45 59浏览
  • 在不断发展的电子元件领域,继电器——作为切换电路的关键设备,正在经历前所未有的技术变革。固态继电器(SSR)和机械继电器之间的争论由来已久。然而,从未来发展的角度来看,固态继电器正逐渐占据上风。本文将从耐用性、速度和能效三个方面,全面剖析固态继电器为何更具优势,并探讨其在行业中的应用与发展趋势。1. 耐用性:经久耐用的设计机械继电器:机械继电器依靠物理触点完成电路切换。然而,随着时间的推移,这些触点因电弧、氧化和材料老化而逐渐磨损,导致其使用寿命有限。因此,它们更适合低频或对切换耐久性要求不高的
    腾恩科技-彭工 2025-01-10 16:15 100浏览
  • PNT、GNSS、GPS均是卫星定位和导航相关领域中的常见缩写词,他们经常会被用到,且在很多情况下会被等同使用或替换使用。我们会把定位导航功能测试叫做PNT性能测试,也会叫做GNSS性能测试。我们会把定位导航终端叫做GNSS模块,也会叫做GPS模块。但是实际上他们之间是有一些重要的区别。伴随着技术发展与越发深入,我们有必要对这三个词汇做以清晰的区分。一、什么是GPS?GPS是Global Positioning System(全球定位系统)的缩写,它是美国建立的全球卫星定位导航系统,是GNSS概
    德思特测试测量 2025-01-13 15:42 491浏览
  • 随着数字化的不断推进,LED显示屏行业对4K、8K等超高清画质的需求日益提升。与此同时,Mini及Micro LED技术的日益成熟,推动了间距小于1.2 Pitch的Mini、Micro LED显示屏的快速发展。这类显示屏不仅画质卓越,而且尺寸适中,通常在110至1000英寸之间,非常适合应用于电影院、监控中心、大型会议、以及电影拍摄等多种室内场景。鉴于室内LED显示屏与用户距离较近,因此对于噪音控制、体积小型化、冗余备份能力及电气安全性的要求尤为严格。为满足这一市场需求,开关电源技术推出了专为
    晶台光耦 2025-01-13 10:42 498浏览
  • 根据Global Info Research(环洋市场咨询)项目团队最新调研,预计2030年全球无人机电池和电源产值达到2834百万美元,2024-2030年期间年复合增长率CAGR为10.1%。 无人机电池是为无人机提供动力并使其飞行的关键。无人机使用的电池类型因无人机的大小和型号而异。一些常见的无人机电池类型包括锂聚合物(LiPo)电池、锂离子电池和镍氢(NiMH)电池。锂聚合物电池是最常用的无人机电池类型,因为其能量密度高、设计轻巧。这些电池以输出功率大、飞行时间长而著称。不过,它们需要
    GIRtina 2025-01-13 10:49 182浏览
  • 流量传感器是实现对燃气、废气、生活用水、污水、冷却液、石油等各种流体流量精准计量的关键手段。但随着工业自动化、数字化、智能化与低碳化进程的不断加速,采用传统机械式检测方式的流量传感器已不能满足当代流体计量行业对于测量精度、测量范围、使用寿命与维护成本等方面的精细需求。流量传感器的应用场景(部分)超声波流量传感器,是一种利用超声波技术测量流体流量的新型传感器,其主要通过发射超声波信号并接收反射回来的信号,根据超声波在流体中传播的时间、幅度或相位变化等参数,间接计算流体的流量,具有非侵入式测量、高精
    华普微HOPERF 2025-01-13 14:18 482浏览
  •   在信号处理过程中,由于信号的时域截断会导致频谱扩展泄露现象。那么导致频谱泄露发生的根本原因是什么?又该采取什么样的改善方法。本文以ADC性能指标的测试场景为例,探讨了对ADC的输出结果进行非周期截断所带来的影响及问题总结。 两个点   为了更好的分析或处理信号,实际应用时需要从频域而非时域的角度观察原信号。但物理意义上只能直接获取信号的时域信息,为了得到信号的频域信息需要利用傅里叶变换这个工具计算出原信号的频谱函数。但对于计算机来说实现这种计算需要面对两个问题: 1.
    TIAN301 2025-01-14 14:15 108浏览
  • 电动汽车(EV)正在改变交通运输,为传统内燃机提供更清洁、更高效的替代方案。这种转变的核心是电力电子和能源管理方面的创新,而光耦合器在其中发挥着关键作用。这些不起眼的组件可实现可靠的通信、增强安全性并优化电动汽车系统的性能,使其成为正在进行的革命中不可或缺的一部分。光耦合器,也称为光隔离器,是一种使用光传输电信号的设备。通过隔离高压和低压电路,光耦合器可确保安全性、减少干扰并保持信号完整性。这些特性对于电动汽车至关重要,因为精确控制和安全性至关重要。 光耦合器在电动汽车中的作用1.电池
    腾恩科技-彭工 2025-01-10 16:14 78浏览
  • 随着全球向绿色能源转型的加速,对高效、可靠和环保元件的需求从未如此强烈。在这种背景下,国产固态继电器(SSR)在实现太阳能逆变器、风力涡轮机和储能系统等关键技术方面发挥着关键作用。本文探讨了绿色能源系统背景下中国固态继电器行业的前景,并强调了2025年的前景。 1.对绿色能源解决方案日益增长的需求绿色能源系统依靠先进的电源管理技术来最大限度地提高效率并最大限度地减少损失。固态继电器以其耐用性、快速开关速度和抗机械磨损而闻名,正日益成为传统机电继电器的首选。可再生能源(尤其是太阳能和风能
    克里雅半导体科技 2025-01-10 16:18 325浏览
  • 数字隔离芯片是现代电气工程师在进行电路设计时所必须考虑的一种电子元件,主要用于保护低压控制电路中敏感电子设备的稳定运行与操作人员的人身安全。其不仅能隔离两个或多个高低压回路之间的电气联系,还能防止漏电流、共模噪声与浪涌等干扰信号的传播,有效增强电路间信号传输的抗干扰能力,同时提升电子系统的电磁兼容性与通信稳定性。容耦隔离芯片的典型应用原理图值得一提的是,在电子电路中引入隔离措施会带来传输延迟、功耗增加、成本增加与尺寸增加等问题,而数字隔离芯片的目标就是尽可能消除这些不利影响,同时满足安全法规的要
    华普微HOPERF 2025-01-15 09:48 78浏览
  • ARMv8-A是ARM公司为满足新需求而重新设计的一个架构,是近20年来ARM架构变动最大的一次。以下是对ARMv8-A的详细介绍: 1. 背景介绍    ARM公司最初并未涉足PC市场,其产品主要针对功耗敏感的移动设备。     随着技术的发展和市场需求的变化,ARM开始扩展到企业设备、服务器等领域,这要求其架构能够支持更大的内存和更复杂的计算任务。 2. 架构特点    ARMv8-A引入了Execution State(执行状
    丙丁先生 2025-01-12 10:30 466浏览
我要评论
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦