当流量和速度不再是瓶颈，视频就将成为主流的信息消费模式。此刻乃至未来必将是一个“无处不屏幕，无处不视频”的世界。新技术的演进由此激发……人们对于高清、高帧率的视频需求，必然有增无减。传统的CPU、GPU已经无法胜任这一需求。于是，视频处理单元（VPU）应运而生。VPU是什么？它基于一个多标准的视频编解码器（编码器/解码器），能够通过时间复用同时处理多个数据流。从技术角度看，VPU内置视频编解码加速专用功能模块，是专门面向视频场景优化设计的视频加速器，具有高性能、低功耗、低延时等特性，能为视频行业应用带来高能效的加速计算。VPU的市场应用场景非常多，户外显示、无人机、安防、移动端、汽车、工业、医疗、云游戏、云桌面、VR/AR、元宇宙等都是其应用场景，也因为场景广泛，市场对专用视频处理芯片的需求呈现爆发式增长。有研究分析，预计在未来几年内，VPU市场规模或将达千亿美金。面对这个巨大的增量市场，各大互联网企业、云计算与半导体巨头都纷纷出手，争夺市场，如谷歌在2021年发布了自研的Argos VCU，腾讯自研了视频转码芯片“沧海”。此外，Meta、字节跳动、快手等互联网大厂纷纷启动了VPU布局，半导体领域的IP厂商安谋科技也推出了“玲珑”系列VPU。不过，有家本土IP厂商因为长期专注于处理器IP领域，积累较深，在VPU领域已经进入了收获期，它就是有“中国芯片IP第一股”之称的芯原微电子（上海）股份有限公司（芯原股份，688521.SH，本文简称“芯原“）。根据灼识咨询的研究数据，在这个领域，芯原VPU IP市场占有率已经成为了全球第一！“芯原的VPU已经被众多大家耳熟能详的全球知名互联网企业及知名半导体公司所采用。”芯原股份执行副总裁、业务运营部总经理汪洋在接受电子创新网独家专访时指出。“基本上目前大家要选VPU的时候，首选的就是芯原的技术。我们VPU的性能在业界已经有口皆碑，获得了大家的广泛认可。”其实，芯原的VPU与中国25年前的流行VCD有很大的渊源，今天我们就展开说说。25年前，中国曾经风靡过VCD，这个产业造就了一家叫步步高的整机企业(大名鼎鼎的OPPO和VIVO就源于步步高)，他们生产的步步高VCD纠错能力特别强，我记得一个加拿大的同学回国特意在华强北买了五台带回去，另外，这个产业还造就了一家做视频解码芯片的公司，叫C-cube，它是全球最早从事数字视频压缩技术的公司，我一个哥们买VCD的时候总问人家“里面是斯高柏（C-cube）解码芯片吗？”得到肯定的答复后才愿意下单。可惜，C-cube公司抓住了VCD的机遇却没有抓住后来的MP3、MP4机遇，公司在2001年被LSI收购，视频压缩技术的开拓者C-cube就以这样方式淡出了大众视野，它真的就这样消失了吗？2006年7月5日，芯原从LSI Logic公司成功购并ZSP数字信号处理器部门，根据资产收购协议，芯原已获得ZSP可授权内核、开发工具、标准产品和软件，以及其它相关联的发明和专利。大部分ZSP部门的员工，包括工程师、软件开发、销售、客户服务和支持代表加入芯原，研发人员中就有原来C-cube的团队，这个团队也由此进入了芯原。曾在LSI任职的汪洋就是那时加入了芯原。芯原股份执行副总裁、业务运营部总经理汪洋
收购ZSP，是因为芯原看好嵌入式DSP的未来，这个判断也是很准确的，后来独立的DSP器件销售下滑，而嵌入式DSP应用风生水起。目前，芯原的ZSP已经应用在很多场景。据汪洋介绍，芯原可编程ZSP数字信号处理器 (DSP) IP对算法进行了层层优化，可实现数据流的不断加速。ZSP系列IP囊括多种PPA规格和系统要求，广泛适用于音频、语音、图像、视觉、无线连接、电力线通信等场景。
“大约自2010年起，数字视频处理就开始热门起来，当时很多平台型企业和独立IC设计公司如联发科等，都在自研视频编解码器。芯原专注于处理器IP技术，公司管理层非常看好VPU技术的前景，并认为这个需求会长期存在，且持续扩大。”汪洋回忆说，“我们当时就决定用原来C-cube的团队来进行VPU技术的研发，同时分派具备丰富硬件逻辑电路设计经验的工程师们加入VPU开发队伍。这个团队能力出众，战斗力和凝聚力都非常强。我们最早开发支持1080P的H.264的编解码器。后来，新的视频编解码标准不断推出，如VP9、H.265/HEVC、AV1、H.266/VVC等，感觉像游戏里打不完的怪，团队的开发压力也倍增！然而一次次的高目标达成，使得这支团队的战斗力也不断提升。”“随着视频编解码标准不断升级，也给我们带来了一个好处，那就是跟随的人逐渐少了。这就像长跑，如果你坚持，哪怕几乎跑不动了也不放弃，熬过最艰辛的阶段后，就会进入收获期！”汪洋感慨地表示，“后来很多公司逐步放弃了自研视频编解码器，因为标准不断推陈出新，而且要做到向后兼容，这让很多大公司都吃不消！更重要的一点是，在对新格式进行支持时，如何在保证高性能编解码的同时，尽可能控制好硬件的规模，也就是更好地复用已有的编解码硬件以减少硬件单元和使用功耗，达到最优的PPA。由于芯原一直专注于视频编解码技术，我们在投身这个技术研发的最初，就从代码架构上考虑到了未来持续扩展时的PPA问题。芯原VPU核心团队一起工作了20年以上，深耕视频领域，提供业内最全面的编解码选项给客户，具备快速实现客户视频相关定制化功能的能力，还有非常优秀的软件支持团队，可以帮客户在SoC 系统中最大程度地使用好VPU的各项功能和性能。这些都是芯原VPU技术的独特价值，获得了市场的高度认可。”始于与谷歌在视频技术上的合作，芯原在VPU IP上持续投入研发至今，已经硕果累累。结合公司长期的技术和市场积累，芯原正在将VPU不断推向一个个新的创新高度，以保持在这个领域的持续领跑节奏。回顾过去，2010年谷歌为实现高质量视频格式开源且免费而收购了On2。一年后On2/谷歌将其相关客户协议转让给芯原。同年，芯原成为谷歌WebM视频格式在亚洲首个硬件合作伙伴。随后，芯原经过内部团队的持续开发，在2014年新增了高清视频解决方案，在2018年拥有了4K和8K分辨率的视频编解码的能力，并增加了视频压缩处理模块。据汪洋介绍，芯原的VPU除了具有优秀的视频处理能力，高度可扩展，且经过众多客户产品的市场验证之外，还可以与自有的各类核心处理器IP原生协同，实现具有突破性的处理能力。“为了让芯原各个IP之间具有更好的协同处理能力，我们开发了FLEXA同步接口通信技术，用以高效地连接多个IP，从而形成面向低延时、低带宽和低功耗应用的子系统解决方案；还开发了统一帧缓冲压缩（Unified Frame Buffer Compression）技术，通过无损或有损压缩来连接所有像素处理器IP，以最大限度地减少SoC的整体DDR带宽，并实现高性能计算等。基于以上芯原自有的技术，我们形成一系列创新子系统方案，比如AI-ISP 、AI-GPU、视频编码器+ISP，视频解码器+矢量GPU 等，为各类应用带去了具有颠覆性的创新处理性能。“2021年3月，芯原宣布新优化的VC9000视频编解码器与VIP9400人工智能 (AI) 和神经网络处理技术的结合，可以更高效地处理数据中心的视频流，提供领先的AI视频处理，包括高吞吐量和可伸缩性，以及实时AI视频内容分析和基于场景的视频编码和AI像素增强。
近日，芯原还在德国2023嵌入式展览会上宣布其已向客户交付支持8K@120FPS VVC/H.266的多格式视频硬件解码器Hantro VC9000D。最新一代的Hantro VC9000D采用多格式统一架构，支持多种视频格式灵活配置及性能扩展，其VVC独立解码器，或和HEVC、H.264、AV1、VP9、AVS2等其他先进视频格式组合的解码器在12纳米工艺节点下均可达到单核8K@30fps的性能；在更先进的工艺节点或多核模式下可进一步达到8K@60fps以及8K@120fps的性能。此外，VC9000D还可全面支持包括VP8、MPEG-4、VC-1、AVS/AVS+、MPEG-2等在内的多种传统视频格式。这是全球首发，目前还没有其他公司的产品可以支持到如此多的视频格式！汪洋表示，目前，芯原的Hantro视频转码加速解决方案已经获得中国前5名互联网企业中的3家，以及全球前20名云服务提供商中的12家的采用。感谢长期以来与广大用户的共同成长，芯原正持续地为Hantro视频解决方案引入最新的技术，以使互联网厂商和云服务提供商客户从中获益。未来芯原还将通过创新的Chiplet架构和先进的封装技术，持续致力于为客户提供更高性能、更灵活的视频技术解决方案。长期的积累与奋进，芯原终于攀上了VPU世界的顶峰，在VPU领域已经遥遥领先！期待处理器IP积累丰厚的芯原，能持续给大家带来更多惊喜！
