随着手机录像需求的激增,需要使用软件来为高质量视频创建理想的取景框。 Immervision的新算法可在一系列智能手机中实现“20/20视觉”,实时纠正视频失真,以改善捕获到的显示体验,同时不会影响视角。

成像技术公司Immervision宣称,他们已经开发出能够对视频失真进行实时校正的软件算法,比如校正被拉伸的物体、改变线条、对象和人脸比例,可以实时调整手机拍摄的图像和视频场景。

该公司将通过其分销合作伙伴和主要投资者CEVA将这些新算法直接授权给移动OEM厂商。 Immervision联合创始人兼副总裁Patrice Roulet Fontani在接受EE Times采访时说,这种新的实时失真校正算法以前从未有过。“以前也有一些算法,但是能够在不额外消耗电池电量的前提下,在便携式设备上运行,并提供适当的校正,这是前所未有的。”

Immervision联合创始人兼副总裁Patrice Roulet Fontani

Patrice对相关背景知识做了一些解释。“智能手机屏幕越做越宽,但迄今为止,无论怎么看,手机上的视频仍然是4x3的比例。如果要让视频满屏,则需要处理图像,先裁剪再分割,然后增加传感器上的图像大小。现在的摄影镜头和广角镜头可以让视频充满整个屏幕,但仍然存在一些人工痕迹或者失真。图片校正相对简单,你拍摄一张图片,也许只花半秒钟的时间就可以完成处理和修改。但是对于30-120 fps的视频来说,这就没那么简单了。”

 “为了实现失真校正,我们引入了一种新算法,它不仅可以根据一种设置来校正失真,还可以根据不同情景来选择不同类型的失真校正。这种校正可以实时进行,例如在有人的区域,我们可能希望人物看起来更正常一些。而对全景图,你可能想要提供一种广阔无边际的感觉。”

随着手机录像需求的激增,需要使用软件来为高质量视频创建理想的取景框。 Immervision的新算法可在一系列智能手机中实现“20/20视觉”,实时纠正视频失真,以改善捕获到的显示体验,同时不会影响视角。(图片来源:Immervision)

 “现在的设备根本无法校正失真。图像和视频也许有一些失真校正处理,但大都集中在直线处理上。而且,他们仅提供一种失真校正馈送来应对所有的应用场景。但问题是,你无法实现一次处理不但校正直线,而且还保持身体或人脸比例。因此,在如今的大多数智能手机中,当您朝着FOV(视场)边缘移动时,身体和人脸会扭曲变形,它们会被拉伸到比实际要宽的比例。”

 “我们并不是为所有场景仅提供一个处理馈送,而是根据不同场景为智能手机OEM提供不同的视频失真校正处理。因此,如果要拍摄风景,那么对它的处理将与人群或头像场景的处理不同。我们开发了视频畸变校正以及我们称之为“人脸保护”的功能,可以使人脸看起来更真实,而不会扭曲和拉伸。而且,这个过程是实时进行的。我们对客户的承诺是所见即所得。”

许多新式的手机都拥有更宽的视角,但也会产生更明显的失真。Immervision公司声称其新软件算法可提供一站式解决方案,实时校正拉伸的物体、改变线条、对象和面部比例,以适应不同场景,并缩减编辑时间。该软件可提供不同级别的校正、变化的投影,并且实时适应场景。手机厂商采用它就能够为用户提供多种选择,例如,保留预设配置不变,或者完全自定义,又或者让用户自己决定;同时还可以让手机控制定向,或利用机器学习来增强用户体验。

Fontani表示,能够实时校正失真非常重要。“因为拍摄时会同时发生两件事,一是录制,二是播放,这两个功能需要同时进行,你不能录制完再进行处理。”

Immervision公司表示,随着手机视频录制需求的飞速增长,需要使用软件来为高质量视频创建理想的取景框。Immervision与客户合作已有20年,其硬件和软件专家一直与OEM紧密合作,微调算法以满足特定需求。他们的新算法有助于在一系列智能手机中实现“20/20视觉”,实时纠正视频失真,以改善捕获到的显示体验,而不会损害视角。

添加现成的125度广角镜头

Immervision公司在声明种还介绍了其125度广角镜头,据称是市面上性能最高的广角镜头。该镜头已预先配置流行的传感器,无需定制摄像头,其目标客户为二级和三级手机厂商。

广角镜头可以减少摄像头数量与成本,同时提高用手机拍摄风景、人群、特写和视频的图像质量。大多数一级手机厂商现在都装有广角镜头,但二、三级的移动品牌都还尚未配备。目前,Immervision的技术已经预配置在一些较流行的传感器上,包括索尼、豪威科技和三星。

 “二、三级手机厂商面临的挑战是如何提供与行业领先手机同等水平的图像质量。” Immervision执行副总裁、运营和首席商务官Alessandro Gasparini表示。“Immervision的125度广角镜头将行业所有领先的指标集成到一个镜头中。过去,这些一流的指标分散在多种手机中。现在它们通过现成的软件,合成到一个镜头中,这样就可以减少摄像头的定制和集成时间,并提供与知名手机品牌同样的图像质量。”

“这是一种新的光学设计,可在不同参数之间实现最佳平衡,以尽可能获取最大的FOV,而不会影响f值和相对照明度,而且即使在边缘处分辨率都不会下降,高达21兆像素。它将让二、三级手机供应商仅用一个摄像头即可提供从广角到传统成像的完整体验。换句话说,同一个摄像头具有两种不同的功能特性。”

他补充道:“我们致力于使这项技术变得简单易用,因为这些功能通常仅在大品牌旗舰手机中才有。就广角性能而言,我们提供的将是最好的镜头。”

(参考原文:Distortion Correction Algorithms Adapt Video in Real-Time

责编:Amy Guan

本文为《电子工程专辑》2020年9月刊杂志文章,版权所有,禁止转载。点击申请免费杂志订阅  

阅读全文,请先
您可能感兴趣
今年初的GTC上,黄仁勋就说机器人的“ChatGPT时刻”要来了。也就是说这波AI驱动的机器人热潮要来了...最近的ROSCon China 2024大会似乎也能看到这种迹象...
Arm预计,到2025年将会有1,000亿台基于Arm架构的设备可具备人工智能功能,包括由Cortex-A、Cortex-M驱动的设备。
台积电的1.6纳米芯片“A16”技术具有多项创新点,其中最显著的是其超级电源轨(SPR)背面供电网络。这一技术是台积电首创,专为高性能计算产品设计,旨在提高芯片的性能和降低功耗。
使用旗下CUDA-Q平台,谷歌可以在英伟达Eos超算上动用1024块H100 Tensor核心GPU,以极低的成本执行全球最大、最快的量子设备动力学模拟,可以对容纳40个量子比特的设备进行全面、逼真的模拟。
为了应对这一挑战,英伟达正在与多家云服务提供商合作,共同优化散热方案,并强调工程迭代是正常且预期的一部分,但其交付时间或不得不再次推迟。
最近国产AI芯片市场遭遇一波有关7nm被禁的震荡,现状如何了?
目前,智能终端NFC功能的使用频率越来越高,面对新场景新需求,ITMA多家成员单位一起联合推动iTAP(智能无感接近式协议)标准化项目,预计25年上半年发布1.0标准,通过功能测试、兼容性测试,确保新技术产业应用。
中科院微电子所集成电路制造技术重点实验室刘明院士团队提出了一种基于记忆交叉阵列的符号知识表示解决方案,首次实验演示并验证了忆阻神经-模糊硬件系统在无监督、有监督和迁移学习任务中的应用……
C&K Switches EITS系列直角照明轻触开关提供表面贴装 PIP 端子和标准通孔配置,为电信、数据中心和专业音频/视频设备等广泛应用提供创新的多功能解决方案。
投身国产浪潮向上而行,英韧科技再获“中国芯”认可
今日,长飞先进武汉基地建设再次迎来新进展——项目首批设备搬入仪式于光谷科学岛成功举办,长飞先进总裁陈重国及公司主要领导、嘉宾共同出席见证。对于半导体行业而言,厂房建设一般主要分为四个阶段:设备选型、设
来源:苏州工业园区12月17日,江苏路芯半导体技术有限公司掩膜版生产项目迎来重要进展——首批工艺设备机台成功搬入。路芯半导体自2023年成立以来,专注于半导体掩膜版的研发与生产,掌握130nm至28n
近期,多个储能电站项目上新。■ 乐山电力:募资2亿建200MWh储能电站12月17日晚,乐山电力(600644.SH)公告,以简易程序向特定对象发行A股股票申请已获上交所受理,募集资金总额为2亿元。发
对于华为来说,今年的重磅机型都已经发完了,而明年的机型已经在研发中,Pura 80就是期待很高的一款。有博主爆料称,华为Pura 80将会用上了豪威OV50K传感器,同时电池容量达到5600毫安时。至
“ 洞悉AI,未来触手可及。”整理 | 美股研究社在这个快速变化的时代,人工智能技术正以前所未有的速度发展,带来了广泛的机会。《AI日报》致力于挖掘和分析最新的AI概念股公司和市场趋势,为您提供深度的
万物互联的时代浪潮中,以OLED为代表的新型显示技术,已成为人机交互、智能联结的重要端口。维信诺作为中国OLED赛道的先行者和引领者,凭借自主创新,实现了我国OLED技术的自立自强,成为中国新型显示产
近期,高科视像、新视通、江苏善行智能科技等企业持续扩充COB产能。插播:加入LED显示行业群,请加VX:hangjia188■ 高科视像:MLED新型显示面板生产项目(二期)招标12月18日,山西高科
又一地,新型储能机会来了?■ 印度:2032储能增长12倍,超60GW据印度国家银行SBI报告,印度准备大幅提升能源存储容量,预计到2032财年将增长12 倍,超60GW左右。这也将超过可再生能源本身
点击蓝字 关注我们电网和可再生能源系统向着更智能、更高效的方向发展助力优化能源分配构建更加绿色和可靠的能源未来12 月 24 日 上午 9:30 - 11:302024 德州仪器新能源基础设施技术直播
上个月,亿万富翁埃隆·马斯克谈到了年轻一代的生育问题。他强调生育的紧迫性,认为无论面临何种困难,生育后代都是必要的,否则人类可能会在无声中走向消亡。他认为人们对于生育的担忧有些过头,担心经济压力等问题