成像技术公司Immervision宣称,他们已经开发出能够对视频失真进行实时校正的软件算法,比如校正被拉伸的物体、改变线条、对象和人脸比例,可以实时调整手机拍摄的图像和视频场景。
该公司将通过其分销合作伙伴和主要投资者CEVA将这些新算法直接授权给移动OEM厂商。 Immervision联合创始人兼副总裁Patrice Roulet Fontani在接受EE Times采访时说,这种新的实时失真校正算法以前从未有过。“以前也有一些算法,但是能够在不额外消耗电池电量的前提下,在便携式设备上运行,并提供适当的校正,这是前所未有的。”
Immervision联合创始人兼副总裁Patrice Roulet Fontani
Patrice对相关背景知识做了一些解释。“智能手机屏幕越做越宽,但迄今为止,无论怎么看,手机上的视频仍然是4x3的比例。如果要让视频满屏,则需要处理图像,先裁剪再分割,然后增加传感器上的图像大小。现在的摄影镜头和广角镜头可以让视频充满整个屏幕,但仍然存在一些人工痕迹或者失真。图片校正相对简单,你拍摄一张图片,也许只花半秒钟的时间就可以完成处理和修改。但是对于30-120 fps的视频来说,这就没那么简单了。”
“为了实现失真校正,我们引入了一种新算法,它不仅可以根据一种设置来校正失真,还可以根据不同情景来选择不同类型的失真校正。这种校正可以实时进行,例如在有人的区域,我们可能希望人物看起来更正常一些。而对全景图,你可能想要提供一种广阔无边际的感觉。”
随着手机录像需求的激增,需要使用软件来为高质量视频创建理想的取景框。 Immervision的新算法可在一系列智能手机中实现“20/20视觉”,实时纠正视频失真,以改善捕获到的显示体验,同时不会影响视角。(图片来源:Immervision)
“现在的设备根本无法校正失真。图像和视频也许有一些失真校正处理,但大都集中在直线处理上。而且,他们仅提供一种失真校正馈送来应对所有的应用场景。但问题是,你无法实现一次处理不但校正直线,而且还保持身体或人脸比例。因此,在如今的大多数智能手机中,当您朝着FOV(视场)边缘移动时,身体和人脸会扭曲变形,它们会被拉伸到比实际要宽的比例。”
“我们并不是为所有场景仅提供一个处理馈送,而是根据不同场景为智能手机OEM提供不同的视频失真校正处理。因此,如果要拍摄风景,那么对它的处理将与人群或头像场景的处理不同。我们开发了视频畸变校正以及我们称之为“人脸保护”的功能,可以使人脸看起来更真实,而不会扭曲和拉伸。而且,这个过程是实时进行的。我们对客户的承诺是所见即所得。”
许多新式的手机都拥有更宽的视角,但也会产生更明显的失真。Immervision公司声称其新软件算法可提供一站式解决方案,实时校正拉伸的物体、改变线条、对象和面部比例,以适应不同场景,并缩减编辑时间。该软件可提供不同级别的校正、变化的投影,并且实时适应场景。手机厂商采用它就能够为用户提供多种选择,例如,保留预设配置不变,或者完全自定义,又或者让用户自己决定;同时还可以让手机控制定向,或利用机器学习来增强用户体验。
Fontani表示,能够实时校正失真非常重要。“因为拍摄时会同时发生两件事,一是录制,二是播放,这两个功能需要同时进行,你不能录制完再进行处理。”
Immervision公司表示,随着手机视频录制需求的飞速增长,需要使用软件来为高质量视频创建理想的取景框。Immervision与客户合作已有20年,其硬件和软件专家一直与OEM紧密合作,微调算法以满足特定需求。他们的新算法有助于在一系列智能手机中实现“20/20视觉”,实时纠正视频失真,以改善捕获到的显示体验,而不会损害视角。
添加现成的125度广角镜头
Immervision公司在声明种还介绍了其125度广角镜头,据称是市面上性能最高的广角镜头。该镜头已预先配置流行的传感器,无需定制摄像头,其目标客户为二级和三级手机厂商。
广角镜头可以减少摄像头数量与成本,同时提高用手机拍摄风景、人群、特写和视频的图像质量。大多数一级手机厂商现在都装有广角镜头,但二、三级的移动品牌都还尚未配备。目前,Immervision的技术已经预配置在一些较流行的传感器上,包括索尼、豪威科技和三星。
“二、三级手机厂商面临的挑战是如何提供与行业领先手机同等水平的图像质量。” Immervision执行副总裁、运营和首席商务官Alessandro Gasparini表示。“Immervision的125度广角镜头将行业所有领先的指标集成到一个镜头中。过去,这些一流的指标分散在多种手机中。现在它们通过现成的软件,合成到一个镜头中,这样就可以减少摄像头的定制和集成时间,并提供与知名手机品牌同样的图像质量。”
“这是一种新的光学设计,可在不同参数之间实现最佳平衡,以尽可能获取最大的FOV,而不会影响f值和相对照明度,而且即使在边缘处分辨率都不会下降,高达21兆像素。它将让二、三级手机供应商仅用一个摄像头即可提供从广角到传统成像的完整体验。换句话说,同一个摄像头具有两种不同的功能特性。”
他补充道:“我们致力于使这项技术变得简单易用,因为这些功能通常仅在大品牌旗舰手机中才有。就广角性能而言,我们提供的将是最好的镜头。”
(参考原文:Distortion Correction Algorithms Adapt Video in Real-Time)
责编:Amy Guan
本文为《电子工程专辑》2020年9月刊杂志文章,版权所有,禁止转载。点击申请免费杂志订阅