【光电智造】干货丨鱼眼摄像头畸变校正方法概述

今日光电 2024-06-03 09:01

今日光电

     有人说,20世纪是电的世纪,21世纪是光的世纪;知光解电,再小的个体都可以被赋能。追光逐电,光赢未来...欢迎来到今日光电!




----追光逐电 光赢未来----

01
摘要


鱼眼摄像头以其独特的广阔视场和其他特点,在各个领域得到了广泛应用。然而,与针孔相机相比,鱼眼摄像头存在明显的畸变,导致拍摄的图像畸变严重。鱼眼摄像头畸变是数字图像处理中常见的问题,需要有效的校正技术来提高图像质量。本综述全面概述了用于鱼眼摄像头畸变校正的各种方法。文章探讨了多项式畸变模型,该模型利用多项式函数对径向畸变进行建模和校正。此外,还讨论了全景映射、网格映射、直接方法和基于深度学习的方法等替代方法。综述突出了每种方法的优势、局限性和最新进展,使读者能够根据其特定需求做出明智的决策。


02
介绍


鱼眼镜头因其广阔的视场和独特的视觉效果,在摄影、计算机视觉、机器人学和虚拟现实等各个领域中都变得越来越受欢迎。然而这些镜头通常会对拍摄的图像引入显著的畸变,这可能使对象的形状变形并降低图像质量。为了克服这一挑战,人们开发了鱼眼摄像头畸变校正方法,以纠正图像并恢复其原始外观。


鱼眼摄像头畸变的校正是数字图像处理中的一项关键任务。它涉及应用数学模型和算法来补偿鱼眼镜头引入的非线性畸变。校正畸变可以提高测量的准确性,促进准确的物体识别,并增强各种应用的整体图像质量。本综述旨在全面概述用于校正鱼眼摄像头畸变的不同方法。该综述将涵盖传统方法和较新方法,讨论它们的基本原理、优势、局限性和潜在应用。


相机投影模型 


鱼眼相机的成像过程通常近似为一个单位球投影模型。鱼眼相机的成像过程可以分解为两个步骤:首先,将空间中的三维点线性投影到虚拟单位球上;然后,将单位球上的点投影到图像平面上,这是一个非线性过程。在鱼眼相机的背景下,有四个常用的投影模型:等距投影模型、等角投影模型、正交投影模型和立体投影模型。 


等距投影模型


等距投影模型假设通过镜头的光线并投影到图像传感器上的光线与光轴成等角。在此投影模型中,相机坐标系中的三维点(X、Y、Z)与二维图像坐标(u、v)之间的映射可以表达如下:

这里,(θ, φ) 表示单位球上的球坐标,r 是光学中心到点的径向距离,(u, v) 表示归一化图像坐标,f 是鱼眼镜头的焦距。


等角投影模型


等角投影模型通常用于使用鱼眼镜头捕捉全景或360度图像。它涉及使用等角网格将单位球上的3D点映射到2D图像坐标。在这个投影模型中,单位球上的3D点 (X, Y, Z) 与2D图像坐标 (u, v) 之间的映射可以表示如下:

这里,(θ, φ) 表示单位球上的球坐标,而 (u, v) 表示归一化的图像坐标,取值范围从 0 到 1。


正交投影模型


正交投影模型是一种摄像机投影模型,假设场景中的光线是平行且垂直于图像平面的。在这个模型中,3D 点直接投影到 2D 图像上,没有任何透视失真。3D 点 (X, Y, Z) 在相机坐标系中与 2D 图像坐标 (u, v) 之间的映射可以表示如下:

这里,(u, v) 代表图像坐标,(X, Y) 代表相机坐标系中的 3D 点。


立体投影模型


立体投影模型具有保存角度的特性,这是数学中一种称为保角性的理想特性。保角性意味着任何相交线所形成的角度在变换后保持不变,尽管这些线本身可能会变成曲线。在保角变换下,圆仍然保持为圆(其中一条直线可以被认为是半径无限的圆)。因此,在模拟的场景中,圆柱表面上的所有边界线都被变换成了圆弧,并且所有相交线形成的角度保持在90度。

03
畸变校正方法


相机畸变是由相机的镜头、传感器或其他因素引起的图像透视变形。有几种类型的畸变,包括径向畸变、切向畸变以及非线性畸变。相机畸变校正的目的是将相机捕获的畸变图像转换为类似针孔相机产生的理想图像。这种校正旨在提高图像的准确性,增强其视觉质量,并满足各种应用的特定要求。在计算机视觉中使用鱼眼相机通常需要先进的畸变校正方法,以确保进行准确可靠的图像分析。鱼眼镜头引入了显著的畸变,可能影响测量的准确性、对象识别和场景理解。在本节中,我们讨论了各种用于鱼眼相机畸变校正的最新方法,旨在将畸变的鱼眼图像转换为经过校正的图像,使其类似于理想针孔相机捕获的图像。


畸变类型


1. 对称径向畸变:对称径向畸变通常是在讨论图像畸变时想象到的。通常情况下,这种类型的畸变将根据其是否为正向(凹形)或负向(凸形)而特征化。 


2. 非对称径向畸变 :非对称径向畸变是类似于上述的径向畸变效应,但与对称径向畸变不同,非对称径向畸变表征的是依赖于图像中心距离以及被成像对象距离有多远的畸变效应。非对称径向效应在两种情况下最为显著:具有长焦距和非常短的相对物体距离的相机。例如,捕捉非常近的许多对象的远场望远镜镜头。通过高折射率介质或不同折射率介质观察对象。例如,水下的两个对象,其中一个离得很近,另一个离得很远。这种类型的畸变通常难以可视化和量化,因为它依赖于环境。在大多数机器人和自动化车辆的背景中,非对称径向畸变并不是一个很大的问题!为什么呢?嗯,畸变的差异取决于物体之间的距离差异。这通常是因为被成像的两个对象之间存在某种折射差异,或者因为这些对象超出了相机的焦距范围(即焦距相对于物体距离太大)。以上两种情况都不太典型,因此,在遇到这些情况时,非对称径向畸变是建模校准的重要方面。在大多数机器人环境中,成像和视觉测距的主要用途是在相对短的距离范围内使用焦距较短的摄像头完成的,并且光传播的主要介质是空气。由于靠近的物体之间通常没有大的大气变化,而且光都通过相同的介质传播,因此没有太多非对称折射效应可供表征或测量。因此,在为这些应用校准相机时,这种径向畸变并不常见。如果我们无法测量它,就不应该尝试对其进行建模! 


3. 切向(去中心)畸变:切向畸变有时也称为去中心畸变,因为其主要原因是由于镜头组件不在图像平面上居中且平行。切向畸变的几何效应不仅沿径向轴纯粹发生。相反,如上图所示,它可以对图像平面进行旋转和倾斜,具体取决于距图像中心的半径! 


多项式畸变模型


多项式畸变模型是最常用的鱼眼摄像头畸变校正方法之一。它依赖于一种数学模型,描述了鱼眼图像中存在的径向畸变。通常,该模型使用多项式函数来近似畸变并进行校正。校正过程涉及将图像的像素坐标转换为标准化坐标,并应用多项式函数以矫正畸变。由于其在解决鱼眼图像中的径向畸变方面的简单性和有效性,该方法被广泛采用。尽管存在比此处描述的更多模型,但该行业主要已经标准化了以下两个畸变模型。


1. 布朗-畸变模型

布朗-畸变模型可能是大多数人认为的“标准”径向和切向畸变模型。它最早由布朗和康拉迪于1966年首次发表,并在许多应用中得到应用。该模型将径向畸变表征为一系列高阶多项式:


2. Kannala-Brandt畸变模型

Juho Kannala和Sami Brandt发表了关于镜头畸变的论文。该论文的主要贡献是将镜头畸变建模优化,以适用于广角、超广角和鱼眼镜头。布朗-康拉迪的建模主要基于Seidel像差的物理学,这是围绕1867年首次制定的,用于当时的标准镜头物理学,不包括超广角和鱼眼镜头。使用这个模型时,大多数人会注意到的主要区别在于对称径向畸变。与以往的径向畸变模型不同,后者是基于点距离图像中心的远近(半径),康拉-布兰特将畸变表征为通过镜头的光的入射角度的函数。之所以这样做,是因为畸变函数在相对于这个角度(θ)参数化时更加平滑,这使得更容易将其建模为幂级数:


基于特征的方法


在鱼眼相机畸变校正的背景下,基于特征的方法通过利用鱼眼图像的特性来推断和矫正相机的畸变参数,发挥着至关重要的作用。


1. 角点检测与矫正:角点检测和矫正方法涉及在鱼眼图像中检测角点,例如利用Harris角点检测或Shi-Tomasi角点检测。随后,通过利用检测到的角点之间的距离和角度的关系来估计相机的畸变参数,执行畸变矫正。通过采用这些参数,整个图像可以被矫正以减轻鱼眼畸变。


2. 特征点匹配与矫正:特征点匹配和矫正方法依赖于提取和匹配鱼眼图像中的特征点。采用流行的技术,如SIFT特征点或SURF特征点,进行特征点提取。然后,检测到的特征点与矫正图像中的相应点进行匹配,从而推断相机的畸变参数并进行后续矫正。


3. 直线检测与矫正:直线检测和矫正方法利用鱼眼图像中直线的存在。通过使用Hough变换等技术检测直线,可以推断相机的畸变参数。随后利用获得的参数对整个图像进行矫正,确保直线在矫正后的图像中保持线性。


4. 基于光流的方法:基于光流的方法利用鱼眼图像中光流提供的信息进行畸变校正。通过计算鱼眼图像中的像素位移,可以推断相机的畸变参数并用于矫正。可以采用光流算法,如Lucas-Kanade方法或基于深度学习的光流估计,来估计像素位移。 


直接法去畸变


鱼眼相机畸变校正的直接方法涉及检测和分析图像中的特定特征或图案,以估计畸变参数。这些方法通常依赖于畸变图像坐标与未畸变对象坐标之间的关系。可以使用RANSAC(随机抽样一致性)等技术,从特征对应关系中鲁棒地估计畸变参数。在没有校准数据或对畸变模型的先验知识可用的情况下,直接方法具有优势。 


1. 水平扩展方法:水平扩展方法是用于鱼眼图像矫正和畸变校正的技术。它旨在将畸变的鱼眼图像转换为矩形图像,具有直线和更自然的透视。该方法涉及扩展鱼眼图像的水平视场,并将畸变的像素映射到矩形图像中的相应位置。 


2. 纬经度映射方法:纬经度映射方法是一种将鱼眼图像转换为全景或等矩形投影的技术。该方法涉及将畸变的鱼眼像素映射到球形或柱形坐标系上的相应纬度和经度坐标,然后投影到2D等矩形网格上。 


3. 全景映射方法:全景映射方法是用于鱼眼图像矫正和畸变校正的技术。它旨在将畸变的鱼眼图像转换为矩形图像,具有直线和更自然的透视。该方法涉及将畸变的鱼眼像素映射到矩形图像中的相应位置。 


基于深度学习的方法去畸变


随着深度学习的最新进展,基于神经网络的方法已经出现用于鱼眼相机畸变校正。这些方法涉及训练神经网络以学习畸变和未畸变图像之间的映射函数。使用已知畸变的成对图像的大型数据集对网络进行训练。训练完成后,网络可以对新的输入图像进行畸变校正。基于深度学习的方法具有学习复杂畸变模式并能有效处理各种畸变的优势。然而,它们需要大量的训练数据和计算资源。本节概述了常用于鱼眼相机畸变校正的深度学习方法。 


1. 卷积神经网络(CNNs):卷积神经网络(CNNs)已广泛应用于鱼眼相机畸变校正。这些网络包含多个卷积层,从输入图像中提取分层特征。通过在大量畸变和未畸变鱼眼图像对的数据集上训练CNNs,它们可以学习预测给定鱼眼图像的无畸变版本的基本模式和关系。 


2. 生成对抗网络(GANs):生成对抗网络(GANs)也已用于鱼眼相机畸变校正。GANs包括生成器网络和鉴别器网络,它们以对抗方式同时进行训练。生成器网络生成无畸变的鱼眼图像,而鉴别器网络旨在区分生成的无畸变图像和真实的无畸变图像。通过这种对抗训练过程,GANs可以学习生成高质量的无畸变鱼眼图像。


04
总结


鱼眼相机畸变校正是数字图像处理中的一项关键任务,旨在纠正鱼眼镜头引入的畸变并提高图像质量。在本综述中,讨论了多项式畸变模型,该模型利用多项式函数对径向畸变进行建模和校正。由于其简单性和有效性,这种方法得到了广泛应用。此外,还探讨了全景映射、网格映射、直接方法和基于深度学习的替代方法。每种方法都有其优点和局限性,其适用性取决于具体的需求和约束。


通过这次综述,数字图像处理领域的研究人员、专业人士和爱好者更深入地了解了用于鱼眼相机畸变校正的可用技术。综述突显了每种方法的基本原理、优势、局限性和潜在应用,有助于做出明智的决策。


为了评估畸变校正方法的性能,可以进行各种实验,包括合成数据评估、标定图像评估、比较研究、实时性能评估和特定应用的评估。这些实验为了解方法在不同场景中的准确性、计算效率和适用性提供了见解。


总之,鱼眼相机畸变校正方法在提高图像质量和实现各个领域的准确分析方面发挥着至关重要的作用。通过了解不同的技术并进行适当的实验,研究人员可以选择最适合其特定需求的方法,为数字图像处理领域的进展做出贡献


来源:新机器视觉



申明:感谢原创作者的辛勤付出。本号转载的文章均会在文中注明,若遇到版权问题请联系我们处理。


 

----与智者为伍 为创新赋能----


【说明】欢迎企业和个人洽谈合作,投稿发文。欢迎联系我们
诚招运营合伙人 ,对新媒体感兴趣,对光电产业和行业感兴趣。非常有意者通过以下方式联我们!条件待遇面谈
投稿丨合作丨咨询

联系邮箱:uestcwxd@126.com

QQ:493826566




评论 (0)
  • 文心一言准备免费,说实话,这个是好事情,但是他也会产生非常大的影响,总体来说,对技术的发展还是起到积极的作用。文心新苑为什么要免费呢?无非就是市场的原因,绝对不是文心一言不想利用这个AI赚钱。我分析下原因:1、市场竞争:在人工智能技术高速发展的背景下,各类AI产品层出不穷,市场竞争日益激烈。尤其是DEEPSEEK的出现,真是的非常重大的一个事件,作为同类产品,文心一言非常无奈的被迫的选择全面免费策略,旨在迅速提高用户量,争夺市场份额。通过免费使用,文心一言能够吸引更多用户,形成网络效应,进而提升
    curton 2025-02-14 10:30 396浏览
  • 随着科技快速进步,蓝牙技术也在持续演化。Bluetooth LE Audio(低功耗蓝牙音讯)因其省电及音质提升等特性,俨然成为目前热门的音讯技术之一。对于经常性使用耳机、手机或笔电的人来说,音频传输的延迟性能不仅影响游戏体验,也同时影响着影音同步与通话质量。然而,由于目前市面上针对LE Audio延迟测试的工具和服务实属不多,厂商在验证设备性能往往面临到技术困难。有鉴于此,百佳泰所提供的专业延迟量测验证服务,可有效协助客户了解产品表现,从而提升市场竞争力!百佳泰技术小词典延迟指的是从声音讯号发
    百佳泰测试实验室 2025-02-14 10:38 48浏览
  •  芯片设计中的软硬件接口概述作者: Insaf MelianeInsaf Meliane 是 Arteris 的产品管理和营销经理。在加入产品团队之前,她是一名现场应用经理,为客户提供复杂 SoC 设计集成支持。在加入 Arteris 之前,她曾在领先的半导体公司担任过其他设计和应用工程职务。Insaf 拥有法国格勒诺布尔国立高等电子与无线电工程学院微电子专业系统级芯片方面的工程学位。软硬件接口 (HSI) 在芯片设计中扮演着重要角色,用于将物理硬件与其对应软件连接起来。它为复杂的系统
    ArterisIP 2025-02-14 10:28 55浏览
  • 文心一言免费对于创业来说是一个很大的机遇,加油!虽然是一个很大的挑战,但是好处还是很大的。文心一言的免费开放为创业者提供了一个低成本甚至零成本使用先进人工智能技术的机会。在以往,创业者若想在项目中融入AI技术,往往需要支付高昂的研发或授权费用。而现在,他们可以直接利用文心一言的强大功能,如语言理解、生成能力、深度搜索等,来构建自己的产品或服务,从而显著降低创业成本。文心一言的全面免费开放为创业者提供了广阔的创新空间。创业者可以基于文心一言开发出各种创新的应用和服务,满足市场的多样化需求。例如,利
    curton 2025-02-14 13:37 259浏览
  • NoC的下一步发展是什么?作者: Andy NightingaleAndy Nightingale 是 Arteris 产品管理和营销副总裁,拥有超过 37 年的高科技行业经验,其中包括在 Arm 担任各种工程和产品管理职位 23 年。当今的高端 SoC 在很大程度上依赖复杂的片上网络(NoC)技术来实现性能和可扩展性。随着 人工智能(AI)、高性能计算(HPC)和其他计算密集型应用的需求不断发展,设计下一代 SoC 将需要更智能、更高效的 NoC 解决方案来应对这些挑战。尽管这些进步带来了令人
    ArterisIP 2025-02-14 10:16 28浏览
  • 《哪吒2》票房破百亿背后的科技密码:解码中国动画产业的技术跃迁与制造底气2024年夏季,国产动画电影《哪吒2》以雷霆之势席卷全球院线,不仅成为中国影史第二部票房突破百亿的现象级作品,更以多项技术突破刷新行业纪录。这些成就背后,不仅是中国动画工业的崛起,更是中国科技创新与高端制造业协同突破的缩影。作为深耕PCB行业多年的捷多邦小编,今天带您从技术视角,解读这场银幕奇迹背后的制造密码。一、从“数字造神”到“算力革命”:动画技术背后的硬核突破《哪吒2》的视觉革命始于AI工业化管道的深度应用。影片中大量
    捷多邦 2025-02-15 17:57 356浏览
  •                           春天来了,我们中国的传统节日--春节到了,随着国家富强,人们民族文化自信心的增强,这个中国年过的还挺热闹,挺红火。一段山村过新年的快乐时光,即兴而发赋了两首新诗。《渔家乐·山村新春》白发垂髫同喜乐,新春佳节意情奢。烟花璀璨腾空起,山村美景醉心涯。晓雾轻笼林野静,晚云淡抹岫峰斜。自然恩赐千般好,福满人间岁月嘉
    广州铁金刚 2025-02-17 15:59 50浏览
  • 在设备间通信日益增长的需求中,对于十几米甚至更长距离的高速外设数据传输变得尤为重要。RS-232C接口,凭借其仅需简单的接收、发送及地线配置,以及成本效益高的双绞线连接,凭借其卓越性能,成为了连接通信接口芯片的关键纽带。为了在这种长距离高速通信场景下实现线路的可靠隔离,并有效抵御外部噪声对通信信号的干扰,虽然上一期介绍的晶体管类型输出系列光耦能够满足100kbps速率的隔离传输需求,但面对更高的速率稳定性和性能要求,业界更倾向于采用速率可达300Kbps的KL6N138和KL6N139达林顿高速
    晶台光耦 2025-02-14 13:40 38浏览
  • 导读:2025年1月6日,在 ChatGPT 诞生两周年之际,OpenAI 的核心人物 Sam Altman 回顾了一段波澜壮阔且充满挑战的历程。九年前,怀揣着对通用人工智能(AGI)的坚定信念,OpenAI 踏上征程。彼时,质疑声不绝于耳,多数人认为这毫无成功的可能。但他们未曾动摇,毅然投身这一充满未知的领域。直至 2022 年 ChatGPT 的推出,如同在科技领域投入巨石,引发轩然大波,开启了前所未有的发展态势。然而,荣耀背后是难以想象的艰难。围绕新技术构建公司,犹如在黑暗中摸索前行,每一
    用户1739588245528 2025-02-15 11:03 71浏览
  • 电磁铁通电时会产生磁场,磁力随电流增强而增强,表现出吸引铁磁性物质的特性。电磁铁是一种能够产生磁场的装置,其特性在于可以通过通电来控制磁场的产生和消失。那么,当电磁铁通电时,它具体会表现出哪些特性和现象呢?一、产生磁场通电是电磁铁产生磁场的关键。当电流通过电磁铁的线圈时,线圈周围就会产生磁场。这个磁场与电流的大小和方向密切相关,电流越大,产生的磁场也越强。同时,磁场的方向可以通过改变电流的方向来改变,这是电磁铁灵活性的重要体现。二、磁力变化随着电流的增强,电磁铁产生的磁力也会相应增强。这种磁力的
    锦正茂科技 2025-02-15 09:59 71浏览
  • 近日,紫光展锐蜂窝物联网芯片V8850荣获国密一级认证,标志着展锐V8850在安全能力方面获得权威认可,位居行业领先水平。这是紫光展锐继短距物联网芯片V5663在2020获得ARM PSA Level 2认证,蜂窝物联网芯片V8811在2021年获得ARM PSA Level 1 认证后,第三次荣获安全行业权威认证。荣获国密一级安全认证,意味着紫光展锐V8850能支持智能支付、共享经济、定位追踪、安防监控、智能表计、工业DTU、公网对讲,以及车载通信终端设备上的国密升级改造,可为移动支付、短信
    紫光展锐 2025-02-14 19:26 46浏览
  •  探针台是半导体测试领域的重要设备,用于支撑和固定待测芯片,以便进行jing确的电气测试。在使用过程中,探针台可能会出现位置偏移,这时就需要进行复位操作。下面,我们将详细介绍探针台复位的zui简单三个步骤。  一、确定复位基准点复位操作的di一步是确定复位基准点。通常,探针台会配备有明确的复位标记或感应点。用户需要仔细查找并确认这些标记,确保复位操作的准确性。找到基准点后,将探针台移动到该位置附近,准备进行下一步操作。二、执行复位动作在确认基准点后,接下来需要执行复
    锦正茂科技 2025-02-15 09:36 57浏览
我要评论
0
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦