国内外光场相机应用案例对比

ittbank 2023-07-26 17:40

光场相机通过在主透镜与传感器元件间放置一块紧密排布的微透镜阵列,仅需单次曝光即可获得光线的空间、角度四维信息,经过后期算法处理可以得到场景处于不同视角和不同景深的图像以及深度信息,具有结构紧凑,体积小,采集效率高等优点。据笔者了解,目前在工业级光场相机制造供应上,主要有德国的Raytrix公司以及国内的VOMMA奕目(上海)科技有限公司。


Raytrix 成立于2008年,自2010年起销售用于专业应用和研究的3D光场相机。Raytrix专注于为工业应用开发光场相机,获得专利的微透镜阵列设计能够在高效分辨率和大景深之间实现最佳折中(trade-off)。Raytrix推出的光场相机已经在计算机摄影、PIV三维测速、工件视觉检测、三维立体显示、人脸辨识以及交通监控等领域均取得了较好的应用。


奕目(上海)科技有限公司则成立于2019年,为上海交通大学科技成果转化企业,计算成像领域的"专精特新"高新技术企业。核心产品光场相机结合计算成像技术,实现对多维度光线信息的瞬时记录,拥有单次拍摄、瞬时三维建模的能力,具有微纳级精度、毫秒级计算、被动式测量的特点。至今VOMMA推出了多台工业级光场相机,在屏幕缺陷分层检测以及芯片金线三维检测、虚拟像面等落地应用上都取得了较好的检测效果。


虽然Raytrix和VOMMA的核心产品——光场相机都是基于微透镜阵列对光场进行采集,但两者在成像原理上存在本质的差别。


如图1所示,Raytrix推出的光场相机为聚焦型光场相机,微透镜阵列(MLA)并不是放置在主透镜像侧焦平面位置,因此微透镜阵列实际上是对主透镜所成的像进行二次成像。根据聚焦型光场相机的成像原理,微透镜阵列的位置可以进行调整,因此对于Raytrix光场相机系统,微透镜阵列与传感器元件的间距为毫米尺度,封装要求较低,微透镜阵列易于封装。


 

图1 Raytrix光场相机及成像原理


如图2所示,VOMMA推出的光场相机大多为散焦型光场相机,微透镜阵列放置在主透镜像侧焦平面位置,因此微透镜阵列对主透镜所成的像直接成像。对于散焦型光场相机系统,微透镜阵列与传感器元件的间距为一个微透镜焦距,为微米尺度,封装要求极高。VOMMA采用高精度芯片级封装工艺,自主研发的光场封装机台可将封装误差控制在±1um,从而得到精度更高的深度计算结果。

 


图2 VOMMA光场相机及成像原理


光场相机应用案例


3.1 3D金线检测


随着半导体技术的快速发展,电子产品的封装集成度越来越高、实现功能越来越多,市场对高质量芯片的需求也相应增长。芯片生产制造过程中,各工艺流程环环相扣且技术复杂,导致芯片容易产生缺陷而被强制报废,因此芯片金线的缺陷检测至关重要。


芯片制造过程中产生的表面缺陷示例如图3所示,主要为金线产生多线、并线、塌线、断线、线高等缺陷。

 

图3芯片表面缺陷


芯片金线体积很小,且表面金属反光明显,目前对于芯片金线的检测基本采用人工检测的方式。人工在高倍显微镜下进行检测,效益低且检测精度不高,易出现疲劳导致生产效率低,无法满足芯片批量生产的检测需求。另外,单一工位检测容易出现漏判情况,从而无法实现全方位检测的目的。视觉测量技术的逐渐发展使得金线缺陷检测方式拥有了更多的可能性。图4和图5分别展示了Raytrix和VOMMA、对金线的3D检测应用案例效果。


 


图4 Raytrix芯片金线3D检测应用


 

图5 VOMMA 芯片金线3D检测应用


除了对芯片金线的三维形貌测量之外,为了提高检测效率,奕目科技还开发了成熟的AI视觉检测算法平台。该算法平台基于光场相机三维成像过程中得到的2D和3D结果,能够自动识别、定位芯片、金球和金线,从而完成对多种缺陷的识别与检测。图6展示了视觉检测算法平台自动完成了单个芯片的金球、金线识别,并且输出是否断线以及线高的测量数值。


 

图6 VOMMA开发的金线缺陷检测算法平台


3.2 人脸建模


3D人脸建模,在游戏、影视特效、VR等领域应用广泛,但是由于人脸的复杂性、易变性,如何建立逼真的3D 人脸模型成为了一道难题。软件建模是最常见的人脸建模方式,利用3Dmax、Maya和Blender等3D建模软件可以对人脸进行手工建模,但是该方式耗时耗力且对电脑显卡要求较高,很容易出现电脑系统延迟甚至崩掉的情况。


相比之下,仪器采集的建模方式要轻松的多,通过3D测量设备,对人脸进行多次、多角度的数据采集就能够获得人脸的三维信息。由于人类无法做到长时间保持动作一致,因此对采集仪器的效率和测量精度有着较高的要求。具有高采集率和高测量精度的光场相机不失为一种好选择。


图7和8分别展示了Raytrix和VOMMA人脸建模应用案例结果。在面部还原效果以及细节上,VOMMA丝毫不逊色于发展多年的Raytrix。


图7 Raytrix人脸建模应用案例


图8 VOMMA人脸建模应用案例


3.3 手机屏幕分层检测


现在的手机屏幕主要以触摸屏为主,组成部分有盖板玻璃、触控模组和显示模组。其中,显示模组通常分为LCD和OLED,其结构如图9所示。


LCD屏幕显示模组由偏光片、彩色滤光片、TFT、液晶、背板等构成,图像显色度好、画面柔和不伤眼。OLED屏幕显示模组由偏光片、有机发光层、玻璃、TFT等材料构成,屏幕可自发光,具有轻薄、可弯曲、低耗能的优点。


 

图9 LCD和OLED屏幕结构组成


手机屏幕在生产过程中可能出现亮点、划痕、崩边或附着异物等多种缺陷,并且这些缺陷可能会以分层的形式出现,导致其百分百强制报废。因此对手机屏幕检测相当有必要。VOMMA提供的手机屏幕缺陷3D检测方案(见图10和图11)可通过单次拍摄(<100ms)获得三维信息,通过成熟的AI视觉检测算法平台,能自动识别、定位点状灰尘、亮点、暗点,并完成检测、测量和分层判断。


图10 VOMMA屏幕缺陷3D检测方案成像效果展示


图11 VOMMA开发的手机屏幕缺陷检测算法平台


3.4 虚拟像面三维检测


VR眼镜之所以能给人以沉浸式体验,主要归功于:(1)大FOV使人视线范围内都沉浸于VR图像中;(2)单目成像的分辨率高、畸变小等;(3)双目图像的合像特性好,左右图像一致性高、融合程度好。其中,合像特性尤为重要,它影响着虚拟物体显示的立体感,融合程度差会让使用者产生视觉疲劳(大脑会尝试将左右眼得到的图像经过旋转平移来重合,如有差异就容易视觉疲劳,见图12)。因此,左右眼画面和虚拟像面距离(Virtual image distance,VID)的一致性,对VR眼镜的使用体验有较大影响。

图12 VR眼镜合像特性


由于VR眼镜投射的是光线而非实物,无法使用接触式三维测量技术以及依赖主动光源的结构光、TOF、线激光等测量方式。而在被动式三维测量技术中, 双目视觉技术由于基线距离、双相机光轴无法与VR眼镜统一等原因,也无法完成虚拟像面距离测量。因此,光场成像测量方式在VID测量上具有绝对优势。VOMMA首次运用光场成像技术对VR眼镜左右眼形成的虚拟像面分别进行了测量,测量效果如图13所示。

图13 VOMMA虚拟像面测量应用案例


四、总结


光场相机应用场景广泛,特别是在工业检测领域,其独特优势使得这项技术具备相当大的发展潜力,光场相机的出现为工业检测领域注入了新的活力。国内的光场技术研发公司,如VOMMA,一直致力于光场相机的研发和创新。他们不断提升光场相机的分辨率和成像质量,拓展其在工业检测领域的应用。通过不断优化算法和硬件设计,光场相机的性能得到了大幅提升,使得其在工业检测应用上展现出更大的潜力。


总而言之,光场相机在工业检测领域具备广泛的应用场景和潜力。其能够提供更加准确和全面的图像数据,有助于实现精确的工业检测和质量控制。随着光场相机技术的不断发展和创新,相信它将会在工业检测应用上大放异彩。

ittbank 让电子库存因技术而改变的ITT模式电商平台。引领和适应市场,以共享经济理念的创客及工程师为核心、以免费开放用户生成的数据为基础,为其提供高性价比的应用解决方案和及时精准的供求信息,快速提高产品开发周期和生产直通率、提升电子器件的应用附加值。
评论
  • 根据环洋市场咨询(Global Info Research)项目团队最新调研,预计2030年全球无人机锂电池产值达到2457百万美元,2024-2030年期间年复合增长率CAGR为9.6%。 无人机锂电池是无人机动力系统中存储并释放能量的部分。无人机使用的动力电池,大多数是锂聚合物电池,相较其他电池,锂聚合物电池具有较高的能量密度,较长寿命,同时也具有良好的放电特性和安全性。 全球无人机锂电池核心厂商有宁德新能源科技、欣旺达、鹏辉能源、深圳格瑞普和EaglePicher等,前五大厂商占有全球
    GIRtina 2025-01-07 11:02 124浏览
  • 根据Global Info Research项目团队最新调研,预计2030年全球封闭式电机产值达到1425百万美元,2024-2030年期间年复合增长率CAGR为3.4%。 封闭式电机是一种电动机,其外壳设计为密闭结构,通常用于要求较高的防护等级的应用场合。封闭式电机可以有效防止外部灰尘、水分和其他污染物进入内部,从而保护电机的内部组件,延长其使用寿命。 环洋市场咨询机构出版的调研分析报告【全球封闭式电机行业总体规模、主要厂商及IPO上市调研报告,2025-2031】研究全球封闭式电机总体规
    GIRtina 2025-01-06 11:10 124浏览
  • 「他明明跟我同梯进来,为什么就是升得比我快?」许多人都有这样的疑问:明明就战绩也不比隔壁同事差,升迁之路却比别人苦。其实,之间的差异就在于「领导力」。並非必须当管理者才需要「领导力」,而是散发领导力特质的人,才更容易被晓明。许多领导力和特质,都可以通过努力和学习获得,因此就算不是天生的领导者,也能成为一个具备领导魅力的人,进而被老板看见,向你伸出升迁的橘子枝。领导力是什么?领导力是一种能力或特质,甚至可以说是一种「影响力」。好的领导者通常具备影响和鼓励他人的能力,并导引他们朝着共同的目标和愿景前
    优思学院 2025-01-08 14:54 66浏览
  • By Toradex 秦海1). 简介嵌入式平台设备基于Yocto Linux 在开发后期量产前期,为了安全以及提高启动速度等考虑,希望将 ARM 处理器平台的 Debug Console 输出关闭,本文就基于 NXP i.MX8MP ARM 处理器平台来演示相关流程。 本文所示例的平台来自于 Toradex Verdin i.MX8MP 嵌入式平台。  2. 准备a). Verdin i.MX8MP ARM核心版配合Dahlia载板并
    hai.qin_651820742 2025-01-07 14:52 108浏览
  • 这篇内容主要讨论三个基本问题,硅电容是什么,为什么要使用硅电容,如何正确使用硅电容?1.  硅电容是什么首先我们需要了解电容是什么?物理学上电容的概念指的是给定电位差下自由电荷的储藏量,记为C,单位是F,指的是容纳电荷的能力,C=εS/d=ε0εrS/4πkd(真空)=Q/U。百度百科上电容器的概念指的是两个相互靠近的导体,中间夹一层不导电的绝缘介质。通过观察电容本身的定义公式中可以看到,在各个变量中比较能够改变的就是εr,S和d,也就是介质的介电常数,金属板有效相对面积以及距离。当前
    知白 2025-01-06 12:04 223浏览
  • PLC组态方式主要有三种,每种都有其独特的特点和适用场景。下面来简单说说: 1. 硬件组态   定义:硬件组态指的是选择适合的PLC型号、I/O模块、通信模块等硬件组件,并按照实际需求进行连接和配置。    灵活性:这种方式允许用户根据项目需求自由搭配硬件组件,具有较高的灵活性。    成本:可能需要额外的硬件购买成本,适用于对系统性能和扩展性有较高要求的场合。 2. 软件组态   定义:软件组态主要是通过PLC
    丙丁先生 2025-01-06 09:23 98浏览
  • 彼得·德鲁克被誉为“现代管理学之父”,他的管理思想影响了无数企业和管理者。然而,关于他的书籍分类,一种流行的说法令人感到困惑:德鲁克一生写了39本书,其中15本是关于管理的,而其中“专门写工商企业或为企业管理者写的”只有两本——《为成果而管理》和《创新与企业家精神》。这样的表述广为流传,但深入探讨后却发现并不完全准确。让我们一起重新审视这一说法,解析其中的矛盾与根源,进而重新认识德鲁克的管理思想及其著作的真正价值。从《创新与企业家精神》看德鲁克的视角《创新与企业家精神》通常被认为是一本专为企业管
    优思学院 2025-01-06 12:03 158浏览
  • 村田是目前全球量产硅电容的领先企业,其在2016年收购了法国IPDiA头部硅电容器公司,并于2023年6月宣布投资约100亿日元将硅电容产能提升两倍。以下内容主要来自村田官网信息整理,村田高密度硅电容器采用半导体MOS工艺开发,并使用3D结构来大幅增加电极表面,因此在给定的占位面积内增加了静电容量。村田的硅技术以嵌入非结晶基板的单片结构为基础(单层MIM和多层MIM—MIM是指金属 / 绝缘体/ 金属) 村田硅电容采用先进3D拓扑结构在100um内,使开发的有效静电容量面积相当于80个
    知白 2025-01-07 15:02 144浏览
  • 本文介绍编译Android13 ROOT权限固件的方法,触觉智能RK3562开发板演示,搭载4核A53处理器,主频高达2.0GHz;内置独立1Tops算力NPU,可应用于物联网网关、平板电脑、智能家居、教育电子、工业显示与控制等行业。关闭selinux修改此文件("+"号为修改内容)device/rockchip/common/BoardConfig.mkBOARD_BOOT_HEADER_VERSION ?= 2BOARD_MKBOOTIMG_ARGS :=BOARD_PREBUILT_DTB
    Industio_触觉智能 2025-01-08 00:06 92浏览
  • 本文介绍Linux系统更换开机logo方法教程,通用RK3566、RK3568、RK3588、RK3576等开发板,触觉智能RK3562开发板演示,搭载4核A53处理器,主频高达2.0GHz;内置独立1Tops算力NPU,可应用于物联网网关、平板电脑、智能家居、教育电子、工业显示与控制等行业。制作图片开机logo图片制作注意事项(1)图片必须为bmp格式;(2)图片大小不能大于4MB;(3)BMP位深最大是32,建议设置为8;(4)图片名称为logo.bmp和logo_kernel.bmp;开机
    Industio_触觉智能 2025-01-06 10:43 93浏览
  • 大模型的赋能是指利用大型机器学习模型(如深度学习模型)来增强或改进各种应用和服务。这种技术在许多领域都显示出了巨大的潜力,包括但不限于以下几个方面: 1. 企业服务:大模型可以用于构建智能客服系统、知识库问答系统等,提升企业的服务质量和运营效率。 2. 教育服务:在教育领域,大模型被应用于个性化学习、智能辅导、作业批改等,帮助教师减轻工作负担,提高教学质量。 3. 工业智能化:大模型有助于解决工业领域的复杂性和不确定性问题,尽管在认知能力方面尚未完全具备专家级的复杂决策能力。 4. 消费
    丙丁先生 2025-01-07 09:25 117浏览
  •  在全球能源结构加速向清洁、可再生方向转型的今天,风力发电作为一种绿色能源,已成为各国新能源发展的重要组成部分。然而,风力发电系统在复杂的环境中长时间运行,对系统的安全性、稳定性和抗干扰能力提出了极高要求。光耦(光电耦合器)作为一种电气隔离与信号传输器件,凭借其优秀的隔离保护性能和信号传输能力,已成为风力发电系统中不可或缺的关键组件。 风力发电系统对隔离与控制的需求风力发电系统中,包括发电机、变流器、变压器和控制系统等多个部分,通常工作在高压、大功率的环境中。光耦在这里扮演了
    晶台光耦 2025-01-08 16:03 61浏览
  • 每日可见的315MHz和433MHz遥控模块,你能分清楚吗?众所周知,一套遥控设备主要由发射部分和接收部分组成,发射器可以将控制者的控制按键经过编码,调制到射频信号上面,然后经天线发射出无线信号。而接收器是将天线接收到的无线信号进行解码,从而得到与控制按键相对应的信号,然后再去控制相应的设备工作。当前,常见的遥控设备主要分为红外遥控与无线电遥控两大类,其主要区别为所采用的载波频率及其应用场景不一致。红外遥控设备所采用的射频信号频率一般为38kHz,通常应用在电视、投影仪等设备中;而无线电遥控设备
    华普微HOPERF 2025-01-06 15:29 164浏览
  • 在智能家居领域中,Wi-Fi、蓝牙、Zigbee、Thread与Z-Wave等无线通信协议是构建短距物联局域网的关键手段,它们常在实际应用中交叉运用,以满足智能家居生态系统多样化的功能需求。然而,这些协议之间并未遵循统一的互通标准,缺乏直接的互操作性,在进行组网时需要引入额外的网关作为“翻译桥梁”,极大地增加了系统的复杂性。 同时,Apple HomeKit、SamSung SmartThings、Amazon Alexa、Google Home等主流智能家居平台为了提升市占率与消费者
    华普微HOPERF 2025-01-06 17:23 204浏览
  • 故障现象一辆2017款东风风神AX7车,搭载DFMA14T发动机,累计行驶里程约为13.7万km。该车冷起动后怠速运转正常,热机后怠速运转不稳,组合仪表上的发动机转速表指针上下轻微抖动。 故障诊断 用故障检测仪检测,发动机控制单元中无故障代码存储;读取发动机数据流,发现进气歧管绝对压力波动明显,有时能达到69 kPa,明显偏高,推断可能的原因有:进气系统漏气;进气歧管绝对压力传感器信号失真;发动机机械故障。首先从节气门处打烟雾,没有发现进气管周围有漏气的地方;接着拔下进气管上的两个真空
    虹科Pico汽车示波器 2025-01-08 16:51 70浏览
我要评论
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦