【光电智造】深度解析移动机器人的几种视觉算法

今日光电 2024-11-30 17:43

 今日光电 

     有人说,20世纪是电的世纪,21世纪是光的世纪;知光解电,再小的个体都可以被赋能。追光逐电,光赢未来...欢迎来到今日光电!




----追光逐电 光赢未来----

 

果对移动机器人视觉算法进行拆解,你就会发现获取物体深度信息、定位导航以及壁障等都是基于不同的视觉算法,本文就带大家聊一聊几种不同但又必不可少的视觉算法组成。



谈到移动机器人,大家第一印象可能是服务机器人,实际上无人驾驶汽车、可自主飞行的无人机等等都属于移动机器人范畴。它们能和人一样能够在特定的环境下自由行走/飞行,都依赖于各自的定位导航、路径规划以及避障等功能,而视觉算法则是实现这些功能关键技术。


如果对移动机器人视觉算法进行拆解,你就会发现获取物体深度信息、定位导航以及壁障等都是基于不同的视觉算法,本文就带大家聊一聊几种不同但又必不可少的视觉算法组成。


本文作者陈子冲,系Segway Robot架构师和算法负责人。

移动机器人的视觉算法种类

Q:实现定位导航、路径规划以及避障,那么这些过程中需要哪些算法的支持?


谈起移动机器人,很多人想到的需求可能是这样的:“嘿,你能不能去那边帮我拿一杯热拿铁过来。”这个听上去对普通人很简单的任务,在机器人的世界里,却充满了各种挑战。为了完成这个任务,机器人首先需要载入周围环境的地图,精确定位自己在地图中的位置,然后根据地图进行路径规划控制自己完成移动。


而在移动的过程中,机器人还需要根据现场环境的三维深度信息,实时的躲避障碍物直至到达最终目标点。在这一连串机器人的思考过程中,可以分解为如下几部分的视觉算法:


1.深度信息提取

2.视觉导航

3.视觉避障


后面我们会详细说这些算法,而这些算法的基础,是机器人脑袋上的视觉传感器。


视觉算法的基础:传感器


Q:智能手机上的摄像头可以作为机器人的眼睛吗?


所有视觉算法的基础说到底来自于机器人脑袋上的视觉传感器,就好比人的眼睛和夜间视力非常好的动物相比,表现出来的感知能力是完全不同的。同样的,一个眼睛的动物对世界的感知能力也要差于两个眼睛的动物。每个人手中的智能手机摄像头其实就可以作为机器人的眼睛,当下非常流行的Pokeman Go游戏就使用了计算机视觉技术来达成AR的效果。

像上图画的那样,一个智能手机中摄像头模组,其内部包含如下几个重要的组件:镜头,IR filter,CMOS sensor。其中镜头一般由数片镜片组成,经过复杂的光学设计,现在可以用廉价的树脂材料,做出成像质量非常好的手机摄像头。

CMOS sensor上面会覆盖着叫做Bayer三色滤光阵列的滤色片。每个不同颜色的滤光片,可以通过特定的光波波长,对应CMOS感光器件上就可以在不同位置分别获得不同颜色的光强了。如果CMOS传感器的分辨率是4000x3000,为了得到同样分辨率的RGB彩色图像,就需要用一种叫做demosaicing的计算摄像算法,从2绿1蓝1红的2x2网格中解算出2x2的RGB信息。

一般的CMOS感光特性除了选择红绿蓝三色之外,对于红外光是透明的。因此在光路中加上IR滤光片,是为了去除太阳光线中红外光对CMOS的干扰。加上滤光片后,通常图像的对比度会得到显著的提升。


Q:计算机视觉中还会用到什么传感器?


除了RGB相机,计算机视觉中常用的还有其他种类的特殊相机。例如有一种相机的滤光片是只允许通过红外光波段的。因为人眼通常是看不见红外光的,所以可以在相机附近加上主动红外光源,用于测距等应用。

另外,大部分我们用到的camera都是以rolling shutter的形式实现电子曝光的,像图中左侧那样,为了减少电子器件的成本,曝光通常是一行一行分别进行,这样势必造成物体快速移动时,相机采集到的图像会发生形变。为了避免这种形变对基于立体几何进行计算的视觉算法的影响(例如VSLAM),选用global shutter的相机就显得特别重要了。

深度相机是另一大类视觉算法中需要的传感器,可以分成如下几类:


1.TOF传感器(例如Kinect 2代),类似昆虫复眼。成本高,室外可以使用。

2.结构光传感器(例如Kinect 1代),三角定位原理,成本中,室外不能用。

3.双目视觉(例如Intel Realsense R200),主动照明或被动照明,IR或可见光皆可。成本低,室外可以使用。


算法一:深度信息提取


Q:深度相机如何识别物体的深度信息的呢?


简而言之,其原理就是使用两个平行的相机,对空间中的每个点三角定位。通过匹配左右两个相机中成像点的位置,来计算对应三维点在空间中的距离。学术界对双目匹配恢复深度图研究有很长的历史,在NASA火星车上就开始采用这个技术。但是其真正在消费电子品市场得到广泛应用还是从微软的Kinect体感传感器开始。

Kinect传感器背后使用了以色列Primesense公司授权的结构光技术(如今已被Apple收购)。其原理是避开双目匹配中复杂的算法设计,转而将一个摄像头更换成向外主动投射复杂光斑的红外投影仪,而另一个平行位置的相机也变成了红外相机,可以清楚的看到投影仪投射的所有光斑。因为人眼看不到红外光斑,而且纹理非常复杂,这就非常有利于双目匹配算法,可以用非常简洁的算法,识别出深度信息。


尽管Kinect的内在原理官方并没有给出解释,在近年来一篇Kinect Unleashed的文章中,作者向公众hack了这个系统的工作原理:


首先,红外图像在基线方向上采样8倍,这样可以保证在做双目匹配后实现3bit的亚像素精度。然后,对图像做sobel滤波,使得图像的匹配精度提高。而后,图像与预存的投影光斑模板图像进行SAD block matching。该算法的计算复杂度小,适合硬化和并行。最后,经过简单的图像后处理,下采样到原始分辨率,得到最终的深度图。

我们可以看到,随着2009年Kinect设备在消费机市场的爆发(发售头10天100万台),逐渐开始催生了类似技术变种在移动端设备的研发热潮。从2013年至今,随着计算能力的提升和算法的进步,硬件成本更低的主动/被动双目深度相机开始在移动手机上涌现。

过去认为很难实时运行的双目匹配算法,即使在没有主动结构光辅助的情况下,也表现出非常优异的3D成像质量。Segway robot采用了主动/被动可切换的双目深度视觉系统。如下图所示,左侧三个传感器分别为,左红外相机,红外pattern投影,右红外相机。在室内工作时,因为红外光源不足,红外投影打开,辅助双目匹配算法。在室外工作时,红外光源充足,红外投影关闭,双目匹配算法可以直接运行。综合看,此系统在室内外都表现出优异的深度传感能力。


算法二:定位导航


Q:视觉处理后,机器人是如何实现导航的?

  

机器人导航本身是一个比较复杂的系统。其中涉及到的技术会有如下列表:


视觉里程计 VO

建图,利用VO和深度图

重定位,从已知地图中识别当前的位置

闭环检测·,消除VO的闭环误差

全局导航

视觉避障

Scene tagging,识别房间中物体加上tag


机器人开机,视觉里程计就会开始工作,记录从开机位置起的6DOF定位信息。在机器人运动过程中,mapping算法开始构建机器人看到的世界,将空间中丰富的特征点信息,二维的地图信息记录到机器人map中。


当机器人运动过程中因为遮挡、断电等原因丢失了自身的坐标,重定位算法就需要从已知地图中定位到机器人当前的位置估计。另外,当机器人运动中回到了地图中曾经出现过的位置,往往视觉里程计的偏差会导致轨迹并没有完全闭合,这就需要闭环算法检测和纠正这个错误。


有了全局地图之后,机器人就可以给定一些目标点指令,做全局的自主导航了。在现实中,因为环境是不停变化的,全局地图并不能完全反映导航时的障碍物状况,因此需要凌驾于全局导航之上的视觉避障算法进行实时的运动调整。


最后,一个自动的导航系统还需要机器人自动识别和理解空间中的不同物体的信息、位置、高度和大小。这些tag信息叠加在地图上,机器人就可以从语义上理解自己所处的环境,而用户也可以从更高层次下达一些指令。


Q:视觉VSLAM在机器人上的实现有哪些难点?


视觉VSLAM是一个集合了视觉里程计,建图,和重定位的算法系统。近年来发展很快。基于特征的视觉SLAM算法从经典的PTAM算法开端,目前以ORB-SLAM为代表的算法已经可以在PC上达到实时运行。下面是一个ORBSLAM的框图:

从名字可见,其使用ORB作为图像特征提取工具,并且在后续的建图及重定位中均使用了同一份特征点信息。相对于传统的SIFT和SURF特征提取算法,其效率高出很多。


ORB-SLAM包含三个并行的线程,即跟踪,建图和闭环。其中跟踪线程运行在前端,保证实时运行,建图和闭环线程运行在后端,速度不需要实时,但是与跟踪线程共享同一份地图数据,可以在线修正使得地图数据精度和跟踪精度更高。下图是ORB-SLAM地图的主要数据结构,


点云和关键帧。两者之间通过图像上2D特征点与空间中的点云建立映射关系,同时还维护了关键帧之间的covisibility graph关系。通过这些数据关联,用优化方法来维护整个地图。

ORB-SLAM在机器人上应用仍然存在如下难点:


1.计算量过大,在4核处理器上通常会占去60%左右CPU资源。

2.在机器人运动过快时会出现跟丢不可复原的情况。

3.单目SLAM存在尺度不确定的问题。在机器人快速旋转时,此问题尤其明显,很快会出现闭环误差过大无法纠正的情况。


针对尺度问题,有两种方法解决:增加一个摄像头形成双目SLAM系统,或者增加一个IMU形成松耦合/紧耦合的视觉惯导定位系统。这里简单介绍松耦合的视觉惯导定位系统。一般把VSLAM当成一个黑盒子,将其的输出作为观测量放到一个基于IMU的EKF系统中,EKF最终fuse的输出即是系统的输出。


考虑到camera数据和IMU数据通常是不同步的,因此通过硬件时间戳,需要判断图像数据对应的时间戳与IMU时间戳的关系。在EKF propagate步骤,更高帧率的IMU数据不停的更新EKF的状态。在camera数据到来时,触发EKF update步骤,根据EKF建模方程来更新状态变量、协方差矩阵,并且重新更新所有晚于camera数据的IMU数据对应的状态变量。

Segway Robot采用了业界领先的视觉惯导定位系统,下面是一个在楼道里面运行一圈,回到原点之后的效果图,具体有如下优势:


1.在大尺度下可以保证非常小的闭环误差

2.实时运行,需求CPU资源小

3.允许快速旋转等情形,不会跟丢


算法三:避障


Q:视觉避障的算法原理是怎样的?


导航解决的问题是引导机器人接近目标。当机器人没有地图的时候,接近目标的方法称为视觉避障技术。避障算法解决的问题是根据视觉传感器的数据,对静态障碍物、动态障碍物实现躲避,但仍维持向目标方向运动,实时自主导航。

避障算法有很多,然而这些方法都有严格的假设,假设障碍物为圆形或假设机器人为圆形,假设机器人可以任意方向运动,s或假设它只能走圆弧路径。然而实际应用上,机器人很难达到条件。比如VFF算法, 该算法假设机器人为点,而且可以任意方向运动。VFH+假设机器人为圆形,通过圆形膨胀障碍物,在考虑运动学问题时仅仅假设机器人以圆弧路径运动。DWA也假设机器人为圆形,在考虑运动学问题时只模拟了前向圆弧运动时的情况。


相对而言,我们不限制机器人的形状,考虑运动学问题时,模拟多种运动模型,而不限于圆弧运动,因为这样可以为机器人找到更佳避开障碍物的行为。


这张图显示了使用不同运动学模型导致不同的避障结果。左图表示使用圆弧模型时模拟的路径,右图表示使用另一种路径模型模拟的路径。在这种狭小环境,此方法可以提前预测多个方向的障碍物情况,选择合适的模型可以帮助找到更合适的运动方向躲避障碍物。

和目前常用的避障算法之间存在的差异在于,它将运动学模型抽象化到周围环境地图中,然后就可以使用任何常用的避障算法,这样就解耦了运动学模型与算法的捆绑,而且任何要求严格的避障算法都能加入进来。Segway Robot的避障系统,综合了深度传感器,超声波,IMU等sensor。在复杂的环境中,可以自如躲避障碍物。

这张图是我们的避障系统的一个截图,可以看到深度图和2维的避障地图。最下面红色的指针就代表了每时每刻避障的决策。


精彩问答


Q:为什么选用ir相机而不是传统的rgb相机呢?ir相机相对来讲的优势在哪里?


A:ir相机可以看到人眼看不到的物体,比如深度相机需要在室内投射红外纹理,帮助深度识别。人眼看不到,但ir相机可以看。


Q:现在机器人导航是否主要是slam技术,还有没其他导航技术?主要流行的slam技术有哪些?用于无人驾驶和无人机的视觉导航技术有哪些异同?


A:slam技术是导航中的一个基础模块,种类很多,有单目,双目,depth,imu+视觉等传感器为基础的算法。双目相机可以很好的适应室内和室外的环境。他的体积其实非常小,segway robot使用的camera长度在10cm左右


Q:现在有无用于机器人导航的导航地图存在,类似车载导航地图?用于机器人导航的地图数据有哪些?


A:现在还没有这样的机器人导航地图存在,但是是研发热点。比如tesla和mobileye的地图之争。


来源:新机器视觉


申明:感谢原创作者的辛勤付出。本号转载的文章均会在文中注明,若遇到版权问题请联系我们处理。


 

----与智者为伍 为创新赋能----


【说明】欢迎企业和个人洽谈合作,投稿发文。欢迎联系我们
诚招运营合伙人 ,对新媒体感兴趣,对光电产业和行业感兴趣。非常有意者通过以下方式联我们!条件待遇面谈
投稿丨合作丨咨询

联系邮箱:uestcwxd@126.com

QQ:493826566




评论
  • 一、行业背景与用户需求随着健康消费升级,智能眼部按摩仪逐渐成为缓解眼疲劳、改善睡眠的热门产品。用户对这类设备的需求不再局限于基础按摩功能,而是追求更智能化、人性化的体验,例如:语音交互:实时反馈按摩模式、操作提示、安全提醒。环境感知:通过传感器检测佩戴状态、温度、压力等,提升安全性与舒适度。低功耗长续航:适应便携场景,延长设备使用时间。高性价比方案:在控制成本的同时实现功能多样化。针对这些需求,WTV380-8S语音芯片凭借其高性能、多传感器扩展能力及超高性价比,成为眼部按摩仪智能化升级的理想选
    广州唯创电子 2025-03-13 09:26 33浏览
  •        随着人工智能算力集群的爆发式增长,以及5.5G/6G通信技术的演进,网络数据传输速率的需求正以每年30%的速度递增。万兆以太网(10G Base-T)作为支撑下一代数据中心、高端交换机的核心组件,其性能直接决定了网络设备的稳定性与效率。然而,万兆网络变压器的技术门槛极高:回波损耗需低于-20dB(比千兆产品严格30%),耐压值需突破1500V(传统产品仅为1000V),且需在高频信号下抑制电磁干扰。全球仅有6家企业具备规模化量产能力,而美信科
    中科领创 2025-03-13 11:24 40浏览
  • 曾经听过一个“隐形经理”的故事:有家公司,新人进来后,会惊讶地发现老板几乎从不在办公室。可大家依旧各司其职,还能在关键时刻自发协作,把项目完成得滴水不漏。新员工起初以为老板是“放羊式”管理,结果去茶水间和老员工聊过才发现,这位看似“隐形”的管理者其实“无处不在”,他提前铺好了企业文化、制度和激励机制,让一切运行自如。我的观点很简单:管理者的最高境界就是——“无为而治”。也就是说,你的存在感不需要每天都凸显,但你的思路、愿景、机制早已渗透到组织血液里。为什么呢?因为真正高明的管理,不在于事必躬亲,
    优思学院 2025-03-12 18:24 81浏览
  • 文/杜杰编辑/cc孙聪颖‍主打影像功能的小米15 Ultra手机,成为2025开年的第一款旗舰机型。从发布节奏上来看,小米历代Ultra机型,几乎都选择在开年发布,远远早于其他厂商秋季主力机型的发布时间。这毫无疑问会掀起“Ultra旗舰大战”,今年影像手机将再次被卷上新高度。无意臆断小米是否有意“领跑”一场“军备竞赛”,但各种复杂的情绪难以掩盖。岁岁年年机不同,但将2-3年内记忆中那些关于旗舰机的发布会拼凑起来,会发现,包括小米在内,旗舰机的革新点,除了摄影参数的不同,似乎没什么明显变化。贵为旗
    华尔街科技眼 2025-03-13 12:30 60浏览
  • 在追求更快、更稳的无线通信路上,传统射频架构深陷带宽-功耗-成本的“不可能三角”:带宽每翻倍,系统复杂度与功耗增幅远超线性增长。传统方案通过“分立式功放+多级变频链路+JESD204B 接口”的组合试图平衡性能与成本,却难以满足实时性严苛的超大规模 MIMO 通信等场景需求。在此背景下,AXW49 射频开发板以“直采+异构”重构射频范式:基于 AMD Zynq UltraScale+™ RFSoC Gen3XCZU49DR 芯片的 16 通道 14 位 2.5GSPS ADC 与 16
    ALINX 2025-03-13 09:27 32浏览
  • 一、行业背景与需求痛点智能电子指纹锁作为智能家居的核心入口,近年来市场规模持续增长,用户对产品的功能性、安全性和设计紧凑性提出更高要求:极致空间利用率:锁体内部PCB空间有限,需高度集成化设计。语音交互需求:操作引导(如指纹识别状态、低电量提醒)、安全告警(防撬、试错报警)等语音反馈。智能化扩展能力:集成传感器以增强安全性(如温度监测、防撬检测)和用户体验。成本与可靠性平衡:在复杂环境下确保低功耗、高稳定性,同时控制硬件成本。WTV380-P(QFN32)语音芯片凭借4mm×4mm超小封装、多传
    广州唯创电子 2025-03-13 09:24 41浏览
  • 在海洋监测领域,基于无人艇能够实现高效、实时、自动化的海洋数据采集,从而为海洋环境保护、资源开发等提供有力支持。其中,无人艇的控制算法训练往往需要大量高质量的数据支持。然而,海洋数据采集也面临数据噪声和误差、数据融合与协同和复杂海洋环境适应等诸多挑战,制约着无人艇技术的发展。针对这些挑战,我们探索并推出一套基于多传感器融合的海洋数据采集系统,能够高效地采集和处理海洋环境中的多维度数据,为无人艇的自主航行和控制算法训练提供高质量的数据支持。一、方案架构无人艇要在复杂海上环境中实现自主导航,尤其是完
    康谋 2025-03-13 09:53 44浏览
  • DeepSeek自成立之初就散发着大胆创新的气息。明明核心开发团队只有一百多人,却能以惊人的效率实现许多大厂望尘莫及的技术成果,原因不仅在于资金或硬件,而是在于扁平架构携手塑造的蜂窝创新生态。创办人梁文锋多次强调,与其与大厂竞争一时的人才风潮,不如全力培养自家的优质员工,形成不可替代的内部生态。正因这样,他对DeepSeek内部人才体系有着一套别具一格的见解。他十分重视中式教育价值,因而DeepSeek团队几乎清一色都是中国式学霸。许多人来自北大清华,或者在各种数据比赛中多次获奖,可谓百里挑一。
    优思学院 2025-03-13 12:15 47浏览
  • 北京时间3月11日,国内领先的二手消费电子产品交易和服务平台万物新生(爱回收)集团(纽交所股票代码:RERE)发布2024财年第四季度和全年业绩报告。财报显示,2024年第四季度万物新生集团总收入48.5亿元,超出业绩指引,同比增长25.2%。单季non-GAAP经营利润1.3亿元(non-GAAP口径,即经调整口径,均不含员工股权激励费用、无形资产摊销及因收购产生的递延成本,下同),并汇报创历史新高的GAAP净利润7742万元,同比增长近27倍。总览全年,万物新生总收入同比增长25.9%达到1
    华尔街科技眼 2025-03-13 12:23 50浏览
  • 文/Leon编辑/cc孙聪颖作为全球AI领域的黑马,DeepSeek成功搅乱了中国AI大模型市场的格局。科技大厂们选择合作,接入其模型疯抢用户;而AI独角兽们则陷入两难境地,上演了“Do Or Die”的抉择。其中,有着“大模型六小虎”之称的六家AI独角兽公司(智谱AI、百川智能、月之暗面、MiniMax、阶跃星辰及零一万物),纷纷开始转型:2025年伊始,李开复的零一万物宣布转型,不再追逐超大模型,而是聚焦AI商业化应用;紧接着,消息称百川智能放弃B端金融市场,聚焦AI医疗;月之暗面开始削减K
    华尔街科技眼 2025-03-12 17:37 146浏览
  • 前言在快速迭代的科技浪潮中,汽车电子技术的飞速发展不仅重塑了行业的面貌,也对测试工具提出了更高的挑战与要求。作为汽车电子测试领域的先锋,TPT软件始终致力于为用户提供高效、精准、可靠的测试解决方案。新思科技出品的TPT软件迎来了又一次重大更新,最新版本TPT 2024.12将进一步满足汽车行业日益增长的测试需求,推动汽车电子技术的持续革新。基于当前汽车客户的实际需求与痛点,结合最新的技术趋势,对TPT软件进行了全面的优化与升级。从模型故障注入测试到服务器函数替代C代码函数,从更准确的需求链接到P
    北汇信息 2025-03-13 14:43 40浏览
我要评论
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦