红外周视系统能够提供周围360°场景红外图像，消除车辆驾驶视觉盲区，能借助算法实现定位、建图、避障、路径规划、导航等功能，满足智能驾驶和自主驾驶的迫切需求。按照技术路线，可将红外周视系统分为三类：1）分时多视点红外周视系统；2）分孔径多视点红外周视系统；3）单视点折反射红外周视系统。
据麦姆斯咨询报道，近期，北京理工大学光电学院和云南北方光学科技有限公司的科研团队在《红外与激光工程》期刊上发表了以“非全对称五面镜单视点折反射红外周视系统”为主题的文章。该文章第一作者为周云扬，通讯作者为王岭雪副教授，主要从事红外成像、图像处理、红外光谱等方面的研究工作。
文中面向车载周视红外成像应用，综合分孔径多视点周视和单视点折反射周视的优势，根据车载应用中对前方探测距离要求高、对后方探测距离要求较低的实际情况，提出一种分孔径、单视点非全对称五面镜折反射红外周视系统设计方案，前方、左右侧视场均为64°，后方则是两个84°视场，共同组成水平360°、俯仰±29°的周视视场。针对不同焦距的非制冷红外成像组件，完成非全对称五面镜的结构设计，建立了满足单视点约束的非全对称折反射周视结构理论模型；设计出可调整、对准视点的系统机械结构，分析了系统投影转换、图像处理要素，提高其全面性、真实性和可信度。
目前国外研究者已开发出工作在可见光波段的四面镜、五面镜、十面镜单视点约束折反射周视系统，如图1所示，其共同特点为：多面镜构成对称结构的、底角（α）为45°的正多面体；每个镜面对应的摄像机镜头焦距（f）相同（即视场角ω相等）；每个摄像机视点与底面之间的垂直距离（h）、到中心轴线的水平距离（l）相同，摄像机视点是透镜中心（镜头为薄透镜时）或透镜物方主点（镜头为透镜组时）。对称多面镜单视点约束折反射结构的本质是利用正多面体反射镜将多个焦距相同摄像机视点所成的虚像重合于同一点。
图1 全对称多面镜单视点约束折反射周视样机及其结构示意图
以全对称五面镜为例，如图2（a）所示，P1、P2、P3、P4、P5是采用针孔成像模型简化后的摄像机视点，视点方向垂直向下。视点所对应的每一个棱面都是一块镜面朝外的平面反射镜，与水平面成45°夹角。所有视点位于棱锥顶点所在的水平面与相应棱面角平分线所在垂直平面的交线上，不同方向上的视点经平面反射镜成像后得到的虚视点重合为同一点，P′点成为系统的唯一视点。假设观察者位于P′点，就能从该点通过不同成像方向的多个摄像机观察到周围无缝的周视图像。图2（b）是图2（a）中相邻两块平面镜的正面投影图，P1和P2两个视点关于镜面轴对称的虚像点位于顶点O′与底面的垂直线OO′上，并在点P′重合，通过构建平面镜与摄像机之间的约束关系即可实现单视点约束。
图2 全对称五面镜单视点约束。（a）全对称五面镜；（b）相邻平面镜的正面投影图
图3是美国Tonbo Imaging公司分别使用九套低照度CMOS组件和非制冷红外成像组件研制的双波段分孔径多视点周视系统WolfPack。与图3中的分孔径、多视点周视系统相比，引入反射面构建的分孔径、单视点周视系统具有的优势有：
图3 分孔径多视点周视系统
1）能有效消除不同摄像机之间的视差；
2）能不经过图像拼接，直接获得水平360°视场的周视图像；
3）能保证水平360°视场内的物像一一对应，同一物体成像唯一，不存在“跨镜追踪”问题，提高周视图像中目标的可信度，既有利于对感兴趣目标进行识别和追踪，又有利于定量测量目标的方向和运动状态。
驾驶员多数时候通过观察道路前方和左、右侧来保证安全驾驶，故要求周视系统中的前视和左、右侧摄像机具有较远的作用距离，以便能尽早感知路面信息，从而快速进行避障操作，对后视摄像机的作用距离要求相对较低。因此，文中提出一种非全对称五面镜单视点折反射红外周视系统方案。首先，根据车辆驾驶时对行人探测距离选择合适的红外镜头。假设行人尺寸0.5×1.7m²、温度309 K，背景温度298 K，红外探测器像元规模640×512、像元尺寸12 μm、噪声等效温差（NETD）40 mK，使用最小可分辨温差（MRTD）公式计算，得到探测概率50%时，行人和背景的等效黑体温差ΔT′与距离R的曲线ΔT′（R）与MRTD（R）如图4（a）所示，此时4.1、5.8、9.1 mm焦距红外镜头的探测距离分别为145、200、320 m，相应的水平视场角分别为86°、67°、46°，如图4（b）所示。
图4 计算结果。（a）50%探测概率时焦距4.1、5.8、9.1 mm红外镜头的探测距离；（b）焦距4.1、5.8、9.1 mm红外镜头对应的水平视场角
根据计算结果（图4），为使用五块非全对称的反射镜获得360°周视视场，前视、左右侧均为64°视场（焦距5.8 mm），后视为两个84°视场（焦距4.1 mm），视场构成如图5所示。传统车载视觉存在盲区检测区域，主要为挡风玻璃两侧倾斜A柱遮挡造成的A柱盲区（见图5中Blind Spot Ⅰ）以及后视镜盲区（见图5中Blind spot Ⅱ），所设计的系统能够有效消除这些盲区。系统选用的红外探测器组件参数见表1。
图5 系统视场构成示意图
非全对称五面镜结构设计
基于2.1节选用的红外成像组件，根据单视点约束要求进行非全对称五面镜结构设计。三套焦距f₁=5.8 mm的等效视点为P1、P2、P3，对应棱面均与水平面成α的夹角−镜面倾角；两套焦距f₂=4.1 mm的等效视点为P4和P5，对应棱面与水平面成β的镜面倾角。不同焦距镜头组合使得五面镜结构底部表现为顶点到中心距离相等、边长与内角不完全相等的非全对称五边形，且红外成像组件在垂直方向上处于不同高度，如图6所示。单视点约束非全对称五面镜结构设计要点是调整不同镜面倾角组合（α、β）与红外成像组件的空间位置，使得视点P1、P2、P3、P4、P5所成的虚像重合于P′点。
图6 非全对称五面镜的几何结构示意图
为方便计算单视点约束下非全对称五面镜结构参数，选取图6中一个方向的红外成像组件进行分析。为不失一般性，令该成像组件的等效视点为P，对应的镜面倾角为θ，其他结构参数定义如图7所示，并在表2中列出，包括：虚视点P′高度m、底面中心点到边长距离d、可裁剪镜面高度s（图7（b）中红色虚线上方高度）、成像组件等效视点P的高度h以及与结构顶点O′的水平距离l、成像组件的垂直视场角2ε、镜头直径k。
图7 非全对称五面镜结构的参数定义示意图。（a）三维图；（b）侧面投影二维图
五面镜结构的整体尺寸由镜面倾角θ、底部中心点到边长的距离d、虚视点高度m决定。假设垂直视场角2ε左侧边界光线刚好位于结构底部C处，视点P对应的反射镜棱面为图7（a）中的平面ABO′，该反射面侧面投影为图7（b）中的CO′。
根据几何光学中光线的反射分析红外成像组件刚好不对自身成像时的视场临界角，如图8所示，将等效视点P对应的红外成像组件镜头直径k令为线段MN，临界入射光线Ⅰ（图8中Ray Ⅰ）刚好经过镜头边界点M，在Q点以入射角ϕ1发生反射，反射光线经过镜头边界点N后进入红外成像组件；临界入射光线Ⅱ（图8中Ray Ⅱ）在C点以入射角ϕ2发生反射，反射光线经过镜头边界点M后进入红外成像组件。在此条件下，令角度∠MPN=2ε′。
图8 无遮挡成像分析
综上所述，根据单视点约束设计非全对称五面镜结构的主要步骤如图9所示，包括：
1）针对特定任务中目标与背景之间的温度差，根据空间分辨力和作用距离要求选取合适的红外成像组件及其镜头参数，如表1所示；
2）根据垂直视场角2ε、镜头直径k等选取合适的视点高度m与镜面倾角θ的组合，通过求解红外成像组件等效视点P的高度h以及与结构顶点O′的水平距离l，确定红外成像组件的精确位置，再根据反射视场确定结构底部中心点到边长的距离d、可裁剪镜面高度s，从而确定非全对称五棱台反射镜的具体尺寸；
3）根据上一步获得的系统结构参数进行视场有无遮挡的分析；
4）根据视场无遮挡分析结果优化系统结构，直至获得无遮挡、结构尺寸小、易加工的非对称五棱台反射镜。
图9 非全对称五面镜结构的设计流程图
五方向平面−柱面投影获得周视图像的模型
满足单视点约束的非全对称五面镜和不同焦距红外镜头将五个方向的场景辐射反射并汇聚到五套垂直放置的红外焦平面探测器，如图10所示，由于虚视点P′所在轴线可当作旋转轴，采用柱面投影将图10（a）五个方向上的平面图像转换为无缝周视图像，如图10（b）所示。图10中红色线、蓝色线分别代表焦距f₁ =5.8 mm、f₂=4.1 mm的红外成像组件。另外，为尽可能保留前方和左、右侧视场信息，将焦距f₁ =5.8 mm作为柱面投影半径进行周视图像投影。同时，三幅焦距f₁ =5.8 mm和两幅f₂=4.1 mm的图像也可以作为大视场图像进行保存和供使用者调用。
图10 平面投影到周视图像的转换示意图。（a）五个方向上的平面图像；（b）柱面投影后的周视图像
系统机械结构设计
利用ProE软件对该系统进行仿真设计，提出可调整、对准视点的机械结构方案，保证不同焦距红外成像组件视点能精确重合为同一点，如图11所示。该周视系统主要可分为镜面反射区域、红外成像组件、中心柱轴以及相关支架。红外成像组件通过固定在圆盘平台上与中心柱轴保持一定的水平和垂直距离，镜面反射区域主要由反射镜支架与反射镜面组成，水平与垂直方向上增加平面支架保证倾角的稳定性和准确性，支架表面刻制凹槽保证两者的贴合。反射镜面由具有一定厚度、内部均匀、拥有光滑平整前表面的浮法玻璃组成，有利于红外辐射的镜面反射。每个红外成像组件采集对应反射镜面反射的红外辐射，共同构成360°红外周视图像。
图11 系统机械结构设计图
为使多个视点对准于单个虚视点以保证单视点约束，设计了红外成像组件空间位置可调整的机械结构。一方面，在中心柱轴上放置不同数量的调节圈调整高度，并通过锁紧圈固定；另一方面，红外成像组件采用固定座组件确定在圆盘上的位置，该组件可在一定范围内移动，用于调节红外成像组件的水平距离，下方放置不同数量的调节圈调整垂直高度。中心柱轴调整机制和固定座调整机制确保可手动调节红外成像组件的空间位置，避免结构加工、人工装调误差造成的视点位置偏移。该系统经过机械设计后的最终结构参数如表3所示。
加工、组装和调试后的原型系统实物照片如图12所示。当系统工作时，五个红外成像组件根据外同步信号同时采集视频图像，一帧图像的大小为640 pixel×480 pixel。
图12 文中原型系统的实物照片
由于使用两种焦距的红外镜头（f₁=5.8 mm和f₂=4.1 mm），首先需要对其中一种焦距的图像进行缩放。
综上所述，该系统红外周视图像的获取需要进行的图像处理步骤主要包括：柱面投影、缩放、中心对齐、冗余部分切割、灰度平衡，最终获得完整且无缝的红外周视图像，如图13所示，前方和左、右侧红外成像组件作用距离较远，扩大驾驶员视野，满足全天时、无盲区的观察需要。
图13 系统成像结果
文中针对车辆驾驶应用中前方和左、右侧、后方对行人探测距离要求的不同（分别为200 m和145 m），提出并实现了前方和左、右侧均为64°视场、后视为两个84°视场的非全对称五面镜单视点折反射红外周视系统，利用非全对称五面镜将三套焦距f₁=5.8 mm和两套f₂=4.1 mm的红外成像组件的虚视点重合为同一点，建立了单视点约束非全对称五面镜结构的设计流程，即根据空间分辨力和作用距离要求选取合适的红外成像组件及其镜头参数后，再根据单视点结构约束条件确定非全对称五棱台反射镜的具体尺寸，并根据系统结构参数进行视场遮挡分析后进一步优化系统结构，直至获得无遮挡、结构尺寸小、易加工的非对称五棱台反射镜。完成加工、装调非全对称五面镜折反射红外周视原型系统后，提出了包含柱面投影、缩放、中心对齐、冗余部分切割、灰度平衡等步骤的周视红外图像处理流程，最终实现对水平360°、俯仰±29°视场的无遮挡、无缝、无盲区红外成像。该系统获取场景的红外图像全面、真实和可信，有助于消除车辆驾驶观察盲区，提升智能驾驶能力，在民用和军用领域都有广阔的应用前景。未来将开展系统小型化方面的工作。
这项研究获得国家自然科学基金项目（U2241226）的资助和支持。
https://doi.org/10.3788/IRLA20230266
