户外场景中，AGV厂商如何选择托盘识别3D视觉方案

原创移动机器人产业联盟 2023-05-30 17:34

【北京12.5号】无线前沿新技术与测试技术峰会 精密双向电流感应放大器设计方案

ToF（Time-of-Flight）感知技术VS主动双目视觉技术

文｜维感科技

随着工业自动化的发展，AGV（自动引导车）已成为物流自动化领域中的关键工具。较大规模的工厂、仓库和物流中心纷纷引入AGV，以实现物流流程的自动化和智能化，从而提高物流效率、准确性和安全性，同时减少人工操作的错误和劳动强度，为整体生产和物流管理水平的提升做出贡献。

在这一自动化系统中，机器视觉发挥着重要角色。首先，它能进行障碍物检测与避障，通过实时的图像处理和目标识别算法，AGV能够识别并确定周围环境中的障碍物，采取相应的避障动作，确保安全通行。其次，机器视觉在AGV的导航与定位中起到关键作用。AGV配备摄像头或激光雷达等传感器，通过识别地标或标记物，确定自身的位置和方向，从而提供准确的导航信息，帮助AGV规划路径并精确到达目标位置。此外，机器视觉还用于识别和处理货物。AGV搭载视觉系统，能够识别货物或条码（二维码），确定货物的类型、数量和目的地，实现自动化的负载识别与处理。

近些年迅猛发展的3D视觉技术已成为AGV领域的关键技术之一，进一步提升AGV智能化水平的同时，也实现了更高效、准确和安全的物流操作。在户外环境中，用于AGV托盘或货物识别最常见的两种3D视觉技术分别是主动双目视觉技术和ToF（Time-of-Flight）感知技术，两种3D视觉技术均可用于物体深度信息的快速捕捉，但在性能表现中，依然存在一些差别，本文选择了全球知名的主动双目相机标杆产品与维感科技Vzense® DS系列的相机在户外强光2米距离范围内，进行了成像效果对比测试，供大家参考与选型。

技术原理与代表产品

双目视觉技术

双目视觉技术由两个相机组成，分别模拟人类的双眼，通过三角测距法计算物体到相机的距离。这两个相机被安装在一定的距离上，以获得不同的视角，通过同时捕捉同一场景的左右两个图像，并分析这些图像之间的视差（两个图像中对应点之间的位移），可以计算出场景中物体的深度信息。为提高数据准确性，往往在双目视觉技术基础上搭配主动投射特殊图形的光源，如红外光或结构光。通过分析左右两个图像之间的视差和光场的变化，计算出物体的深度信息，全球知名代表产品有Intel® RealSenseTM D400系列与ZED Stereo相机。

Intel® RealSenseTM D435（Intel官网图片）

ToF（Time-of-Flight）相机技术

ToF（Time-of-Flight）技术的原理是由ToF模组的光源向被测对象发出光子，在抵达被测对象并通过图像传感器接收反射回到ToF模组的光子，计量此段“光的飞行时间”，在光速已知的前提下，即可得到距离数据。ToF相机技术是以光学系统为接受路径的面阵一次性成像，非扫描式3D成像深度信息捕捉技术，全球知名代表产品有微软Azure Kinect，Lucid Helios与Basler Blaze。维感科技作为国内迅速发展起来的工业级ToF相机技术研发与生产企业，亦推出了基于Sony ToF芯片，极具性价比的Vzense® DS系列。

Azure Kinect DK

（Microsoft官网图片）

维感科技Vzense® DS系列

户外测试数据对比

户外场景与低反射率物体的识别，一直都是AGV目标物识别的难点，强烈的光照会使图像采集时光强度骤升，物体局部过曝，或产生较大明暗差，导致图像质量下降，丢失物体细节，进而影响距离值的计算与识别的准确性。而黑色物体（如包裹，托盘，货架）会因其超低反射率的原因，导致相机难以捕捉到较高质量的距离数据。

针对这个常见的AGV识别痛点，进行了下述性能对比测试：

测试条件：户外，正午，太阳光直射，光照强度约60,000Lux

被测物体：1m*1.2m的黑色与蓝色托盘

相机机型：某主动双目相机与维感科技Vzense® DS系列

测试场景实拍图

对比测试一：

分别拍摄1米与1.5米距离处，相机正对与侧对黑色托盘时的点云数据对比

	1000mm处-正面	1500mm处 – 侧面
某主动双目相机
Vzense® DS77

对比测试二：

分别拍摄1米与2米距离处，相机正对与侧对蓝色托盘时的点云数据对比

	1000mm-正面	1000mm–侧面	2000mm-正面
某主动双目相机
Vzense® DS77

对比测试三：

分别拍摄1米距离处的黑色托盘与蓝色托盘，相机正对托盘时的点云数据放大后的平整度情况对比

	黑色托盘	蓝色托盘
某主动双目相机
Vzense® DS77

综合上述多组测试对比数据容易看出，在户外1~2米测量距离处，维感科技Vzense® DS77 ToF相机产品拥有更好的抗光性，数据稳定性与平整度，更加适合AGV在户外场景中进行托盘与货物识别。这不仅得益于Vzense® DS系列搭载了性能卓越的Sony ToF芯片，将高精度检测反射光相位的像素技术CAPD与背照式CMOS图像传感器高速像素技术结合，更得益于维感科技团队多年来专注于ToF感知技术，将多频模式与高动态范围（HDR）技术融入到产品设计中，通过捕捉多个不同频率与多个不同曝光时间的方式获得图像，使得复杂场景中的深度数据也可以精确到毫米级别。

VZENSE® DS系列户外成功案例分享

应用案例一：AGV叉车托盘识别与避障

Vzense® ToF相机已成功集成在多品牌AGV产品中，AGV叉车利用ToF相机提供的深度信息，识别不同明暗环境中的托盘、货物、障碍物等，AGV可以安全准确地识别物品、拾取并运输到目的地。