昆虫物种分类是生物多样性研究中的关键环节。传统分类方法多依赖于生态学家的主观经验或大型生化分析设备,难以取得准确性与实时性的两者兼顾。近年来,结合人工智能(AI)的计算机视觉成为物种分类任务的新质选择,但在处理外观相似的昆虫物种时,依然存在准确度不高的问题。高光谱成像技术能够同时获取目标的几何形态和光谱信息,已被广泛应用于科学研究和工业生产的众多领域。通过与边缘端的轻量级人工智能算法相结合,高光谱成像有望实现准确且实时的野外昆虫物种分类。
据麦姆斯咨询报道,近日,同济大学精密光学工程技术研究所和华东师范大学的联合科研团队在Royal Society Open Science期刊上发表了以“Rapid species discrimination of similar insects using hyperspectral imaging and lightweight edge artificial intelligence”为题的研究论文,报道了一种结合高光谱成像技术与边缘AI算法的相似昆虫物种鉴别方法。研究人员通过可见光-近红外高光谱相机和部署在神经网络芯片(NPU)上的轻量深度学习模型,成功区分了六种高度相似的青凤蝶属(Graphium)蝴蝶。与基于传统视觉信息的形态识别方法相比,基于光谱特征的轻量级网络在实现了更高精度的同时,降低了算法复杂性。该方法为昆虫物种的快速准确鉴别提供了新的思路,并为集成光谱微结构和AI芯片的便携式野外应用设备研发奠定了研究基础。该论文第一作者为同济大学的王绪泉和马志远,通讯作者为同济大学王绪泉副研究员和顿雄特聘研究员。
实验材料与设备
研究人员准备了极其相似的六种青凤蝶属物种,包括青凤蝶(G. Sarpedon)、蓝带青凤蝶(G. Milon)、木兰青凤蝶(G. Doson)、碎斑青凤蝶(G. Chironides)、银钩青凤蝶(G. Eurypylus)和条纹青凤蝶(G. Meyeri),如图1所示,样本总数为140个,均采用标准方法制作,包括软化、固定、拉伸和干燥,样品边界形状、光斑分布和颜色具有高度相似性。
图1 六种青凤蝶属相似物种样本
这项研究中使用的高光谱成像系统由三部分组成,如图2所示:安装在三脚架上的可见光-近红外便携式高光谱相机、两个卤素灯组成的专用照明系统和数据采集软件。为了最大限度地减少光漫反射干扰,将蝴蝶和标准白板平放在低反射率的黑色背景上,调整合适焦距和曝光时间获得样品的清晰光谱图像。
图2 高光谱数据采集系统示意图和实验图
实验获得的原始高光谱三维数据立方体如图3(a)所示,此处以青凤蝶(G. Sarpedon)为例,研究人员进一步研究了不同翅膀区域的光谱差异,如图3(c)所示,可知青凤蝶不同位置的光谱特性差异明显,相比底色区域,在斑点位置有更丰富的光谱信息。
图3 (a)高光谱数据立方体,(b)青凤蝶属蝴蝶翅室,(c)不同特征区域典型光谱
模型轻量化手段
模型轻量化方法的核心在于减小高光谱图像中空间和光谱维度的数据冗余,其中空间冗余来自样本的不相关和非特征区域,光谱冗余来自相邻光谱通道之间的相关性和物种的非特征光谱波段。因此,研究首先基于特定物种的感兴趣区域(ROI)和感兴趣波段(BOI)简化光谱图像数据立方体,并进一步结合网络压缩和量化实现了片上判别模型的轻量化。
图4 分析模型的轻量化手段
分析结果
采用图5(a)所示的一维CNN(1D-CNN-12)网络分别对全谱段光谱和特征光谱进行了训练和测试,六个物种识别结果的混淆矩阵为图5(b)和5(c)所示,波段选择后的模型基于更少的信息和参数量实现了相当的识别效果。为了对比所提出方法与传统计算机视觉的识别效果,研究人员使用Resnet-18和VGG-11模型对同步采集的样本RGB图像进行了测试,结果分别如图5(d)和5(e)所示。整体实验表明,基于高光谱特征的轻量级网络实现了约92.36%的识别准确率,优于传统机器视觉的纯形态识别精度,在外观极度相似的物种之间鉴别效果提升尤为明显。研究人员进一步验证了该方法在野外物种鉴定中的可行性,轻量化后的模型在RK3588芯片上的推理速度小于1毫秒,实现了准确性和实时性的两者兼顾。该方法为生物多样性研究中的野外物种鉴别提供了新的研究思路,为后续集成光谱微结构和AI芯片的便携式设备研发奠定了研究基础。
图5 建模和物种鉴别结果
该研究获得了国家自然科学基金和上海市科技重大专项的资助和支持。
论文链接:
https://doi.org/10.1098/rsos.240485