基于高光谱成像和边缘人工智能的相似昆虫物种快速准确鉴别

MEMS 2024-10-03 07:01

昆虫物种分类是生物多样性研究中的关键环节。传统分类方法多依赖于生态学家的主观经验或大型生化分析设备,难以取得准确性与实时性的两者兼顾。近年来,结合人工智能(AI)的计算机视觉成为物种分类任务的新质选择,但在处理外观相似的昆虫物种时,依然存在准确度不高的问题。高光谱成像技术能够同时获取目标的几何形态和光谱信息,已被广泛应用于科学研究和工业生产的众多领域。通过与边缘端的轻量级人工智能算法相结合,高光谱成像有望实现准确且实时的野外昆虫物种分类。

据麦姆斯咨询报道,近日,同济大学精密光学工程技术研究所和华东师范大学的联合科研团队在Royal Society Open Science期刊上发表了以“Rapid species discrimination of similar insects using hyperspectral imaging and lightweight edge artificial intelligence”为题的研究论文,报道了一种结合高光谱成像技术与边缘AI算法的相似昆虫物种鉴别方法。研究人员通过可见光-近红外高光谱相机和部署在神经网络芯片(NPU)上的轻量深度学习模型,成功区分了六种高度相似的青凤蝶属(Graphium)蝴蝶。与基于传统视觉信息的形态识别方法相比,基于光谱特征的轻量级网络在实现了更高精度的同时,降低了算法复杂性。该方法为昆虫物种的快速准确鉴别提供了新的思路,并为集成光谱微结构和AI芯片的便携式野外应用设备研发奠定了研究基础。该论文第一作者为同济大学的王绪泉和马志远,通讯作者为同济大学王绪泉副研究员和顿雄特聘研究员。

实验材料与设备

研究人员准备了极其相似的六种青凤蝶属物种,包括青凤蝶(G. Sarpedon)、蓝带青凤蝶(G. Milon)、木兰青凤蝶(G. Doson)、碎斑青凤蝶(G. Chironides)、银钩青凤蝶(G. Eurypylus)和条纹青凤蝶(G. Meyeri),如图1所示,样本总数为140个,均采用标准方法制作,包括软化、固定、拉伸和干燥,样品边界形状、光斑分布和颜色具有高度相似性。


图1 六种青凤蝶属相似物种样本

这项研究中使用的高光谱成像系统由三部分组成,如图2所示:安装在三脚架上的可见光-近红外便携式高光谱相机、两个卤素灯组成的专用照明系统和数据采集软件。为了最大限度地减少光漫反射干扰,将蝴蝶和标准白板平放在低反射率的黑色背景上,调整合适焦距和曝光时间获得样品的清晰光谱图像。


图2 高光谱数据采集系统示意图和实验图

实验获得的原始高光谱三维数据立方体如图3(a)所示,此处以青凤蝶(G. Sarpedon)为例,研究人员进一步研究了不同翅膀区域的光谱差异,如图3(c)所示,可知青凤蝶不同位置的光谱特性差异明显,相比底色区域,在斑点位置有更丰富的光谱信息。


图3 (a)高光谱数据立方体,(b)青凤蝶属蝴蝶翅室,(c)不同特征区域典型光谱

模型轻量化手段

模型轻量化方法的核心在于减小高光谱图像中空间和光谱维度的数据冗余,其中空间冗余来自样本的不相关和非特征区域,光谱冗余来自相邻光谱通道之间的相关性和物种的非特征光谱波段。因此,研究首先基于特定物种的感兴趣区域(ROI)和感兴趣波段(BOI)简化光谱图像数据立方体,并进一步结合网络压缩和量化实现了片上判别模型的轻量化。


图4 分析模型的轻量化手段

分析结果

采用图5(a)所示的一维CNN(1D-CNN-12)网络分别对全谱段光谱和特征光谱进行了训练和测试,六个物种识别结果的混淆矩阵为图5(b)和5(c)所示,波段选择后的模型基于更少的信息和参数量实现了相当的识别效果。为了对比所提出方法与传统计算机视觉的识别效果,研究人员使用Resnet-18和VGG-11模型对同步采集的样本RGB图像进行了测试,结果分别如图5(d)和5(e)所示。整体实验表明,基于高光谱特征的轻量级网络实现了约92.36%的识别准确率,优于传统机器视觉的纯形态识别精度,在外观极度相似的物种之间鉴别效果提升尤为明显。研究人员进一步验证了该方法在野外物种鉴定中的可行性,轻量化后的模型在RK3588芯片上的推理速度小于1毫秒,实现了准确性和实时性的两者兼顾。该方法为生物多样性研究中的野外物种鉴别提供了新的研究思路,为后续集成光谱微结构和AI芯片的便携式设备研发奠定了研究基础。


图5 建模和物种鉴别结果

该研究获得了国家自然科学基金和上海市科技重大专项的资助和支持。

论文链接:
https://doi.org/10.1098/rsos.240485

延伸阅读:
《光谱成像市场和趋势-2022版》 
《新兴图像传感器技术及市场-2024版》
《小型、微型和芯片级光谱仪技术及市场-2020版》

MEMS 中国首家MEMS咨询服务平台——麦姆斯咨询(MEMS Consulting)
评论
  • 在当今竞争激烈的市场环境中,企业不仅需要优化成本,还需积极响应国家的能源政策,减少对环境的影响。提升工业能源效率正是实现这一双重目标的关键。中国近年来大力推进“双碳”目标(碳达峰、碳中和),并出台了一系列政策鼓励企业节能减排。通过宏集CODRA的Panorama解决方案,企业可以获得专为这一目标设计的SCADA工具,实时监控和调整所有工业设备的能耗。特别是其中的能源管理模块,能够有效分析数据,预防故障,避免能源浪费。Panorama的优化技术宏集CODRA提供的解决方案,尤其是Panorama
    宏集科技 2025-03-06 11:25 112浏览
  • 在六西格玛项目中,团队的选择往往决定了最终的成败。合适的团队成员不仅能推动项目顺利进行,更能确保最终成果符合预期。因此,组建六西格玛团队时,必须挑选最合适的人才,确保他们具备必要的能力和特质。团队主管的关键特质每个精益六西格玛项目都需要一位主管来带领团队。他们不仅需要具备领导力,还要能够分析数据、制定策略,并与管理层和团队成员高效沟通。团队主管的核心职责包括:领导团队行动:能够激励成员,确保团队朝着既定目标前进。数据分析能力:精通数据处理和分析,能基于数据做出决策。沟通协调:能够在管理层和团队之
    优思学院 2025-03-06 12:51 92浏览
  • 服务器应用环境与客户需求PCIe 5.0高速接口技术的成熟驱动着生成式AI与高效能运算等相关应用蓬勃发展。在随着企业对服务器性能的要求日益严苛,服务器更新换代的周期也持续加快。在此背景下,白牌与DIY(Do It Yourself)服务器市场迎来了新的发展契机,但同时也面临着更趋复杂的技术挑战。传统上,白牌与DIY服务器以其高度客制化与成本效益优势受到市场青睐。然而,随着PCIe 5.0等高速技术的导入,服务器系统的复杂度大幅提升,对组装技术与组件兼容性也就提出更高的要求。举个简单的例子来说,P
    百佳泰测试实验室 2025-03-06 17:00 35浏览
  • 文/Leon编辑/侯煜‍2008至2021年间,创维以高举高打的凌厉之势,果断进行投资,一度成为中国市场大屏OLED产业的旗手,引领着显示技术的发展方向。但近年来,创维在 OLED 领域的发展轨迹却逐渐模糊,态度陷入暧昧不明的混沌状态。究其根源,一方面,创维对过往的押注难以割舍,在技术革新与市场变化的浪潮中,不愿轻易推翻曾经的战略布局;另一方面,早期在大屏OLED 技术研发、市场推广等环节投入的巨额资金,已然形成沉没成本,极大地限制了创维在显示技术路线上的重新抉择。但市场瞬息万变,为适应激烈的行
    华尔街科技眼 2025-03-05 20:03 144浏览
  • 随着自动驾驶技术的迅猛发展,构建高保真、动态的仿真场景成为了行业的迫切需求。传统的三维重建方法在处理复杂场景时常常面临效率和精度的挑战。在此背景下,3D高斯点阵渲染(3DGS)技术应运而生,成为自动驾驶仿真场景重建的关键突破。一、3DGS技术概述与原理1、3DGS的技术概述3DGS是一种基于3D高斯分布的三维场景表示方法。通过将场景中的对象转化为多个3D高斯点,每个点包含位置、协方差矩阵和不透明度等信息,3DGS能够精确地表达复杂场景的几何形状和光照特性。与传统的神经辐射场(NeRF)方法相比,
    康谋 2025-03-06 13:17 113浏览
  • 概述随着工业4.0的深入推进,制造业对自动化和智能化的需求日益增长。传统生产线面临空间不足、效率低下、灵活性差等问题,尤其在现有工厂改造项目中,如何在有限空间内实现高效自动化成为一大挑战。此次项目的客户需要在现有工厂基础上进行改造,空间有限。为此,客户选择了SCARA型线性轴机器人作为执行设备。然而,SCARA机器人的高效运行离不开强大的控制系统支持。宏集凭借其先进的智能控制系统,为客户提供了高效、灵活的自动化解决方案,确保SCARA机器人在有限空间内发挥最大效能。一、客户需求在此次改造项目中,
    宏集科技 2025-03-06 11:27 115浏览
  • 文/Leon编辑/cc孙聪颖2025年全国两会进行时,作为“十四五”规划收官之年,本届两会释放出坚定目标、稳中求进、以进促稳等信号。其中,企业家们的建议备受关注,关系到民营经济在2025年的走向。作为国内科技制造业的“老兵”,全国人大代表、TCL集团创始人及董事长李东生在本届两会中提出三份代表建议,包括《关于优化中国科技制造业融资环境的建议》、《关于加强AI深度伪造欺诈管理的建议》和《关于降低灵活就业人员社会保险参保门槛的建议》,表现出对科技制造、AI发展和劳动者保障方面的关注。会后,李东生接受
    华尔街科技眼 2025-03-06 19:41 20浏览
  • 多人同时共享相同无线网络,以下场景是否是您熟悉的日常?姐姐:「妈~我在房间在线上课,影音一直断断续续的怎么上课啊!」奶奶:「媳妇啊~我在在线追剧,影片一直卡卡的,实在让人生气!」除此之外,同时间有老公在跟客户开在线会议,还有弟弟在玩在线游戏,而妈妈自己其实也在客厅追剧,同时间加总起来,共有五个人同时使用这个网络!我们不论是在家里、咖啡厅、餐厅、商场或是公司,都会面临到周遭充斥着非常多的无线路由器(AP),若同时间每位使用者透过手机、平板或是笔电连接到相同的一个网络,可想而知网络上的壅塞及相互干扰
    百佳泰测试实验室 2025-03-06 16:50 29浏览
  • 产品质量合格率偏低会引起质量成本(也称“劣质成本”)的大幅增加。质量成本通常分为内部损失成本和外部损失成本两部分。内部损失成本是指产品交付前因质量不合格造成的损失,包括返工、报废等;外部损失成本是指产品交付后因质量问题导致的损失,如退货、召回等。此外,质量问题还会影响生产效率,带来额外人工和停工损失。下面分别介绍各类损失的具体计算方法和公式。直接成本损失(内部故障成本)直接成本是由于产品在出厂前质量不合格所造成的看得见的损失。常见的直接损失包括返工、报废以及由此产生的额外原材料消耗等。返工成本:
    优思学院 2025-03-05 15:25 77浏览
  • 引言嘿,各位电动汽车的爱好者们!咱们今儿个就来聊聊电动汽车里那些“看不见,摸不着”,但又至关重要的零部件。要说电动汽车这玩意儿,那可真是科技含量满满,各种高精尖的技术都往里堆。但要让这些高科技玩意儿协同工作,稳定可靠地运转,那就得靠一些幕后英雄,比如说——电容器。你可能会想,电容器?这不就是电子电路里常见的元件嘛,能有多重要? 哎,你可别小瞧了这小小的电容器。在电动汽车的心脏地带——高压直流转换器(DC-DC转换器)里,车规级的电容器那可是扮演着举足轻重的角色。 今天,咱们就聚焦分析三星电机车规
    贞光科技 2025-03-05 17:02 86浏览
  • 1. 背景在汽车电子系统测试中,CANoe作为主流的仿真测试工具,常需与云端服务器、第三方软件或物联网设备进行交互。随着CANoe与外部软件、服务器或设备交互越来越多,直接使用Socket进行通信往往不能满足使用需求,依托于CANoe 的连接功能集(Connectivity Feature Set),以及Distributed Object(DO)功能,可以仿真HTTP节点,实现设备与服务器等之间的通信,保证数据处理的可靠性和便捷性。本文详细解析如何利用CANoe搭建HTTP测试环境,并提供典型
    北汇信息 2025-03-05 11:56 86浏览
  • ASL6328芯片支持高达 6.0 Gbps 运行速率的交流和直流耦合输入T-MDS 信号,具备可编程均衡和抖动清理功能。ASL6328 是一款单端口 HDMI/DVI 电平转换 / 中继器,具有重新定时功能。它包含 TypeC双模式 DP 线缆适配器寄存器,可用于识别线缆适配器的性能。抖动清理 PLL(锁相环)能够消除输入抖动,并完全重置系统抖动容限,因此能更好地满足更高数据速率下 HDMI 抖动合规性要求。设备的运行和配置可通过引脚设置或 I2C 总线实现。自动断电和静噪功能提供了灵活的电
    QQ1540182856 2025-03-06 14:26 84浏览
我要评论
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦