华中科大在智能机器人视觉识别芯片研究领域取得重要进展

MEMS 2022-09-09 00:00

摘要

近日,华中科技大学光学与电子信息学院博士生刘炳强、硕士生银泽华等同学在光学与电子信息学院集成电路工程系王超研究员的指导下,在智能机器人视觉识别芯片研究领域取得重要进展,设计了一款高帧率、高鲁棒性的特征提取硬件加速芯片。该项研究提出了快慢双时钟域策略、部分和复用策略、动态padding策略以及一系列的并行化设计方法,打破了国际学术界相关特征提取加速器的处理帧率以及计算效率记录,并大幅度地减小了硬件开销并提高了鲁棒性。相关成果发表在影响因子为4.14的国际电路与系统顶级期刊IEEE Transactions on Circuits and Systems I: Regular Papers(IEEE TCAS-I)上,论文题目为“An Energy-Efficient SIFT Based Feature Extraction Accelerator for High Frame-Rate Video Applications”。华中科技大学为论文第一和通讯作者单位,王超老师为论文通讯作者,合作者包括南洋理工大学集成电路中心主任郑元谨教授及其射频集成电路、微波/激光雷达芯片团队。

背景

在信息时代,机器视觉在实现智能社会方面发挥着重要作用。视觉特征提取是机器视觉的一项关键技术,该技术可以提取图像中具有鲜明特征的信息,诸如边缘、角点、圆以及图像形状等特征,这些特征是标定机器视觉系统模型参数和运用机器视觉技术进行实际应用的前提和基础。视觉特征提取技术广泛应用于自主移动智能机器人、无人驾驶和无人机等场景,这些应用场景对视觉特征提取算法的鲁棒性和帧率提出了巨大挑战。

具体来说,视觉特征提取算法包括SIFT(Scale-Invariant Feature Transform,尺度不变特征转换算法)、SURF(Speeded-Up Robust Features,加速稳健特征)、ORB(Oriented FAST and Rotated BRIEF,快速特征点提取描述)、HOG(Histogram of Oriented Gradient,方向梯度直方图)、LBP(Local Binary Patterns,局部二值模式)等。在SURF、ORB、HOG、LBP这些经典的特征提取算法中,SURF的鲁棒性相对较高,但是过于依赖主方向的选取,使得其方向变化鲁棒性不足。SIFT算法可以从图像中提取具有不变性的鲁棒局部特征,对方向变化、光照变化、噪声、杂物场景及遮挡影响等方面的鲁棒性最强,满足无人驾驶技术的需求。SIFT算法的运算量大从而导致的系统帧率低、功耗高的问题可以通过设计具有高并行度的专用硬件加速器芯片来解决。

图1 特征提取技术及算法的典型应用场景及领域

图2 基于SIFT算法的图像匹配示意图及不同特征提取算法的比较示意图

SIFT算法由关键点产生和描述符产生两个部分组成。其中,关键点产生部分包括高斯金字塔构建及关键点检测,描述符产生部分包括主方向计算及描述符生成。

图3 SIFT算法流程示意图

现状及挑战

国内外已有多个SIFT硬件加速器设计发表,总体的研究方向朝着更高性能、更高帧率、更高匹配精度以及更低功耗、更低运算量、更低硬件开销的方向发展。但是对于高性能SIFT硬件加速器的设计仍存在三个共性问题和设计挑战。第一个共性问题和设计挑战为SIFT运算量大,需全并行、全流水架构进行加速,但并行高斯金字塔构建带来了大量的硬件开销;第二个共性问题和设计挑战为高斯金字塔构建中部分特征点的丢失,使得加速器提取的特征鲁棒性变差;第三个共性问题和设计挑战为关键点检测和描述符生成部分的内部串行执行,两个部分交互执行使得加速器处理速度存在瓶颈,造成系统帧率受限。

图4 高性能SIFT硬件加速器的设计存在的三个共性问题和设计挑战

解决方案及设计实现

针对上述问题,王超研究员课题组提出了一系列新方法和新策略,实现了全并行的高能效SIFT硬件加速器芯片硬件架构。针对高斯金字塔构建硬件开销大的问题,提出了快慢双时钟域策略和部分和复用策略;针对高斯金字塔构建过程中的特征点丢失问题,提出了动态padding设计策略;针对交互执行及串行计算限制加速性能的问题,提出了一系列并行化的设计方法,即基于乒乓缓存实现了关键点检测和描述符生成部分的并行处理、基于像素梯度预计算实现了关键点检测和梯度幅值辅角的并行计算、以及创新性地提出了一种基于圆形关键点邻域的描述符生成算法,实现了主方向和描述符产生的高校并行计算。

图5 高性能SIFT硬件加速器的设计存在的三个共性问题和对应的设计策略以及设计实现

图6 提出的基于圆形关键点邻域的描述符生成算法,可以实现主方向计算和描述符产生过程的并行化计算

结果比较与讨论

王超研究员课题组所提全并行高能效SIFT硬件加速器芯片已在Xilinx Virtex UltraScale+评估板中实现。基于Mikolajczyk and Schmid标准数据集对提出的SIFT设计进行验证,基于RANSAC (RANdom SAmple Consensus)算法检查匹配点的正确性。所提SIFT设计的匹配结果优于相关工作,这主要得益于子区域重叠及padding增加鲁棒性,及优化的参数选择(如高斯卷积核尺寸、关键点邻域大小等)。与文献中相关FPGA及ASIC工作的硬件开销对比显示:该设计的硬件开销总体和现有水平相当,但通过实现了动态padding提高了鲁棒性,同时实现了100MHz时钟下 162fps@VGA的最高帧率和49.766 Mpixels/s的最高计算效率。该SIFT硬件加速器在基于180 nmCMOS工艺下实现了2.25mJ/frame的能量效率。

图7 基于所提SIFT算法的关键点提取与匹配结果图,基于标准数据集的匹配结果与相关工作的比较图

图8 SIFT硬件加速器处理性能比较表:该设计取得了国际SIFT硬件加速器芯片设计中最高帧率的学术记录、最高计算效率和能量效率,并采用了动态padding技术提高了鲁棒性。

图9 基于所提出的全并行高能效SIFT硬件加速器芯片的SoC验证平台

研究成果

自2019年回国后,王超研究员所组建的低功耗与智能集成电路研究室团队,将智能机器人技术与集成电路芯片技术相结合,开拓了新型智能机器人芯片关键技术研究的交叉学科新方向,和哈尔滨工业大学机器人国家重点实验室、苏州智能机器人研究院、南洋理工大学集成电路研究中心等国内外一流团队合作,取得了一系列的重要研究进展,初步解决了机器人芯片智能化低、能量消耗大、鲁棒性不好等痛点问题。近三年来,其研究成果在TCAS-I、JETCAS、CAS-M、A-SSCC等集成电路领域国际核心期刊和国际会议上发表智能机器人芯片相关学术论文10余篇,申请国家/国际发明专利7项。其中,其课题组相关研究成果连续2年(2020/2021)在IEEE固态电路学会旗舰会议A-SSCC发表了会议文章2篇,指导本科生参加依托相关项目连续2年(2021/2022)在全国大学生集成电路创新创业大赛获得国家一等奖1次、国家二等奖4次,指导研究生依托相关项目连续3年(2020/2021/2022)在全国研究生集成电路“创芯”大赛获得国家一等奖3次、国家二等奖1次。基于其初步研究成果,课题组已与黑芝麻科技等自动驾驶头部企业合作, 联合承担了武汉市重大项目,研究高鲁棒性、高能效视觉目标识别引擎电路技术,进行车规级高性能自动驾驶芯片设计关键技术的科技攻关。该领域的研究工作得到了国家重点研发计划项目(2019YFB1310000)、自主创新研究基金科研启动项目(2019kfyXJJS049)和武汉市科技重大专项“卡脖子”技术攻关项目(2022010402020045)的资助。

延伸阅读:
《新兴图像传感器技术、应用及市场-2021版》
《激光雷达(LiDAR)技术及市场-2022版》
《汽车激光雷达(LiDAR)专利全景分析-2022版》
《光谱成像市场和趋势-2022版》
《小型、微型和芯片级光谱仪技术及市场-2020版》


MEMS 中国首家MEMS咨询服务平台——麦姆斯咨询(MEMS Consulting)
评论 (0)
  • 引言在语音芯片设计中,输出电路的设计直接影响音频质量与系统稳定性。WT588系列语音芯片(如WT588F02B、WT588F02A/04A/08A等),因其高集成度与灵活性被广泛应用于智能设备。然而,不同型号在硬件设计上存在关键差异,尤其是DAC加功放输出电路的配置要求。本文将从硬件架构、电路设计要点及选型建议三方面,解析WT588F02B与F02A/04A/08A的核心区别,帮助开发者高效完成产品设计。一、核心硬件差异对比WT588F02B与F02A/04A/08A系列芯片均支持PWM直推喇叭
    广州唯创电子 2025-04-01 08:53 193浏览
  • 探针本身不需要对焦。探针的工作原理是通过接触被测物体表面来传递电信号,其精度和使用效果取决于探针的材质、形状以及与检测设备的匹配度,而非对焦操作。一、探针的工作原理探针是检测设备中的重要部件,常用于电子显微镜、坐标测量机等精密仪器中。其工作原理主要是通过接触被测物体的表面,将接触点的位置信息或电信号传递给检测设备,从而实现对物体表面形貌、尺寸或电性能等参数的测量。在这个过程中,探针的精度和稳定性对测量结果具有至关重要的影响。二、探针的操作要求在使用探针进行测量时,需要确保探针与被测物体表面的良好
    锦正茂科技 2025-04-02 10:41 71浏览
  • 文/郭楚妤编辑/cc孙聪颖‍不久前,中国发展高层论坛 2025 年年会(CDF)刚刚落下帷幕。本次年会围绕 “全面释放发展动能,共促全球经济稳定增长” 这一主题,吸引了全球各界目光,众多重磅嘉宾的出席与发言成为舆论焦点。其中,韩国三星集团会长李在镕时隔两年的访华之行,更是引发广泛热议。一直以来,李在镕给外界的印象是不苟言笑。然而,在论坛开幕前一天,李在镕却意外打破固有形象。3 月 22 日,李在镕与高通公司总裁安蒙一同现身北京小米汽车工厂。小米方面极为重视此次会面,CEO 雷军亲自接待,小米副董
    华尔街科技眼 2025-04-01 19:39 209浏览
  • 职场之路并非一帆风顺,从初入职场的新人成长为团队中不可或缺的骨干,背后需要经历一系列内在的蜕变。许多人误以为只需努力工作便能顺利晋升,其实核心在于思维方式的更新。走出舒适区、打破旧有框架,正是让自己与众不同的重要法宝。在这条道路上,你不只需要扎实的技能,更需要敏锐的观察力、不断自省的精神和前瞻的格局。今天,就来聊聊那改变命运的三大思维转变,让你在职场上稳步前行。工作初期,总会遇到各式各样的难题。最初,我们习惯于围绕手头任务来制定计划,专注于眼前的目标。然而,职场的竞争从来不是单打独斗,而是团队协
    优思学院 2025-04-01 17:29 200浏览
  • REACH和RoHS欧盟两项重要的环保法规有什么区别?适用范围有哪些?如何办理?REACH和RoHS是欧盟两项重要的环保法规,主要区别如下:一、核心定义与目标RoHS全称为《关于限制在电子电器设备中使用某些有害成分的指令》,旨在限制电子电器产品中的铅(Pb)、汞(Hg)、镉(Cd)、六价铬(Cr6+)、多溴联苯(PBBs)和多溴二苯醚(PBDEs)共6种物质,通过限制特定材料使用保障健康和环境安全REACH全称为《化学品的注册、评估、授权和限制》,覆盖欧盟市场所有化学品(食品和药品除外),通过登
    张工13144450251 2025-03-31 21:18 145浏览
  • 引言随着物联网和智能设备的快速发展,语音交互技术逐渐成为提升用户体验的核心功能之一。在此背景下,WT588E02B-8S语音芯片,凭借其创新的远程更新(OTA)功能、灵活定制能力及高集成度设计,成为智能设备语音方案的优选。本文将从技术特性、远程更新机制及典型应用场景三方面,解析该芯片的技术优势与实际应用价值。一、WT588E02B-8S语音芯片的核心技术特性高性能硬件架构WT588E02B-8S采用16位DSP内核,内部振荡频率达32MHz,支持16位PWM/DAC输出,可直接驱动8Ω/0.5W
    广州唯创电子 2025-04-01 08:38 166浏览
  • 随着汽车向智能化、场景化加速演进,智能座舱已成为人车交互的核心承载。从驾驶员注意力监测到儿童遗留检测,从乘员识别到安全带状态判断,座舱内的每一次行为都蕴含着巨大的安全与体验价值。然而,这些感知系统要在多样驾驶行为、复杂座舱布局和极端光照条件下持续稳定运行,传统的真实数据采集方式已难以支撑其开发迭代需求。智能座舱的技术演进,正由“采集驱动”转向“仿真驱动”。一、智能座舱仿真的挑战与突破图1:座舱实例图智能座舱中的AI系统,不仅需要理解驾驶员的行为和状态,还要同时感知乘员、儿童、宠物乃至环境中的潜在
    康谋 2025-04-02 10:23 98浏览
  • 文/Leon编辑/cc孙聪颖‍步入 2025 年,国家进一步加大促消费、扩内需的政策力度,家电国补政策将持续贯穿全年。这一利好举措,为行业发展注入强劲的增长动力。(详情见:2025:消费提振要靠国补还是“看不见的手”?)但与此同时,也对家电企业在战略规划、产品打造以及市场营销等多个维度,提出了更为严苛的要求。在刚刚落幕的中国家电及消费电子博览会(AWE)上,家电行业的竞争呈现出胶着的态势,各大品牌为在激烈的市场竞争中脱颖而出,纷纷加大产品研发投入,积极推出新产品,试图提升产品附加值与市场竞争力。
    华尔街科技眼 2025-04-01 19:49 210浏览
  • 据先科电子官方信息,其产品包装标签将于2024年5月1日进行全面升级。作为电子元器件行业资讯平台,大鱼芯城为您梳理本次变更的核心内容及影响:一、标签变更核心要点标签整合与环保优化变更前:卷盘、内盒及外箱需分别粘贴2张标签(含独立环保标识)。变更后:环保标识(RoHS/HAF/PbF)整合至单张标签,减少重复贴标流程。标签尺寸调整卷盘/内盒标签:尺寸由5030mm升级至**8040mm**,信息展示更清晰。外箱标签:尺寸统一为8040mm(原7040mm),提升一致性。关键信息新增新增LOT批次编
    大鱼芯城 2025-04-01 15:02 202浏览
  • 升职这件事,说到底不是单纯靠“干得多”或者“喊得响”。你可能也看过不少人,能力一般,甚至没你努力,却升得飞快;而你,日复一日地拼命干活,升职这两个字却始终离你有点远。这种“不公平”的感觉,其实在很多职场人心里都曾经出现过。但你有没有想过,问题可能就藏在一些你“没当回事”的小细节里?今天,我们就来聊聊你升职总是比别人慢,可能是因为这三个被你忽略的小细节。第一:你做得多,但说得少你可能是那种“默默付出型”的员工。项目来了接着干,困难来了顶上去,别人不愿意做的事情你都做了。但问题是,这些事情你做了,却
    优思学院 2025-03-31 14:58 119浏览
  • 在智能交互设备快速发展的今天,语音芯片作为人机交互的核心组件,其性能直接影响用户体验与产品竞争力。WT588F02B-8S语音芯片,凭借其静态功耗<5μA的卓越低功耗特性,成为物联网、智能家居、工业自动化等领域的理想选择,为设备赋予“听得懂、说得清”的智能化能力。一、核心优势:低功耗与高性能的完美结合超低待机功耗WT588F02B-8S在休眠模式下待机电流仅为5μA以下,显著延长了电池供电设备的续航能力。例如,在电子锁、气体检测仪等需长期待机的场景中,用户无需频繁更换电池,降低了维护成本。灵活的
    广州唯创电子 2025-04-02 08:34 152浏览
  • 退火炉,作为热处理设备的一种,广泛应用于各种金属材料的退火处理。那么,退火炉究竟是干嘛用的呢?一、退火炉的主要用途退火炉主要用于金属材料(如钢、铁、铜等)的热处理,通过退火工艺改善材料的机械性能,消除内应力和组织缺陷,提高材料的塑性和韧性。退火过程中,材料被加热到一定温度后保持一段时间,然后以适当的速度冷却,以达到改善材料性能的目的。二、退火炉的工作原理退火炉通过电热元件(如电阻丝、硅碳棒等)或燃气燃烧器加热炉膛,使炉内温度达到所需的退火温度。在退火过程中,炉内的温度、加热速度和冷却速度都可以根
    锦正茂科技 2025-04-02 10:13 73浏览
  • 北京贞光科技有限公司作为紫光同芯授权代理商,专注于为客户提供车规级安全芯片的硬件供应与软件SDK一站式解决方案,同时配备专业技术团队,为选型及定制需求提供现场指导与支持。随着新能源汽车渗透率突破40%(中汽协2024数据),智能驾驶向L3+快速演进,车规级MCU正迎来技术范式变革。作为汽车电子系统的"神经中枢",通过AEC-Q100 Grade 1认证的MCU芯片需在-40℃~150℃极端温度下保持μs级响应精度,同时满足ISO 26262 ASIL-D功能安全要求。在集中式
    贞光科技 2025-04-02 14:50 128浏览
  • 提到“质量”这两个字,我们不会忘记那些奠定基础的大师们:休哈特、戴明、朱兰、克劳士比、费根堡姆、石川馨、田口玄一……正是他们的思想和实践,构筑了现代质量管理的核心体系,也深远影响了无数企业和管理者。今天,就让我们一同致敬这些质量管理的先驱!(最近流行『吉卜力风格』AI插图,我们也来玩玩用『吉卜力风格』重绘质量大师画象)1. 休哈特:统计质量控制的奠基者沃尔特·A·休哈特,美国工程师、统计学家,被誉为“统计质量控制之父”。1924年,他提出世界上第一张控制图,并于1931年出版《产品制造质量的经济
    优思学院 2025-04-01 14:02 149浏览
  •        在“软件定义汽车”的时代浪潮下,车载软件的重要性日益凸显,软件在整车成本中的比重逐步攀升,已成为汽车智能化、网联化、电动化发展的核心驱动力。车载软件的质量直接关系到车辆的安全性、可靠性以及用户体验,因此,构建一套科学、严谨、高效的车载软件研发流程,确保软件质量的稳定性和可控性,已成为行业共识和迫切需求。       作为汽车电子系统领域的杰出企业,经纬恒润深刻理解车载软件研发的复杂性和挑战性,致力于为O
    经纬恒润 2025-03-31 16:48 95浏览
我要评论
0
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦