穿墙雷达人体动作识别技术的研究现状与展望

云脑智库 2022-05-01 00:00


来源 | 电子与信息学报

智库 | 云脑智库(CloudBrain-TT)

云圈 | “云脑智库微信群”,请加微信:15881101905,备注您的研究方向

声明 | 本号聚焦相关知识分享,内容观点不代表本号立场,可追溯内容均注明来源,若存在版权等问题,请联系(15881101905,微信同号)删除,谢谢

| 穿墙雷达 / 动作识别 / 中南大学 |

Through-Wall Radar (TWR); Action recognition; CSU


作为一种显著生物特征,人体动作在表征目标身份、判断目标状态和预测目标意图等方面负责传递重要信息,在生活娱乐、安全监控、医疗健康和人机交互等领域应用广泛。由于穿墙雷达发射的低频电磁波信号对混凝土、树丛、隔板、烟雾等常见非金属障碍物具有很强穿透能力,观测者能够通过回波信号幅度、频率和相位等参数的变化提取隐藏在障碍物后的目标信息,进而实现对目标动作的识别。


目前市面上一些典型穿墙雷达系统的相关参数如表1示。中南大学丁一鹏副教授团队在《电子与信息学报》“超宽带雷达及其应用技术”专题发表最新综述文章《穿墙雷达人体动作识别技术的研究现状与展望》,从方法论的角度探讨基于穿墙雷达的人体动作识别方法,结合人体动作识别过程中的关键技术:雷达成像、特征参数提取和动作状态判决对近年来国内外研究人员作出的努力进行回顾,并由此对该技术的发展趋势进行展望。

表1 部分穿墙雷达产品的性能参数

表 2 不同体制穿墙雷达的探测特点比较



穿墙雷达人体动作识别的关键技术

1)雷达成像技术

通过将回波信号投影至距离(高度)-方位向的2维平面或距离-方位-高度向的3维平面,雷达成像技术可以在图像域内完成对目标的特征信息提取。目前常用的穿墙雷达成像技术主要包括逆散射时间反转后向投影等方法。


逆散射方法主要通过反演探测区域内电磁参数的分布特性来判断散射体目标的位置、形状和尺寸分布等信息,在理想条件下可以达到很高准确率。意大利环境电磁感知研究所Soldovieri等人提出一种基于Born假设和奇异值分解技术的快速求解方法,并将其应用于对人体目标的2维图像重构中(见图1)。

图1 Soldovieri等人的人体目标探测场景和成像结果示意

美国杜克大学Zhang等人在Born假设基础上引入障碍物介质的高阶格林函数对非线性的反演问题进行化简,结合傅里叶逆变换的近似求解结果完成对目标的3维成像(见图2)。但该方法由于普遍存在非线性和病态性特点,导致求解过程往往需要进行反复迭代从而耗费大量的计算资源。

图2 Zhang等人的人体目标探测场景和3维成像结果示意

时间反转镜方法利用电磁波在时不变介质中传输的互易性原理,通过将时间反转变换后的回波反向传输至探测区域内完成信号在目标散射源位置的重聚焦,具有超越逆散射和后向投影方法的超分辨率成像效果。


法国土伦大学Dubroca等人提出一种结合奇异值分解和时间反转镜理论的成像方法,并基于分布式结构的穿墙雷达系统实现对障碍物后人体目标的2维成像与识别(见图3)。

图3 Dubroca等人的人体目标探测场景和成像结果示意

美国杜克大学Gollub等人提出一种适用于非均匀2维天线阵列的扩展时间反转镜方法,并基于24发72收K波段的调频连续波雷达系统得到墙后人体目标的清晰3维图像(见图4)。但该方法对目标成像的累积时间较长,通常只适用于对静止目标的相关探测。


图4 Gollub等人的人体目标探测场景和成像结果示意

后向投影方法主要通过对不同位置接收天线处回波信号的相干叠加,将每个回波信号不同时刻的能量转化为探测空间内相应位置的能量分布,并由此完成对目标回波能量的重聚焦,具有成像精准和分辨率可调的特点。


美国维拉诺瓦大学Ahmad等人最早基于步进变频的雷达系统提出了一种基于延时求和波束形成技术的成像方法,开创了3维后向投影方法的先例(见图5)。

图5 Ahmad等人的目标探测场景和3维成像结果示意

中国电子科技大学崔国龙等人在已知墙体参数的情况下通过改进的后向投影算法对墙后目标进行成像(见图6),在低频分辨率受限的条件下成功识别出了人体目标的躯干、肢体等重要部位。但是后向投影算法存在计算量大、成像速度慢等缺陷。

图6 Kong等人的人体目标探测场景和3维成像结果示意

2)特征参数提取

除了对目标成像,研究者还可以选择通过变换方法将穿墙雷达的回波信号投影至参数域,在参数域内完成对目标的特征信息挖掘,其中时频分析技术是穿墙雷达在参数域内分析人体目标动作特征最常用的工具之一。以短时傅里叶变换为代表的线性时频分析技术具有计算简单、易于集成且没有交叉项干扰等优点。


美国Chen等人详细分析了人体动作中的锥旋分量对电磁波信号的调制影响,并重点分析了四肢部位在不同动作条件下产生微多普勒频率轨迹的差异性(见图7)。

图7 Chen等人的目标特征参数提取结果示意

美国加利福尼亚州立大学Kim等人从回波信号的谱图中估计目标的多普勒频率和微多普勒频率带宽、峰值、周期等6种特征参数,实现对目标走路、跑步、爬行等7种不同动作的识别(见图8)。

图8 Kim等人的目标探测场景与特征参数提取结果示意

在之前工作中,本文作者丁一鹏教授在回波信号的谱图基础上利用人体运动的连续性特点,提出一种改进的Viterbi算法完成对目标不同部位微多普勒频率轨迹的完整提取并将目标特征参数的估计精度提高90%以上。然而受到海森堡不确定性原理的限制,线性时频分析技术普遍存在时间和频率分辨率之间的折中矛盾,从而导致对目标特征参数的估计精度低。相比于线性变换,非线性的时频变换方法通常具有更高的分辨率,能够改善某些目标特征参数的估计精度。


美国维拉诺瓦大学Amin等人利用维格纳-威利分布提取人体行为数据的局部瞬时频率特征,对比分析了使用和不使用拐杖目标的时频特征差异。欧洲黑山大学Orovic等人提出一种具有多分辨率特点的多时窗S变换方法,通过提取回波分量时频曲线的包络信息,实现对目标的步态动作识别(见图9)。

图9 Orovic等人的目标特征参数提取结果示意

但由于存在不可避免的交叉项干扰,非线性的时频变换方法通常只能在局部区域内完成对目标的特征参数提取。除了直接从回波信号中提取特征参数,一些常用的分量分离算法也开始被广泛应用于对目标特征参数的估计过程中。


美国维拉诺瓦大学Jokanovic等人通过主元分析算法依次提取穿墙雷达回波信号中具有最强能量的3个主导分量,并基于提取分量奇异值的分布规律完成对目标摔倒、坐下、弯腰和走路4种不同动作的识别。


荷兰代尔夫特理工大学Groot等人提出了一种改进的粒子滤波算法对人体不同部位的微多普勒频率轨迹进行估计,进而完成对人体动作的重构。


澳大利亚伍伦贡大学Le等人通过小波变换对回波信号进行分解,通过提取分量的能量分布差异完成对目标静立、行走、起立等动作的识别。但由于这些传统的分量分离算法通常不基于目标特性,其分离结果往往是部分或者多个人体部位回波分量的混叠,提取的特征参数在描述目标具体部位的精细动作时可能会出现偏差。


此外,还有许多算法尝试在非时间-频率的平面内提取目标动作的特征信息。例如,美国密苏里大学Liu等人借鉴语音信号处理方法,在回波信号谱图的基础上进一步求取目标的梅尔频率倒谱系数构建特征向量,完成对人体目标摔倒动作的识别。美国宾州州立大学Fairchild等人通过扩展经验模式分解方法求取回波信号谱图的本征模式函数,并基于本征模式函数的能量占比构建特征向量,完成对人体静立、甩臂、拾取和站立等动作的识别。中国桂林电子科技大学蒋留兵等人提出一种基于小波包分解理论的回波信号特征提取算法,并结合奇异值分解技术对提取的特征信息进行数据降维,实现对步行、跑步、摔倒、跳跃等9种动作的识别

3)动作状态的判决技术

目前大部分穿墙雷达对人体动作的判决方法主要基于传统的机器学习理论,即首先根据观测者经验挑选合适的特征参数并构建相应特征空间,然后根据分类器预先设定的判决准则在特征空间内划分决策边界,最后将提取的目标特征参数映射到特征空间内形成对目标信息的有效表示,并根据特征参数的分布规律完成对目标动作的判决。常用的分类器主要包括支持向量机贝叶斯或隐马尔可夫分类器决策树等。


支持向量机基于分类误差最小和类间距离最远准则在特征空间内构建决策边界,从而完成对目标属性的识别。美国陶森大学Yang等人通过支持向量机对人体目标的走路和跑步动作进行识别,最高准确率达到96.05%。澳大利亚伍伦贡大学Li等人通过支持向量机对人体目标双臂运动、单臂运动和无臂运动3种状态进行识别,分类准确率达到92.8%。支持向量机具有计算效率高且对训练样本的数据量需求较低等特点,但识别性能严重依赖于对核函数的选择,在实际应用中经常需要不断调试寻找最优的核函数与惩罚系数。


贝叶斯分类器基于总体风险最小化准则在特征空间内构建决策边界,并在样本特征参数当前取值的条件下依据贝叶斯公式求出样本属于各个类别的条件概率,进而完成对人体目标的动作识别。


意大利帕多瓦大学Ricci等人通过通过贝叶斯分类器对人体目标的走路和跑步动作进行识别,最高准确率达到97.64%。土耳其Padar等人基于隐马尔科夫分类器对人体行为的瞬时和长期变化进行建模,完成对目标的匍匐、爬行、走路和跑步4种动作进行识别,最高准确率达到100%。贝叶斯分类器具有计算效率高且对大样本数据具有良好适应性等特点,但无法对多种类别组合型的数据作出判断,且要求目标的特征参数服从正态和相互独立假设,因此在实际应用中受到限制。


决策树按属性间的从属关系层层递进进行判决,而树形结构的叶节点即为样本所有可能的判决类别。例如,北京航空航天大学Lei等人基于人体动作的微多普勒频率特征,构建多个支持向量机作为属性集,并通过决策树完成对目标旋转、锥动和绕动3种动作的识别,最高准确率达到99.9%。


然而,传统机器学习方法的主要问题是严重依赖于对目标特征信息的选取,而目前无论是基于经验还是统计分析的特征信息选取方法在适用性和灵活性上都存在很大局限。因此,具有自适应特征提取和强大特征表征能力的深度学习技术在近年来开始受到人们的广泛关注,并开始为穿墙雷达人体目标的动作识别技术提供一种集感知、处理、决策于一体的全新架构。


美国加利福尼亚州立大学Kim等人用雷达回波信号的谱图结果训练深度卷积神经网络,完成对人体目标10种不同手势的动作识别,最高准确率达到93.1%。中国深圳大学Zhu等人将雷达回波信号的谱图结果进行维度变换,在LSTM混合网络中对人体跑步、走路、爬行等7个动作进行识别,准确率达到98.28%。美国Google公司的Wang等人提出手势识别系统Soli,在使用传统卷积神经网络对时频图像进行识别的基础上,再加入一组循环神经网络系统对回波信号的时序信息进行建模,达到87%以上的综合识别率。




总结与展望

目前研究尚存在的不足

目前,对穿墙雷达的人体动作识别技术研究尚不完善,主要挑战表现在:

  (a) 障碍物对目标特征信息的复合影响机制研究尚不充分。

  (b) 在保证良好穿透能力的前提下,提高人体动作识别的精细程度十分困难。

  (c) 在先验知识未知的条件下,对目标动作起止时段的判定十分困难。

  (d) 对不同文献中提出人体目标动作识别方法的性能比较十分困难。

此外,由于穿墙雷达应用场景的特殊性,如何在已有成果的基础上在系统集成方面进一步完善,使其更加适应于穿墙探测实时性、鲁棒性、低功率、小型化和便捷式的工程应用需求依然是未来穿墙雷达探测技术发展的重要挑战。

未来展望

结合目前的发展情况与穿墙雷达人体目标动作识别的探测需求来看,未来一些可能的发展趋势为:

  (a) 结合无线组网和数据融合技术,未来的穿墙雷达有望通过不同节点、不同体制和不同参数传感单元间的协调工作,组建成一个特征描述更加完善,识别性能更加稳定的探测系统。

  (b) 穿墙雷达对人体目标的动作识别技术将出现在更加广泛的应用领域中,如自动驾驶、微型机器人、虚拟现实等。此外,在一些涉及对用户隐私信息保护的私密场景,有望代替图像探测设备得到更广泛的推广。

  (c) 嵌入式系统将不再成为制约穿墙雷达实时运算处理的主要因素。借助5G通信等技术的飞速发展,云计算功能将穿墙雷达对多个目标复杂动作的实时同步监控变为可能。



团队介绍

丁一鹏,男,汉族,工学博士,中南大学物理与电子学院电子系副主任,副教授,博士/研究生导师,2020年“湖湘青年英才”计划入选者。

邮箱:dingyipeng@sina.com

2022级博士研究生招生进行中(物理、电子等专业),欢迎优秀推免和考研同学随时咨询报名!



2012年7月博士毕业于中国科学院电子学研究所;2012年9月入职中南大学物理与电子学院;2015年3月至2016年3月受国家留学基金委资助,前往美国布兰迪斯大学计算机科学学院进行了一年的访问研究,取得了丰富的研究成果。主讲信号与系统(双语)本科生课程,随机信号与随机过程研究生课程。近五年,申请人主持国防科技创新特区重点项目(国家级重点项目)、国家自然科学基金青年基金、中国博士后科学基金、湖南省自然科学基金青年基金、湖南省科技计划共5项纵向课题,参与国家重点研发计划、国家高技术研究发展计划(863计划)共2项重点课题;发表SCI论文30余篇,其中以第一或通信作者在IEEE Transactions on Microwave Theory and Techniques, IEEE Transactions on Instrumentation and Measurement, IEEE Transactions on Aerospace and Electronic Systems, IEEE sensors Journal, IEEE Antennas and Wireless Propagation Letters, IEEE Geoscience and Remote Sensing Letters等IEEE系列期刊发表论文20余篇;此外,申请人具有发明专利6项,受邀承担10余个国内外著名期刊的审稿人。目前主要从事微波感知、雷达信号处理、机器学习和射频电路设计等方面的研究。

欢迎对相关研究方向感兴趣的博士生和研究生报考本人课题组!


美 编 | 刘艳玲

校 对 | 马秀强、余 蓉

审 核 | 陈 倩

- The End

版权声明:欢迎转发本号原创内容,转载和摘编需经本号授权并标注原作者和信息来源为云脑智库。本公众号目前所载内容为本公众号原创、网络转载或根据非密公开性信息资料编辑整理,相关内容仅供参考及学习交流使用。由于部分文字、图片等来源于互联网,无法核实真实出处,如涉及相关争议,请跟我们联系删除。我们致力于保护作者知识产权或作品版权,本公众号所载内容的知识产权或作品版权归原作者所有。本公众号拥有对此声明的最终解释权。

投稿/招聘/推广/合作/入群/赞助 请加微信:15881101905,备注关键词

“阅读是一种习惯,分享是一种美德,我们是一群专业、有态度的知识传播者

 阅读原文加入知识星球,发现更多精彩内容.

 分享💬 点赞👍 在看❤️@以“三连”行动支持优质内容!

云脑智库 努力是一种生活态度,与年龄无关!专注搬运、分享、发表雷达、卫通、通信、化合物半导体等技术应用、行业调研、前沿技术探索!专注相控阵、太赫兹、微波光子、光学等前沿技术学习、分享
评论
  • TOF多区传感器: ND06   ND06是一款微型多区高集成度ToF测距传感器,其支持24个区域(6 x 4)同步测距,测距范围远达5m,具有测距范围广、精度高、测距稳定等特点。适用于投影仪的无感自动对焦和梯形校正、AIoT、手势识别、智能面板和智能灯具等多种场景。                 如果用ND06进行手势识别,只需要经过三个步骤: 第一步&
    esad0 2024-12-04 11:20 58浏览
  •         温度传感器的精度受哪些因素影响,要先看所用的温度传感器输出哪种信号,不同信号输出的温度传感器影响精度的因素也不同。        现在常用的温度传感器输出信号有以下几种:电阻信号、电流信号、电压信号、数字信号等。以输出电阻信号的温度传感器为例,还细分为正温度系数温度传感器和负温度系数温度传感器,常用的铂电阻PT100/1000温度传感器就是正温度系数,就是说随着温度的升高,输出的电阻值会增大。对于输出
    锦正茂科技 2024-12-03 11:50 111浏览
  • RDDI-DAP错误通常与调试接口相关,特别是在使用CMSIS-DAP协议进行嵌入式系统开发时。以下是一些可能的原因和解决方法: 1. 硬件连接问题:     检查调试器(如ST-Link)与目标板之间的连接是否牢固。     确保所有必要的引脚都已正确连接,没有松动或短路。 2. 电源问题:     确保目标板和调试器都有足够的电源供应。     检查电源电压是否符合目标板的规格要求。 3. 固件问题: &n
    丙丁先生 2024-12-01 17:37 102浏览
  • 遇到部分串口工具不支持1500000波特率,这时候就需要进行修改,本文以触觉智能RK3562开发板修改系统波特率为115200为例,介绍瑞芯微方案主板Linux修改系统串口波特率教程。温馨提示:瑞芯微方案主板/开发板串口波特率只支持115200或1500000。修改Loader打印波特率查看对应芯片的MINIALL.ini确定要修改的bin文件#查看对应芯片的MINIALL.ini cat rkbin/RKBOOT/RK3562MINIALL.ini修改uart baudrate参数修改以下目
    Industio_触觉智能 2024-12-03 11:28 87浏览
  • 《高速PCB设计经验规则应用实践》+PCB绘制学习与验证读书首先看目录,我感兴趣的是这一节;作者在书中列举了一条经典规则,然后进行详细分析,通过公式推导图表列举说明了传统的这一规则是受到电容加工特点影响的,在使用了MLCC陶瓷电容后这一条规则已经不再实用了。图书还列举了高速PCB设计需要的专业工具和仿真软件,当然由于篇幅所限,只是介绍了一点点设计步骤;我最感兴趣的部分还是元件布局的经验规则,在这里列举如下:在这里,演示一下,我根据书本知识进行电机驱动的布局:这也算知行合一吧。对于布局书中有一句:
    wuyu2009 2024-11-30 20:30 125浏览
  • 戴上XR眼镜去“追龙”是种什么体验?2024年11月30日,由上海自然博物馆(上海科技馆分馆)与三湘印象联合出品、三湘印象旗下观印象艺术发展有限公司(下简称“观印象”)承制的《又见恐龙》XR嘉年华在上海自然博物馆重磅开幕。该体验项目将于12月1日正式对公众开放,持续至2025年3月30日。双向奔赴,恐龙IP撞上元宇宙不久前,上海市经济和信息化委员会等部门联合印发了《上海市超高清视听产业发展行动方案》,特别提到“支持博物馆、主题乐园等场所推动超高清视听技术应用,丰富线下文旅消费体验”。作为上海自然
    电子与消费 2024-11-30 22:03 98浏览
  • 概述 说明(三)探讨的是比较器一般带有滞回(Hysteresis)功能,为了解决输入信号转换速率不够的问题。前文还提到,即便使能滞回(Hysteresis)功能,还是无法解决SiPM读出测试系统需要解决的问题。本文在说明(三)的基础上,继续探讨为SiPM读出测试系统寻求合适的模拟脉冲检出方案。前四代SiPM使用的高速比较器指标缺陷 由于前端模拟信号属于典型的指数脉冲,所以下降沿转换速率(Slew Rate)过慢,导致比较器检出出现不必要的问题。尽管比较器可以使能滞回(Hysteresis)模块功
    coyoo 2024-12-03 12:20 111浏览
  • 作为优秀工程师的你,已身经百战、阅板无数!请先醒醒,新的项目来了,这是一个既要、又要、还要的产品需求,ARM核心板中一个处理器怎么能实现这么丰富的外围接口?踌躇之际,你偶阅此文。于是,“潘多拉”的魔盒打开了!没错,USB资源就是你打开新世界得钥匙,它能做哪些扩展呢?1.1  USB扩网口通用ARM处理器大多带两路网口,如果项目中有多路网路接口的需求,一般会选择在主板外部加交换机/路由器。当然,出于成本考虑,也可以将Switch芯片集成到ARM核心板或底板上,如KSZ9897、
    万象奥科 2024-12-03 10:24 68浏览
  • 11-29学习笔记11-29学习笔记习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习笔记&记录学习习笔记&记学习学习笔记&记录学习学习笔记&记录学习习笔记&记录学习学习笔记&记录学习学习笔记记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&学习学习笔记&记录学习学习笔记&记录学习学习笔记&记
    youyeye 2024-12-02 23:58 73浏览
  • 当前,智能汽车产业迎来重大变局,随着人工智能、5G、大数据等新一代信息技术的迅猛发展,智能网联汽车正呈现强劲发展势头。11月26日,在2024紫光展锐全球合作伙伴大会汽车电子生态论坛上,紫光展锐与上汽海外出行联合发布搭载紫光展锐A7870的上汽海外MG量产车型,并发布A7710系列UWB数字钥匙解决方案平台,可应用于数字钥匙、活体检测、脚踢雷达、自动泊车等多种智能汽车场景。 联合发布量产车型,推动汽车智能化出海紫光展锐与上汽海外出行达成战略合作,联合发布搭载紫光展锐A7870的量产车型
    紫光展锐 2024-12-03 11:38 101浏览
  • 光伏逆变器是一种高效的能量转换设备,它能够将光伏太阳能板(PV)产生的不稳定的直流电压转换成与市电频率同步的交流电。这种转换后的电能不仅可以回馈至商用输电网络,还能供独立电网系统使用。光伏逆变器在商业光伏储能电站和家庭独立储能系统等应用领域中得到了广泛的应用。光耦合器,以其高速信号传输、出色的共模抑制比以及单向信号传输和光电隔离的特性,在光伏逆变器中扮演着至关重要的角色。它确保了系统的安全隔离、干扰的有效隔离以及通信信号的精准传输。光耦合器的使用不仅提高了系统的稳定性和安全性,而且由于其低功耗的
    晶台光耦 2024-12-02 10:40 120浏览
  • 学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习笔记&记录学习习笔记&记学习学习笔记&记录学习学习笔记&记录学习习笔记&记录学习学习笔记&记录学习学习笔记记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&学习学习笔记&记录学习学习笔记&记录学习学习笔记&记录学习学习笔记&
    youyeye 2024-11-30 14:30 78浏览
  • 最近几年,新能源汽车愈发受到消费者的青睐,其销量也是一路走高。据中汽协公布的数据显示,2024年10月,新能源汽车产销分别完成146.3万辆和143万辆,同比分别增长48%和49.6%。而结合各家新能源车企所公布的销量数据来看,比亚迪再度夺得了销冠宝座,其10月新能源汽车销量达到了502657辆,同比增长66.53%。众所周知,比亚迪是新能源汽车领域的重要参与者,其一举一动向来为外界所关注。日前,比亚迪汽车旗下品牌方程豹汽车推出了新车方程豹豹8,该款车型一上市就迅速吸引了消费者的目光,成为SUV
    刘旷 2024-12-02 09:32 119浏览
我要评论
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦