拥有像X光一样的透视能力长久以来似乎都还是科幻小说中出现的超能力,不过在最近十年,一个由麻省理工学院计算机科学与人工智能实验室Dina Katabi教授领导的团队,正持续地开发“穿墙透视”技术。

通过无线电波与人工智能的结合,麻省理工学院的研究人员研发了一个全新的射频—姿态(RF-Pose)探测系统,这项技术可以看到墙另一边的人移动的骨骼状图像。虽然这听起来像是特警队在破门而入之前希望拥有的技术,但它已经以一种令人惊讶的方式被用于监控帕金森症患者在家中的活动。

该项目的高级研究员、麻省理工学院电子工程和计算机科学教授迪娜·卡塔比(Dina Katabi)说:“人们对这种技术的兴趣可以追溯到几十年前,美国国防部高级研究计划局(DARPA)曾有一个重大项目,试图使用无线信号探测位于墙壁后的人。但在这项最新的研究之前,这些系统所能做的只是显示一个人在墙后的斑点状图形。”

20180801-MIT-Detect-1.gif

如今,这项技术能够更精确的显示信息:它能把场景中的人描绘成像骷髅一样的木棍,同时显示出他们在做日常活动时的实时动作,比如行走和坐卧。这项技术的重点在于检测人体的关键部位,包括肘关节、臀部和脚。

20180801-MIT-Detect.gif

卡塔比说道:“当在墙后面的人开始移动时,你就会看到系统创建的火柴人会做出相同的动作,如果那个人坐下来,你就会看到系统中的火柴人也坐下来。”

一、 无线电信号反射出人体,神经网络加以识别

RF-Pose系统的工作原理是:传输比WiFi功率低1000倍的无线信号,穿透物体,如墙壁,再反射出人体——由于人体大部分由水组成,无线电无法穿透——之后再穿过墙壁回到设备中。
Mingmin-RF-Pose-MIT-CSAIL-00.png
RF-Pose系统使用无线信号,可以作为一个医疗保健系统,监测患者在墙壁另一侧的运动。(图片来源:Jason Dorfman / MIT CSAIL)

现在的问题是:如何解读系统回传的信息?卡塔比说:“这就是人工智能,特别是神经网络机器学习发挥作用的地方。”

人工智能研究人员通过添加注释信息来训练神经网络,使它能从数据中推断出自己的规则以便学习,这个过程就叫做监督学习。以一个识别猫的神经网络为例,其需要人们找到一个很大的图片数据库,并且将其中的图片都标注为“是猫”和“不是猫”。如果想要教一辆自动驾驶汽车红绿灯是什么样的,你需要显示包含红绿灯的图像,并对其进行注释,以便告诉AI什么是红绿灯。
RF Pose different scenes - credit MIT CSAIL.png
(图片来源:MIT CSAIL)

为了解决这一难题,研究者使用无线设备和摄像头来采集数据。他们拍摄了数千张人类活动场景(如行走、说话、坐下、开门和等电梯)的照片。神经网络通常用来解析图像,但也可以用来执行复杂的任务,比如从一种语言翻译到另一种语言,甚至可以通过模仿所给出的数据生成新的文本。

但在这种情况下,有一个问题:没有人能通过无线电无线电信号分析出哪个位置是头,哪个位置是脚。换句话说,通过图像处理信息很容易,但通过人身上反射的无线电信号数据处理信息就没那么轻松了。
RF Pose confidence maps and skeleton - credit MIT CSAIL .png
(图片来源:MIT CSAIL)

研究团队的解决方案是在训练期间,把信号接收器和摄像机连接起来,然后给摄像机创建的图像贴上信息标签,并且提取出不同姿势的人类简略骨架(火柴人图,用于表示人体姿态),将其与无线信号对应起来。这样的组合能让系统学习出场景中无线信号和火柴人图之间的关联,帮助神经网络将这些活动联系起来。

为了能让摄像机真正接受到图像信号,这些训练工作必须在没有墙的情况下完成。卡塔比解释道:“我们使用摄像机上的信息标签和同时发生的无线电信号来对它们进行训练。”

训练结束后,他们惊讶地发现,尽管这个系统只对可见的人进行了训练,但他们依然能探测到隐藏于墙背后的人。“它们能看到并描绘出墙壁后面的人形,尽管在训练中它们从未见过。” 卡塔比说道。 不仅如此,它甚至可以通过人们的步态来区分他们。在另一个神经网络的帮助下,该系统可以记录人们走路的特征并识别不同的人,即使隔着墙壁,识别个体的准确率仍超过83%。

二、 初步应用于治疗帕金森患者

研究人员已开始将“RF-Pose”项目付诸实践,在一项针对帕金森患者的小型研究中,通过在病人家中安装这些设备,他们可以在舒适的环境下监控类似帕金森、多发性硬化症(MS)和肌肉萎缩症等疾病,为医生提供更多信息,从而对症下药。这项技术也将通过监测跌倒、受伤和运动模式的变化,来帮助老年人能够更独立的生活。他们现在正和医生们合作,来探索“RF-Pose”在医疗领域的应用。

从这个意义上说,它比传统的视频监控少了些许侵入性,患者也不必佩戴传感器或要记着给他们的设备充电。

这项研究共涉及7人,历时8周。 卡塔比说:“系统分析的结果与用于评估患者的标准问卷‘高度相关’。” 此外,它还揭示了关于帕金森患者生活质量的更多信息。

目前,Michael J. Fox基金会正在资助团队进行进一步的研究;卡塔比说,通过这种方式监测病人可以帮助患者避免“白大褂综合症”,即病人在医生面前就诊时表现不同。 这项技术的使用也会引发相应的隐私问题,但卡塔比解释过,在没有得到人们同意的情况下,它不会被应用于任何人身上。

团队成员将展示成果

除了医疗健康领域的应用,团队表示,该项目还可以用在需要玩家在整个房子中移动的视频游戏中,或者需要定位幸存者的搜救任务等。

除了卡塔比教授,该论文的作者还包括博士生Mingmin Zhao(赵明民,一作)、Antonio Torralba教授、硕士生Tianhong Li、博士后Mohammad Abu Alsheikh、博士生Yonglong Tian、博士生Hang Zhao。

在这篇论文中,模型的输出是二维的火柴人骨架图。不过该团队正在将其扩展到三维,以监测更小幅度的运动。比如,这个系统将能够通过观察老年人的手的摆动规律,来确定是否需要健康检查。

Torralba说:“如果你把计算机视觉系统当成一个老师,那么这个例子真的很有趣,作为学生的无线信号观测系统居然比老师还厉害了。”

赵明民表示:“通过视觉数据和AI结合实现穿墙观测,通过视觉数据和AI结合实现穿墙观测,我们能够更好地理解生活场景,提供让生活更安全,高效的环境。”

他们将在本月晚些时候在犹他州盐湖城召开的计算机视觉与模式识别会议(Conferenceon Computer Visionand Pattern Recognition,CVPR)上展示这一成果。

本文综合自智东西、MIT News、人工智能训练营、前瞻网报道

 

qrcode_EETCwechat_120.jpg

关注最前沿的电子设计资讯,请关注“电子工程专辑微信公众号”

阅读全文,请先
您可能感兴趣
一项技术要想产生广泛的影响,它不仅要解决短期的挑战,还应该超越现有技术的进步,为未来的创新打开大门。这就是我们对泛林集团(Lam Research)今年早些时候推出的全球首个用于半导体量产的脉冲激光沉积(PLD)技术的描述。
蓝牙技术在疫情后实现了强劲的增长,已经从最初的音频传输扩展到了低功耗数据传输、室内位置服务和可靠的大规模设备网络。预计到2028年,蓝牙设备的年出货量将达到75亿台,五年复合年增长率(CAGR)为8%。
Qorvo在今年慕展上显得相当活跃,展示了涵盖连接、传感、电源等多个领域的新品。从这些新品展示,也能约摸看出这家公司的产品力,和企业发展潜力...
这项创新使得附近的iPhone、AirPods等苹果设备用户能够无需依赖Wi-Fi或蜂窝网络实现语音聊天,进一步提升了设备间的互动体验。
最近的是德科技技术日上,是德科技提到他们现如今最关注的3个主要市场,包括生成式AI......
尽管目前上诉法院已暂停禁售令及罚款,但案件后续进展仍存在不确定性。海能达还强调,目前案件仍处于上诉阶段,公司将进一步采取各项应对措施,继续尽最大努力争取撤销相关判令。
• 得益于西欧、关键亚洲市场和拉丁美洲市场的增长,以及中国品牌的持续领先,全球折叠屏手机出货量在2024年第二季度同比增长了48%。 • 荣耀凭借其在西欧特别强劲的表现,成为最大的贡献者,成为该地区排名第一的品牌。 • 摩托罗拉的Razr 40系列在北美和拉丁美洲表现良好,为其手机厂商的出货量贡献了三位数的同比增长。 • 我们预计,头部中国手机品牌厂商的不断增加将至少在短期内抑制三星Z6系列在第三季度的发布。
AI技术的发展极大地推动了对先进封装技术的需求,在高密度,高速度,高带宽这“三高”方面提出了严苛的要求。
奕斯伟计算2024首届开发者伙伴大会以“绿色、开放、融合”为主题,从技术创新、产品应用、生态建设等方面,向开发者、行业伙伴等相关方发出开放合作倡议,加速RISC-V在各行各业的深度融合和应用落地,共同推动RISC-V新一代数字基础设施生态创新和产业发展。
2024年 Canalys 中国云计算渠道领导力矩阵冠军厂商分别是:阿里云、华为云和亚马逊云科技(AWS)
点击蓝字 关注我们德州仪器全球团队坚持克服挑战,为电源模块开发新的 MagPack™ 封装技术,这是一项将帮助推动电源设计未来的突破性技术。  ■ ■ ■作为一名经验丰富的马拉松运动员,Kenji K
‍‍Mobileye 将终止内部激光雷达开发Mobileye 宣布终止用于自动驾驶的激光雷达的开发,并裁员 100 人。Mobileye 认为,下一代 FMCW 激光雷达对可脱眼的自动驾驶来说必要性没
会议预告向世界展示中国最具创新力、领导力和品牌化的产品与技术!9月27号,“第6届国际移动机器人集成应用大会暨复合机器人峰会”将在上海举行,敬请关注!逐个击破现有痛难点。文|新战略半导体行业高标准、灵
‍‍‍‍上市PCB厂商竞国(6108)日前出售泰国厂给予陆资厂胜宏科技后,近日惊传台湾厂惊传12月前关厂,并对客户发布通知预告客户转移生產,最后出货日期2024年12月25日。至於后续台湾厂400名员
近日A股上市公司陆续完成2024年上半年业绩披露,其中24家SiC概念股上半年合计营收同比增长14.58%至1148.65亿元,研发费用同步增长7.22%至69.16亿元。尤为值得注意的是,天岳先进、
疫情后的劳动力囤积和强有力的员工保护规则掩盖了德国高薪制造业工作市场令人担忧的变化。根据联邦劳工办公室的数据,欧元区最大经济体德国的失业率在2019年春季曾达到历史最低点4.9%,现已上升至6%。虽然
[关注“行家说动力总成”,快速掌握产业最新动态]9月6日,据“内江新区”消息,晶益通(四川)半导体科技有限公司旗下IGBT模块材料和封测模组产业园项目已完成建设总进度的40%,预计在明年5月建成。据了
展位信息深圳跨境电商展览会(CCBEC)时间:2024年9月11-13日 9:30-17:30地点:深圳国际会展中心(宝安)展馆:16号馆 16D73/16D75 展位报名注册准备好“观众注册”入场二
近日,3个电驱动项目迎来最新进展,包括项目量产下线、投产、完成试验等,详情请看:[关注“行家说动力总成”,快速掌握产业最新动态]青山工业:大功率电驱项目下线9月5日,据“把动力传递到每一处”消息,重庆