拥有像X光一样的透视能力长久以来似乎都还是科幻小说中出现的超能力,不过在最近十年,一个由麻省理工学院计算机科学与人工智能实验室Dina Katabi教授领导的团队,正持续地开发“穿墙透视”技术。

通过无线电波与人工智能的结合,麻省理工学院的研究人员研发了一个全新的射频—姿态(RF-Pose)探测系统,这项技术可以看到墙另一边的人移动的骨骼状图像。虽然这听起来像是特警队在破门而入之前希望拥有的技术,但它已经以一种令人惊讶的方式被用于监控帕金森症患者在家中的活动。

该项目的高级研究员、麻省理工学院电子工程和计算机科学教授迪娜·卡塔比(Dina Katabi)说:“人们对这种技术的兴趣可以追溯到几十年前,美国国防部高级研究计划局(DARPA)曾有一个重大项目,试图使用无线信号探测位于墙壁后的人。但在这项最新的研究之前,这些系统所能做的只是显示一个人在墙后的斑点状图形。”

20180801-MIT-Detect-1.gif

如今,这项技术能够更精确的显示信息:它能把场景中的人描绘成像骷髅一样的木棍,同时显示出他们在做日常活动时的实时动作,比如行走和坐卧。这项技术的重点在于检测人体的关键部位,包括肘关节、臀部和脚。

20180801-MIT-Detect.gif

卡塔比说道:“当在墙后面的人开始移动时,你就会看到系统创建的火柴人会做出相同的动作,如果那个人坐下来,你就会看到系统中的火柴人也坐下来。”

一、 无线电信号反射出人体,神经网络加以识别

RF-Pose系统的工作原理是:传输比WiFi功率低1000倍的无线信号,穿透物体,如墙壁,再反射出人体——由于人体大部分由水组成,无线电无法穿透——之后再穿过墙壁回到设备中。
Mingmin-RF-Pose-MIT-CSAIL-00.png
RF-Pose系统使用无线信号,可以作为一个医疗保健系统,监测患者在墙壁另一侧的运动。(图片来源:Jason Dorfman / MIT CSAIL)

现在的问题是:如何解读系统回传的信息?卡塔比说:“这就是人工智能,特别是神经网络机器学习发挥作用的地方。”

人工智能研究人员通过添加注释信息来训练神经网络,使它能从数据中推断出自己的规则以便学习,这个过程就叫做监督学习。以一个识别猫的神经网络为例,其需要人们找到一个很大的图片数据库,并且将其中的图片都标注为“是猫”和“不是猫”。如果想要教一辆自动驾驶汽车红绿灯是什么样的,你需要显示包含红绿灯的图像,并对其进行注释,以便告诉AI什么是红绿灯。
RF Pose different scenes - credit MIT CSAIL.png
(图片来源:MIT CSAIL)

为了解决这一难题,研究者使用无线设备和摄像头来采集数据。他们拍摄了数千张人类活动场景(如行走、说话、坐下、开门和等电梯)的照片。神经网络通常用来解析图像,但也可以用来执行复杂的任务,比如从一种语言翻译到另一种语言,甚至可以通过模仿所给出的数据生成新的文本。

但在这种情况下,有一个问题:没有人能通过无线电无线电信号分析出哪个位置是头,哪个位置是脚。换句话说,通过图像处理信息很容易,但通过人身上反射的无线电信号数据处理信息就没那么轻松了。
RF Pose confidence maps and skeleton - credit MIT CSAIL .png
(图片来源:MIT CSAIL)

研究团队的解决方案是在训练期间,把信号接收器和摄像机连接起来,然后给摄像机创建的图像贴上信息标签,并且提取出不同姿势的人类简略骨架(火柴人图,用于表示人体姿态),将其与无线信号对应起来。这样的组合能让系统学习出场景中无线信号和火柴人图之间的关联,帮助神经网络将这些活动联系起来。

为了能让摄像机真正接受到图像信号,这些训练工作必须在没有墙的情况下完成。卡塔比解释道:“我们使用摄像机上的信息标签和同时发生的无线电信号来对它们进行训练。”

训练结束后,他们惊讶地发现,尽管这个系统只对可见的人进行了训练,但他们依然能探测到隐藏于墙背后的人。“它们能看到并描绘出墙壁后面的人形,尽管在训练中它们从未见过。” 卡塔比说道。 不仅如此,它甚至可以通过人们的步态来区分他们。在另一个神经网络的帮助下,该系统可以记录人们走路的特征并识别不同的人,即使隔着墙壁,识别个体的准确率仍超过83%。

二、 初步应用于治疗帕金森患者

研究人员已开始将“RF-Pose”项目付诸实践,在一项针对帕金森患者的小型研究中,通过在病人家中安装这些设备,他们可以在舒适的环境下监控类似帕金森、多发性硬化症(MS)和肌肉萎缩症等疾病,为医生提供更多信息,从而对症下药。这项技术也将通过监测跌倒、受伤和运动模式的变化,来帮助老年人能够更独立的生活。他们现在正和医生们合作,来探索“RF-Pose”在医疗领域的应用。

从这个意义上说,它比传统的视频监控少了些许侵入性,患者也不必佩戴传感器或要记着给他们的设备充电。

这项研究共涉及7人,历时8周。 卡塔比说:“系统分析的结果与用于评估患者的标准问卷‘高度相关’。” 此外,它还揭示了关于帕金森患者生活质量的更多信息。

目前,Michael J. Fox基金会正在资助团队进行进一步的研究;卡塔比说,通过这种方式监测病人可以帮助患者避免“白大褂综合症”,即病人在医生面前就诊时表现不同。 这项技术的使用也会引发相应的隐私问题,但卡塔比解释过,在没有得到人们同意的情况下,它不会被应用于任何人身上。

团队成员将展示成果

除了医疗健康领域的应用,团队表示,该项目还可以用在需要玩家在整个房子中移动的视频游戏中,或者需要定位幸存者的搜救任务等。

除了卡塔比教授,该论文的作者还包括博士生Mingmin Zhao(赵明民,一作)、Antonio Torralba教授、硕士生Tianhong Li、博士后Mohammad Abu Alsheikh、博士生Yonglong Tian、博士生Hang Zhao。

在这篇论文中,模型的输出是二维的火柴人骨架图。不过该团队正在将其扩展到三维,以监测更小幅度的运动。比如,这个系统将能够通过观察老年人的手的摆动规律,来确定是否需要健康检查。

Torralba说:“如果你把计算机视觉系统当成一个老师,那么这个例子真的很有趣,作为学生的无线信号观测系统居然比老师还厉害了。”

赵明民表示:“通过视觉数据和AI结合实现穿墙观测,通过视觉数据和AI结合实现穿墙观测,我们能够更好地理解生活场景,提供让生活更安全,高效的环境。”

他们将在本月晚些时候在犹他州盐湖城召开的计算机视觉与模式识别会议(Conferenceon Computer Visionand Pattern Recognition,CVPR)上展示这一成果。

本文综合自智东西、MIT News、人工智能训练营、前瞻网报道

 

qrcode_EETCwechat_120.jpg

关注最前沿的电子设计资讯,请关注“电子工程专辑微信公众号”

阅读全文,请先
您可能感兴趣
ITSA报告对当前的V2X应用进行了分析,并对两个关键的V2X部分进行了展望——使用5.9GHz频谱的直连V2X和使用4G LTE和5G蜂窝通信的网联V2X。此外,该报告还对未来在5.9GHz当前30MHz带宽限制之外的扩展进行了展望。
市场需求复苏是企业营收增长的主要推动力之一。消费电子、智能穿戴以及智能家居领域的需求增长,带动恒玄科技与乐鑫科技营收增长。本文挑选了9家上市的无线连接芯片厂商,整理分析这些公司在2024三季度的财报数据,对其2023年的财报和运营进行了综合性对比......
听说北通阿修罗2 Pro+星闪版手柄玩《黑神话:悟空》很流畅。它能够实现如此高的回报率是用的哪颗芯片?它的体感操控技术又是靠哪颗芯片实现的?小编好奇地把它拆开来看了看……
郭明錤还提到,苹果预计在大约三年内将几乎所有产品都转向自家Wi-Fi芯片,以降低成本并增强其生态系统的整合优势。最新的预测显示,Wi-Fi 7芯片将在iPhone 17中首次亮相。
蓝牙6.0版本进一步提升了数据传输速率,并使用了更高的频段以减少拥塞。而在此之前,不断扩展以电子货架标签、环境物联网、数字钥匙、Auracast广播音频为代表的新兴用例,会是市场新的“兴奋点”。
有专家指出,这可能是经过周密策划的行动,通过篡改供应链,在设备抵达黎巴嫩前就预置了爆炸物。这种方式不需要大量烈性炸药,但需要花费很长时间在每个设备上手动放置高爆炸性物料,同时保留其功能。
目前,智能终端NFC功能的使用频率越来越高,面对新场景新需求,ITMA多家成员单位一起联合推动iTAP(智能无感接近式协议)标准化项目,预计25年上半年发布1.0标准,通过功能测试、兼容性测试,确保新技术产业应用。
中科院微电子所集成电路制造技术重点实验室刘明院士团队提出了一种基于记忆交叉阵列的符号知识表示解决方案,首次实验演示并验证了忆阻神经-模糊硬件系统在无监督、有监督和迁移学习任务中的应用……
C&K Switches EITS系列直角照明轻触开关提供表面贴装 PIP 端子和标准通孔配置,为电信、数据中心和专业音频/视频设备等广泛应用提供创新的多功能解决方案。
投身国产浪潮向上而行,英韧科技再获“中国芯”认可
点击蓝字 关注我们安森美(onsemi)在2024年先后推出两款超强功率半导体模块新贵,IGBT模块系列——SPM31 IPM,QDual 3。值得注意的是,背后都提到采用了最新的FS7技术,主要性能
近期,多个储能电站项目上新。■ 乐山电力:募资2亿建200MWh储能电站12月17日晚,乐山电力(600644.SH)公告,以简易程序向特定对象发行A股股票申请已获上交所受理,募集资金总额为2亿元。发
投资界传奇人物沃伦·巴菲特,一位94岁的亿万富翁,最近公开了他的遗嘱。其中透露了一个惊人的决定:他计划将自己99.5%的巨额财富捐赠给慈善机构,而只将0.5%留给自己的子女。这引起了大众对于巴菲特家庭
‍‍12月18日,深圳雷曼光电科技股份有限公司(下称“雷曼光电”)与成都辰显光电有限公司(下称“辰显光电”)在成都正式签署战略合作协议。双方将充分发挥各自在技术创新、产品研发等方面的优势,共同推进Mi
有博主基于曝光的信息绘制了iPhone 17系列渲染图,对比iPhone 16系列,17系列最大变化是采用横置相机模组,背部DECO为条形跑道设计,神似谷歌Pixel 9系列,这是iPhone六年来的
12月18 日,据报道,JNTC与印度Welspun BAPL就车载盖板玻璃的开发及量产签订了投资引进业务合作备忘录(MOU)。资料显示,JNTC是韩国的一家盖板玻璃厂商。Welspun的总部位于印度
近期,高科视像、新视通、江苏善行智能科技等企业持续扩充COB产能。插播:加入LED显示行业群,请加VX:hangjia188■ 高科视像:MLED新型显示面板生产项目(二期)招标12月18日,山西高科
LG Display  12月18日表示,为加强OLED制造竞争力,自主开发并引进了“AI(人工智能)生产体系”。“AI生产体系”是AI实时收集并分析OLED工艺制造数据的系统。LG Display表
在科技浪潮翻涌的硅谷,马克·扎克伯格不仅是“脸书”帝国的掌舵人,更是以其谦逊低调的形象,在公众心中树立了独特的领袖风范。然而,在镁光灯难以触及的私人领域,扎克伯格与39岁华裔妻子普莉希拉·陈的爱情故事
点击蓝字 关注我们电网和可再生能源系统向着更智能、更高效的方向发展助力优化能源分配构建更加绿色和可靠的能源未来12 月 24 日 上午 9:30 - 11:302024 德州仪器新能源基础设施技术直播