平板电脑的光传感器可以监视你

IEEE电气电子工程师学会 2024-01-22 16:07

点击蓝字 关注我们

SUBSCRIBE to US


Yang Liu, MIT    


大多数人可能意识到了移动设备或笔记本电脑上的前置摄像头带来的隐私风险(https://spectrum.ieee.org/location-histories-privacy-laws),因此可以采取措施降低这些风险。但现在的研究表明,黑客(https://spectrum.ieee.org/flipper-zero-hackers-delight)也可以通过环境光传感器以意想不到的方式捕捉用户的图像,该传感器有助于自动调整许多设备上的屏幕亮度。


当应用程序和网站想要访问摄像头、麦克风或地理定位系统的数据时,请求许可已成为标准做法。然而,麻省理工学院的博士生Yang Liu表示,智能手机、平板电脑、笔记本电脑甚至智能电视等设备都装有其他传感器,这些传感器的潜在安全风险往往被忽视。


他说,在这些传感器中,环境光传感器引起了特别的关注。这些组件提供本地环境中照明的读数,操作系统使用该读数来改变屏幕亮度或切换暗模式。虽然这似乎无法提供太多详细信息,但研究人员已经表明,这些传感器可以检测光强度的变化,这些变化可以用来推断某人正在观看什么样的电视节目(https://dl.acm.org/doi/10.1145/2660267.2660358)、浏览什么网站(https://www.semanticscholar.org/paper/LightSpy%3A-Optical-eavesdropping-on-displays-using-Chakraborty-Ouyang/13ffdf3a54709ffa69efb9a21723fa9299925791),甚至触摸屏上的键盘条目(https://dl.acm.org/doi/10.1145/2666620.2666622)。


现在,Liu和他的同事在《科学进展》杂志(https://www.science.org/doi/10.1126/sciadv.adj3608)上的一篇论文中表明,通过将平板电脑上环境光传感器的数据与平板电脑屏幕上显示的专门定制的视频进行交叉引用,可以在用户与平板电脑互动时生成手部的图像。他说,虽然这些图像的分辨率很低,目前拍摄时间很长,但这种方法可以帮助攻击者推断出人们是如何使用设备上的触摸屏的。


Liu说:“人们知道笔记本电脑和平板电脑上有自拍镜头,有时会通过物理方法来遮盖它们。但对于环境光传感器,人们甚至不知道应用程序正在使用这些数据。而且这个传感器一直处于开启状态。”


然而,用光传感器捕捉图像并非易事,因为该设备只有一个像素,可以记录给定时刻的光强度。Liu说,,他们通过牺牲时间分辨率来获得空间分辨率来解决这个问题。它们在平板电脑的显示器上显示一系列快速的图案,照亮场景的不同部分,从而在传感器上产生不同的光强读数。重建算法能够获取这一读取序列,并将其与已知的照明模式相匹配,以拼凑出图像。


因为这个装置没有镜头,所以即使是很小的距离也不可能聚焦在任何东西上。一个关键的挑战是能够对显示屏正上方区域发生的事情进行成像,从而能够跟踪用户的手部运动。因此,该团队使用了一种名为“双重摄影(dual photography)”的方法,该方法依赖于一些反直觉的物理和巧妙的计算,将平板电脑的显示器变成了相机。


这项技术的基础是一种被称为亥姆霍兹互易性的物理原理(Helmholtz reciprocity)。想象一下,一条光线穿过光学系统,经历一系列反射、折射和吸收。这一原理表明,如果沿着相同的路径向后发送新的光线,这些转换将以完全相同的方式相加。在传统摄影中,光从照明源传播到相机。双重摄影利用Helmholz互易性来计算反向光的流动,本质上是交换相机和周围的光源。这使得从光源而不是相机的角度拍摄照片成为可能。


在Liu和他的同事测试的场景中,来自显示器的光线被用户的手部分遮挡,并从他们的脸上反射。然后由光传感器拾取。然而,从双摄影的角度来看,可以想象光从传感器向相反的方向传播,手在显示器上投下阴影。


该团队设计了一种反演算法,能够将光传感器的读数转换为32 x 32像素的图像,该图像捕捉到显示器正上方的区域。为了测试这种方法,他们拿出了一款现成的三星Galaxy View2平板电脑,屏幕为17.3英寸,并在其前面放了一个人体模型的头和手来模仿人。研究人员证明其能够捕捉各种触摸手势的图像,如两个手指滚动和三个手指捏。同时,还展示了他们可以使用Tom和Jerry的修改视频捕捉用户手部的粗略图像,这表明照明模式可以隐藏在视频中。


Liu承认,这种方法的主要局限性在于拍摄图像所需的时间。因为它们依赖于单个像素传感器,所以它们必须循环通过大量的照明模式来构建清晰的图像。光传感器的速度相对较慢,这意味着他们解决手势的最快速度是3.3分钟,而修改后的Tom and Jerry视频的实验需要68分钟。


独立安全研究员兼顾问Lukasz Olejnik表示:“以分钟为单位的获取时间太过繁琐,无法大规模发起简单而普遍的隐私攻击。”他之前曾强调过环境光传感器带来的安全风险。“然而,我不排除对针对选定目标的量身定制行动的重要性。”


但他也指出,在他早期的研究之后,万维网联盟(World Wide Web Consortium)发布了一项新标准,限制了对光传感器API的访问,浏览器供应商已经采用了该标准。


然而,Liu指出,安卓应用程序仍然没有全面的限制。此外,研究人员发现,一些设备将光传感器的数据直接记录在一个易于访问的系统文件中,而无需通过API。该团队还发现,降低图像的分辨率可以将采集时间限制在实际范围内,同时仍能为基本的识别任务保持足够的细节。


尽管如此,Liu也认为这种方法过于复杂,不适合广泛的攻击。一个可取之处是,它不太可能在智能手机上工作,因为显示器太小了。但Liu表示,他们的研究结果表明,移动设备中看似无害的组件组合会导致令人惊讶的安全风险。


微信号|IEEE电气电子工程师

新浪微博|IEEE中国

 · IEEE电气电子工程师学会 · 


开创6GHz频谱新纪元:Wi-Fi技术的革新与拓展现实的崛起

情节大反转:AI在书籍未来的崭新角色

创新突破:精准型农业与气候不确定性

3D打印技术在建筑业的革命:建设更为高效和可持续的未来

IEEE电气电子工程师学会 IEEE是全球最大的专业技术协会之一,一直致力于推动电气电子技术在理论方面的发展和应用方面的进步。IEEE在全球160多个国家有超过四十万名会员。
评论 (0)
  • 在人工智能技术飞速发展的今天,语音交互正以颠覆性的方式重塑我们的生活体验。WTK6900系列语音识别芯片凭借其离线高性能、抗噪远场识别、毫秒级响应的核心优势,为智能家居领域注入全新活力。以智能风扇为起点,我们开启一场“解放双手”的科技革命,让每一缕凉风都随“声”而至。一、核心技术:精准识别,无惧环境挑战自适应降噪,听懂你的每一句话WTK6900系列芯片搭载前沿信号处理技术,通过自适应降噪算法,可智能过滤环境噪声干扰。无论是家中电视声、户外虫鸣声,还是厨房烹饪的嘈杂声,芯片均能精准提取有效指令,识
    广州唯创电子 2025-04-08 08:40 185浏览
  • 在万物互联时代,智能化安防需求持续升级,传统报警系统已难以满足实时性、可靠性与安全性并重的要求。WT2003H-16S低功耗语音芯片方案,以4G实时音频传输、超低功耗设计、端云加密交互为核心,重新定义智能报警设备的性能边界,为家庭、工业、公共安防等领域提供高效、稳定的安全守护。一、技术内核:五大核心突破,构建全场景安防基座1. 双模音频传输,灵活应对复杂场景实时音频流传输:内置高灵敏度MIC,支持环境音实时采集,通过4G模块直接上传至云端服务器,响应速度低至毫秒级,适用于火灾警报、紧急呼救等需即
    广州唯创电子 2025-04-08 08:59 145浏览
  •   卫星图像智能测绘系统:地理空间数据处理的创新引擎   卫星图像智能测绘系统作为融合卫星遥感、地理信息系统(GIS)、人工智能(AI)以及大数据分析等前沿技术的综合性平台,致力于达成高精度、高效率的地理空间数据采集、处理与应用目标。借助自动化、智能化的技术路径,该系统为国土资源管理、城市规划、灾害监测、环境保护等诸多领域输送关键数据支撑。   应用案例   目前,已有多个卫星图像智能测绘系统在实际应用中取得了显著成效。例如,北京华盛恒辉北京五木恒润卫星图像智能测绘系统。这些成功案例为卫星
    华盛恒辉l58ll334744 2025-04-08 16:19 77浏览
  • ## DL/T645-2007* 帧格式:* 帧起始字符:68H* 地址域:A0 A1 A2 A3 A4 A5* 帧起始字符:68H* 控制码:1字节* 主站:* 13H:请求读电能表通信地址* 11H:请求读电能表数据* 1CH:请求跳闸、合闸* 从站:* 91H:正常应答读电能表* 9CH:正常应答跳闸、合闸* 数据域长度:1字节* 数据域:DI0 DI1 DI2 DI3* 发送方:每字节+33H* 接收方:每字节-33H* 数据标识:* 电能量* 最大需量及发生时间* 变量* 事件记录*
    四毛打印店 2025-04-09 10:53 51浏览
  • 文/郭楚妤编辑/cc孙聪颖‍伴随贸易全球化的持续深入,跨境电商迎来蓬勃发展期,物流行业 “出海” 成为不可阻挡的必然趋势。加之国内快递市场渐趋饱和,存量竞争愈发激烈。在此背景下,国内头部快递企业为突破发展瓶颈,寻求新的增长曲线,纷纷将战略目光投向海外市场。2024 年,堪称中国物流企业出海进程中的关键节点,众多企业纷纷扬帆起航,开启海外拓展之旅。然而,在一片向好的行业发展表象下,部分跨境物流企业的经营状况却不容乐观。它们受困于激烈的市场竞争、不断攀升的运营成本,以及复杂的国际物流环境,陷入了微利
    华尔街科技眼 2025-04-09 15:15 74浏览
  • HDMI从2.1版本开始采用FRL传输模式,和2.0及之前的版本不同。两者在物理层信号上有所区别,这就需要在一些2.1版本的电路设计上增加匹配电路,使得2.1版本的电路能够向下兼容2.0及之前版本。2.1版本的信号特性下面截取自2.1版本规范定义,可以看到2.1版本支持直流耦合和交流耦合,其共模电压和AVCC相关,信号摆幅在400mV-1200mV2.0及之前版本的信号特性HDMI2.0及之前版本采用TMDS信号物理层,其结构和参数如下:兼容设计根据以上规范定义,可以看出TMDS信号的共模电压范
    durid 2025-04-08 19:01 157浏览
  •   物质扩散与污染物监测系统软件:多领域环境守护的智能中枢   北京华盛恒辉物质扩散与污染物监测系统软件,作为一款融合了物质扩散模拟、污染物监测、数据分析以及可视化等多元功能的综合性工具,致力于为环境科学、公共安全、工业生产等诸多领域给予强有力的技术支撑。接下来,将从功能特性、应用场景、技术实现途径、未来发展趋势等多个维度对这类软件展开详尽介绍。   应用案例   目前,已有多个物质扩散与污染物监测系统在实际应用中取得了显著成效。例如,北京华盛恒辉和北京五木恒润物质扩散与污染物监测系统。这
    华盛恒辉l58ll334744 2025-04-09 14:54 91浏览
  • 文/Leon编辑/侯煜‍就在小米SU7因高速交通事故、智驾性能受到质疑的时候,另一家中国领先的智驾解决方案供应商华为,低调地进行了一场重大人事变动。(详情见:雷军熬过黑夜,寄望小米SU7成为及时雨)4月4日上午,有网友发现余承东的职务发生了变化,华为官网、其个人微博认证信息为“常务董事,终端BG董事长”,不再包括“智能汽车解决方案BU董事长”。余承东的确不再兼任华为车BU董事长,但并非完全脱离华为的汽车业务,而是聚焦鸿蒙智行。据悉,华为方面寻求将车BU独立出去,但鸿蒙智行仍留在华为终端BG部门。
    华尔街科技眼 2025-04-09 15:28 71浏览
  •   物质扩散与污染物监测系统:环境守护的关键拼图   一、物质扩散原理剖析   物质扩散,本质上是物质在浓度梯度、温度梯度或者压力梯度等驱动力的作用下,从高浓度区域向低浓度区域迁移的过程。在环境科学范畴,物质扩散作为污染物在大气、水体以及土壤中迁移的关键机制,对污染物的分布态势、浓度动态变化以及环境风险程度有着直接且重大的影响。   应用案例   目前,已有多个物质扩散与污染物监测系统在实际应用中取得了显著成效。例如,北京华盛恒辉和北京五木恒润物质扩散与污染物监测系统。这些成功案例为物质
    华盛恒辉l58ll334744 2025-04-09 11:24 53浏览
  •   卫星图像智能测绘系统全面解析   一、系统概述   卫星图像智能测绘系统是基于卫星遥感技术、图像处理算法与人工智能(AI)技术的综合应用平台,旨在实现高精度、高效率的地理空间数据获取、处理与分析。该系统通过融合多源卫星数据(如光学、雷达、高光谱等),结合AI驱动的智能算法,实现自动化、智能化的测绘流程,广泛应用于城市规划、自然资源调查、灾害监测等领域。   应用案例   目前,已有多个卫星图像智能测绘系统在实际应用中取得了显著成效。例如,北京华盛恒辉和北京五木恒润卫星图像智能测绘系统
    华盛恒辉l58ll334744 2025-04-08 15:04 92浏览
  •     根据 IEC术语,瞬态过电压是指持续时间几个毫秒及以下的过高电压,通常是以高阻尼(快速衰减)形式出现,波形可以是振荡的,也可以是非振荡的。    瞬态过电压的成因和机理,IEC 60664-1给出了以下四种:    1. 自然放电,最典型的例子是雷击,感应到电力线路上,并通过电网配电系统传输,抵达用户端;        2. 电网中非特定感性负载通断。例如热处理工厂、机加工工厂对
    电子知识打边炉 2025-04-07 22:59 142浏览
我要评论
0
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦