传感器内（In-sensor）计算可能会成为在小型设备（例如可穿戴医疗设备和物联网设备）中部署机器学习（machine learning）的全新方法，这些设备必须在有限的能源资源下安全运行。该领域的进展已经放缓，因为难以找到使用物理自由度操作的合适计算设备，该物理自由度可以直接耦合到执行传感的自由度。
据麦姆斯咨询报道，近日，加拿大舍布鲁克大学（Université de Sherbrooke）和拉瓦尔大学（Université Laval）的研究人员组成的团队在Communications Engineering期刊上发表了题为“In-sensor human gait analysis with machine learning in a wearable microfabricated accelerometer”的论文，利用储层计算（reservoir computing）作为自然架构，对物理系统的自由度进行机器学习，以表明微机电系统（MEMS）可以通过耦合悬浮微结构的位移来实现计算和加速度传感。这项研究提出了一个可以附着在脚上实时识别人类受试者的步态模式的可穿戴系统。研究人员将该传感器内计算系统的计算效率和功耗与具有单独传感器和数字计算机的传统系统进行了比较。在计算能力相似的情况下，高度集成的传感器内计算设备有望获得更好的能效，从而为机器学习在边缘计算设备中的普遍部署提供了一条途径。
具有传感和可训练计算能力的MEMS设备
研究人员使用在机械域同时执行传感和计算的MEMS加速度计来解决人类步态分类任务（图1a-1c）。机械储层计算机是利用两端固支的薄硅梁的动态非线性来实现的，这与之前描述的器件类似。当微梁由足够大的振荡静电力驱动时，其振荡振幅表现出复杂的非线性动力学（图2a和2b），以用于储层计算。固支梁上的驱动静电力是通过悬挂一个基准质量块施加的，当对器件施加加速度时，该质量块会移动（图1a和2d）。驱动力的振幅随基准质量块与微梁平衡位置之间距离的变化而变化，系统参数的选择使微梁振荡的振幅成为基准质量块位置（因此也是加速度，见图1b）的复杂非线性函数。为了增加从微梁的振幅响应中生成的信号的复杂性，研究人员采用了一种反馈技术，即使用时分复用技术创建多个不同的虚拟响应，每个响应都是加速度的不同非线性函数。虚拟响应通过传统电子器件进行定时采样，以在每个时间间隔生成“激活值”向量。最后，传统微控制器会在每个时间间隔计算该向量与训练过的权重向量之间的标量乘积，从而得出步态类型的输出分类（图1b）。
图1 MEMS步态分析系统概述
图2 MEMS步态分析系统的机械响应
人体步态的传感器内识别
通过将一个MEMS设备安装在左脚上，研究人员将传感器内计算应用于检测四种不同的步态模式（N、TO、TL、TOTL）。这些步态模式的自动识别具有临床意义，因为它可以通过使用实时生物反馈进行步态再训练来用于治疗某些肌肉骨骼疾病，例如膝骨关节炎。虽然步态模式识别可以在配备3D运动捕捉系统或使用多个惯性测量单元（IMU）的实验室中进行，但由于本研究的目标是开发最简单、成本最低、最不具干扰性的可穿戴设备，因此研究人员只使用了一个MEMS加速度计，这增加了任务的难度。
在这项研究中，十名健康受试者按照指示在跑步机上行走，同时在左脚鞋上安装MEMS步态分析系统，并交替使用四种步态模式。
分类性能是通过计算受试者工作特征曲线（ROC）的曲线下面积（AUC）的平均值来评估的，该平均值是在四个分割上计算得出的（AUC为0.5相当于随机分类器，而AUC为1.0相当于完美分类器）。ROC曲线示例见图1c，MEMS步态分析系统性能表征见图3。
图3 传感器内步态分类的性能
可穿戴设备的传感器内计算
为了产生相关的技术影响，传感器内计算设备需要在执行复杂计算时具有泛化能力，即它们必须能够抵御训练期间未见的输入变化以及一定程度的噪声。这种鲁棒性是神经形态计算技术（包括储层计算）的标志。此外，这些技术通常可以对传感器系统中的非线性进行建模，因此即使使用非理想传感器，它们也能表现良好。这可以用来降低许多传感器的设计要求，从而有可能降低其制造或校准成本。
本研究的原型设备作为纯传感器的性能（图2d）与MEMS加速度计的最先进水平相去甚远，在400 Hz带宽内其灵敏度介于0.05 V/g到 0.1 V/g之间，还存在一些带内谐振和其他问题。尽管如此，微梁储层计算机能够学习这些性能限制，并对步态模式进行分类，其效果与基于商用加速度计数据运行的神经网络相媲美。图3a显示了MEMS步态分析系统与使用商用加速度计和在微处理器上执行的软件ESN构建的传统系统的分类性能的比较。从中可以看出，MEMS设备和ESN都学习了受试者和速度之间的可变性，以实现相似的分类性能，并且比线性分类器表现更好。
综上所述，这项研究描述了一种既是加速度传感器又是神经形态计算机的设备，它通过悬浮微结构的位移在机械域执行传感和非线性计算功能。研究表明，这种可穿戴设备成功地实现了传感器内计算的概念，仅利用一只脚测得的加速度，就能完成识别人体步态的艰巨任务。该设备能够成功演示的最重要特性是其计算能力（线性分类器无法解决步态分类任务）、对数据变化和非理想传感器行为的鲁棒性、小尺寸和低功耗。这些特性是将传感和神经形态计算功能集成到单个设备中的天然优势。传感器内计算的另一个好处是，传感器数据永远不会离开设备，也不会实际转换到电子或数字域，从而提供了高级别的隐私保护，这对于医疗设备尤为重要。
这些对医疗设备非常重要的优势对于物联网应用中的边缘计算设备来说也是非常理想的。在这些应用中，传感器内计算可以进一步大幅减少边缘传感器传输的数据量，从信号的Nyquist频率下的全（压缩）带宽降低到信号中相关特征的识别速率。除了能缓解物联网应用中典型的数据拥塞问题外，还能大大延长边缘传感器的电池寿命，从而促进其在现场的大规模部署。总之，通过在机械域直接执行传感和神经形态计算功能，本研究所提出的单个MEMS步态分析设备能够解决复杂的现实世界任务，这可被视为在新兴的可穿戴医疗设备和物联网应用中广泛部署传感器和机器学习能力的一个重要里程碑。
论文链接：
https://doi.org/10.1038/s44172-024-00193-5
