Nature全新子刊上线首篇论文,来自华人团队,AI加持的可穿戴传感器,突破手势识别最后难关

发布时间:2025-12-02 06:08

新娘可选戴珍珠或钻石首饰,增加婚礼的奢华感 #生活知识# #时尚搭配建议# #婚礼着装建议#

关注

图片

撰文丨王聪

编辑丨王多鱼

排版丨水成文

在日常生活中,智能手环、智能手表等可穿戴设备已经成为了我们健康监测、运动追踪的得力助手。然而,当这些设备遇到跑步、振动或者姿势变化等运动干扰时,其识别的准确率往往会大打折扣。

2025 年 11 月 17 日,加州大学圣地亚哥分校徐升团队、Joseph Wang 团队合作,在 Nature 新子刊 Nature Sensors 上发表了题为:A noise-tolerant human–machine interface based on deep learning-enhanced wearable sensors 的研究论文,这也是这本新期刊上线的首篇论文。

该研究开发出了一款基于深度学习的抗运动干扰人机交互界面,即使在剧烈运动环境下也能实现精准的手势识别和机械臂控制。

图片

图片

运动干扰:手势识别的“天敌”

传统的可穿戴惯性测量单元(IMU)在虚拟现实、非语言交流、运动康复和机器人控制等领域展现出巨大潜力。然而,在真实世界应用中,手势信号常常受到运动伪影的干扰。

这些干扰可能来自行走、跑步或乘坐交通工具时的环境活动,也可能源于因重力矢量导致的 IMU 方向变化,或者是这些因素的组合。运动伪影可能与手势信号频率相似,或者频率不同但幅度更大,从而淹没手势信号,且在不同个体间存在差异。

创新解决方案:多层可拉伸传感器+深度学习

研究团队设计的传感器系统集成了六通道 IMU、肌电信号(EMG)模块、蓝牙微控制器单元和可拉伸电池,能够无线捕获和传输手势信号。

该传感器采用四层设计,尺寸仅为 1.8×4.5 cm²,厚度 2 毫米,拉伸性超过 20%。第一层为电池,即使经过 60 次充放电循环,在弯曲和拉伸状态下仍能保持约 25mAh 的容量,库仑效率接近 100%。

第二层包含天线匹配单元和 EMG 信号采集放大模块。研究团队使用了三层 EMG 电极:底部是提供结构支撑的弹性体基底,中间是岛桥结构的可拉伸铜,顶部是碳纳米管掺杂的弹性体。

第三层集成了六通道 IMU 和蓝牙微控制器单元,用于信号处理和无线传输。在开放环境中,蓝牙信号在 20 米距离内保持稳定。连续运行 30 分钟后,传感器最高温度仅为 27.7°C,佩戴 1 小时下皮肤温度稳定在 34.5°C,确保穿戴安全。

图片

噪声容限型人机界面概述

深度学习算法:抗干扰的核心技术

研究团队采集了 19 种前臂手势信号,以及从坐到躺的姿势变化,筋膜枪产生的高频振动,以及跑步时前臂自然摆动等三种典型运动干扰信号。

研究团队生成了一个复合数据集,将手势信号与各种运动干扰叠加,训练并比较了三种深度学习网络。最终,基于 LeNet-5 的卷积神经网络(CNN)表现最佳,召回率大于 0.92,精确度大于 0.93,F1 分数大于 0.94,特异性大于 0.99。

该 CNN 架构包含三个卷积层、三个最大池化层和三个全连接层,使用交叉熵作为损失函数。训练和验证过程中,CNN 的准确度收敛至接近 1,损失接近 0,确认不存在过拟合问题。

迁移学习:个性化适应的关键

考虑到不同个体间手势信号和运动干扰的差异,研究团队应用了基于参数的迁移学习来增强模型的泛化能力。

他们首先使用 0.01 的学习率在复合数据集上训练模型,然后以 0.001 的较低学习率对新个体的卷积层进行微调。结果显示,仅需每个手势 2 个样本(坐姿和躺姿各一个),就能将 19 种手势的最小识别准确度从 51% 提高到 92% 以上,数据收集时间也从约 2 分钟减少到约 6 秒。

实时连续手势识别与机械臂控制

为实现连续手势识别,研究团队采用了滑动窗口机制,窗口长度为 1 秒,滑动步长为 0.25 秒。每个分段信号作为独立输入生成预测。

手势识别与数字滤波的 EMG 信号结合,用于实时精确控制机械臂。当个人连续执行手势时,手势信号通过蓝牙无线传输到后端站,延迟约 1 毫秒。在线 CNN 模型对每个分段信号生成预测约需 1 毫秒。接收到三个连续相同预测(约 3 毫秒)后,机械臂响应(约 275 毫秒)并执行相应动作。

图片

具有运动伪影的实时机械臂控制

在跑步机上跑步时,尽管前臂的 IMU 信号与运动干扰交织,系统仍能精确控制机械臂。当 EMG 信号的均方根值超过预定阈值时,机械臂能够准确抓取小瓶。

水下应用的潜力

人机界面已被潜水员用于控制水下机器人,进行目标跟踪、海洋数据收集、沉船检查和救援行动。然而,在水生环境中,IMU 不仅记录潜水员的手势信号,还记录海浪复杂动力学产生的信号。

研究团队使用 Scripps 海洋-大气研究模拟器获取各种海浪产生的运动伪影,系统改变波长和波高以代表广泛的海浪条件,最终为每个手势组装了广泛的数据集。

经过该数据集训练后,模型在叠加模拟海浪干扰的 IMU 信号上测试时,能持续为机械臂动作生成准确命令,召回率、精确度、特异性和 F1 分数在测试数据集上都接近 1。海水的存在还提供了降低电极-皮肤阻抗的独特优势,从而增强了 EMG 信号质量。

图片

噪声容限的人机界面在水中的应用

总的来说,这项研究展示了可穿戴人机界面在复杂真实世界应用中的巨大潜力,为人与机器之间更自然、更稳健的交互打开了新可能。随着技术的不断完善,未来我们或许能在各种运动状态下,与智能设备进行更流畅、更精准的互动。

关于 Nature Sensors

Nature Sensors 期刊发表涵盖传感技术全领域的基础、应用和工程研究,涉及生物、计算、工程和系统等多个领域。该期刊涵盖新型传感器材料和器件的开发,以及传感器系统的设计、集成和更广泛的应用。强调传感器设计、材料、信号处理和数据分析方面的技术进步,Nature Sensors 突出了传感技术对社会的变革性影响。该期刊旨在连接科学研究、工程和工业,鼓励跨学科合作,以应对医疗保健、环境监测、生物集成设备、汽车、民用基础设施和智能技术等领域的复杂挑战。

该期刊涵盖的主题包括:成像传感、传感器材料、信号处理、传感器电路、模拟与数字电子学、光学传感、量子传感、声学与超声传感、化学传感器、纳米传感器、生物传感器、可穿戴传感器、可植入传感器、即时诊断、数据分析、物联网(IoT)、大数据、传感器网络、结构健康监测、环境传感、智能材料与结构、环境监测、遥感、可持续性和绿色技术、机器人传感器集成、自主系统、人机交互、人工智能增强传感、边缘计算、工业自动化、预测性维护、供应链与库存管理、无线传感、5G/6G 传感器网络。

论文链接:

https://www.nature.com/articles/s41586-025-09607-6

图片图片图片图片图片设置星标,不错过精彩推文图片开放转载欢迎转发到朋友圈和微信群 微信加群 

免责声明:本内容来自腾讯平台创作者,不代表腾讯新闻或腾讯网的观点和立场。

举报

网址:Nature全新子刊上线首篇论文,来自华人团队,AI加持的可穿戴传感器,突破手势识别最后难关 https://www.yuejiaxmz.com/news/view/1413345

相关内容

上海交大顾磊磊团队新突破:AI让视障人士“重获光明”,研究登上Nature子刊
刚刚,华为发布!多项传感器技术突破,引领下一个10年智能穿戴!
中国团队研发出服务盲人导航的可穿戴AI辅助系统
AI让视障人士“重获光明”,研究登上Nature子刊
Nature头条:上海交大顾磊磊团队开发AI眼镜,帮助盲人导航
可穿戴技术
Nature子刊:叶海峰团队开发新型光遗传学技术,实现光照减肥
颠覆传统,赋能未来:AI如何革新健康管理与远程医疗?
强化学习实现智能城市规划,清华团队最新成果登Nature子刊
上海交通大学智能传感新硬件:用可穿戴AI系统为盲人导航

随便看看