/肌电技术 | 感受世界的新方式

肌电技术 | 感受世界的新方式

正文字数:2572字

图片总数:共20张

视频时长:17分17秒

随着AR/VR技术的不断发展,显示技术不断突破,“看清”已不是太大的问题,如何“控制”也将成为下一个焦点。VR/AR交互工具形态目前依然延用主机时代的手柄,手势识别作为更适合VR/AR的自然交互方式虽被应用多时,但单纯依靠算法与深度摄像头感知实现的6DoF交互体验却始终未能取代手柄,也因此,肌电交互成为了VR/AR的下一个聚焦点。





如何用肌电读懂手势?

肌肉主要分为肌纤维和肌腱,肌纤维在中间,两头的肌腱附着在骨骼上;当大脑发出控制信号,经过神经网络的传输,最终以电流的形式到达肌纤维,肌纤维受到电流刺激后收缩,通过肌腱带动骨骼完成动作。


肌肉作为执行单元,内部所监测到的肌电信号和肌肉的状态有直接联系,不同的动作所对应的肌电信号是差异化的,所以通过监听肌电信号即可反推出你的操作。





01

gForce手环

Design by:傲意科技

交互|装置


这款基于手臂肌肉电流信号的手势识别穿戴产品gForce,是一个内置了8路肌电传感器的臂环(当然也可以有脚环等等),将它佩戴在手臂上,紧贴肌肤的传感器就会监测皮下肌肉的生物信号,配合他们自主研发的机器学习算法,通过肌电信号+模式识别逆向推导出手势指令。


相比最见的光学捕捉,肌电的主动型交互优势显而易见。因为信号来源于用户自身,直接匹配动作,因此附带的冗余信息少,使得运算量减少,这也进一步降低了功耗,因为是主动型,所以自由度高,受环境的影响也较少。

在肌电手环的帮助下,用户没有了抓握手柄的必要,双手能够更加自然的交互,完成真实场景中动作的模拟,可见肌电手环在手势识别上具有可实施性。


02

Apple Watch

Design by:苹果公司

交互|装置

苹果正在考虑让Apple Watch能够检测无触控手势的方法,包括推出能够检测佩戴者肌肉产生电信号的传感器表带,在用户双手被占用而无法与屏幕或数字表冠进行接触的情况下,提供另一种交互方式。


将肌电传感器嵌入到Apple Watch中,将其应用于附赠的表带构造中,让它能够完全绕过手腕。在检测到可能由特定肌肉或肌群产生的电信号后,可以将数据与潜在手势和相关动作的数据库进行比较,从而通知Apple Watch执行一个动作。


肌电传感器的好处包括,它可以与其他传感器协同使用,如加速度计等,可以作为第二种意见,判断执行了什么手势。加速度计可能会检测到可以被认为是手腕抖动或波浪的动作,但肌电传感器也会显示出肌肉是否积极地参与了动作,因此判断这是否是一个有意的动作。


03

EMG手势识别手环

Design by:CTRL-Labs(现已被Facebook收购)

交互|装置

EMG手势设别手环的技术特点是通过识别从脊椎传达到手掌的肌电信号,来控制电子设备,可识别手指动作,精度可达毫米级。除此之外,CTRL-Labs的技术还可以推断使用者的意图,甚至能识别残缺手掌的手势。这种基于EMG的交互方式用起来毫不费力,就像是可以随时随地触发虚拟按钮一样。

第一步,EMG只提供一两个控制位,与“单击”类似,等效于点击按钮。用户可以进行拇指与食指的基本操作,比如通过捏、放操纵物体。

之后扩展至对虚拟物体进行远距离操作、在桌子等平面上打字等等。由于EMG可针对不同用户拥有个性化模型,能够进行适应与优化,因此EMG条件下打字会比现在使用键盘打字速度快得多。据了解,CTRL-Labs团队已在个性化模型方面取得重要进展。

单纯的手环可穿戴设备并不是完整的解决方案,就好像鼠标只是交互的一部分,因此AI也是EMG手环重要组成,AI会根据理解提供自适应界面,通过智能点击的方式让用户以低摩擦的方式执行高度上下文相关的动作。

比如用户在进行慢跑时,AR系统会根据您过去在该行为中存在听歌习惯,会在显示屏上显示该选项:“播放正在运行的播放列表?”,用户做简单的手势进行智能点击确认即可。这种自适应界面无需用户在自然环境与设备之间进行注意力的转移。

04

仿生肢体&电子皮肤

Collect from:CyberDaily

技术

随着科技的发展,“义肢”早已不断进化,现在它有了新的名字——仿生肢体。仿生肢体不是一个被动的假体,它将生物学原理、肌电传感器技术、人工智能和驱动装置技术应用到假肢上,成为会思考的、人体的一部分。


电子皮肤是未来仿生肢体的关键组成部分,其要求主要涉及复制天然皮肤的感官能力。以仿生手为例,电子皮肤需要能够检测:接触和压力、滑动、形状、温度、疼痛等多方面内容,同时电子皮肤也需要极强的伸缩性和耐用性。

电子真皮 

电子真皮是约翰霍普金斯大学 (JHU) 科学家的心血结晶。以下视频很好地概述了电子真皮以及它如何与仿生手及其佩戴者相结合:



正如视频所指出的,电子真皮在这一点上的技术重点仍然是接触和压力感应,特别强调区分尖头(可能会痛)和圆形(不痛)的物体。

ACES(异步编码电子皮肤)

在约翰霍普金斯大学的世界另一端,新加坡国立大学 (NUS) 的一个团队一直在努力开发一种可以区分纹理甚至阅读盲文的电子皮肤。





此视频中提供了对未来感测温度和疼痛的工作的参考。


RMIT电子皮肤原型

RMIT是澳大利亚墨尔本的一所大学的名称。那里的研究人员开发了另一种新的电子皮肤方法。



该技术从假肢到医疗用途(例如皮肤移植)的交叉使用。电子皮肤与自然皮肤相比有所增强。



Solar Skin 无需触摸传感器即可提供触觉感知 
来自格拉斯哥大学的Solar Skin 在不使用触摸传感器的情况下实现了触觉感应。它还展示了电子皮肤通过太阳能电池为自身供电的能力,考虑到传感器持续运行所需的能量。

视频中这只手甚至在触摸它之前就能够对接近的物体做出反应。随着其他使用人工智能 (AI) 进行物体识别的研究,仿生手可能有一天能够自己智能地抓取物体。此外,最终有可能将更专业的传感器集成到此类解决方案中。




利用肌电控制为AR/VR环境下的人机交互提供更多的可能。例如在AR的工业领域应用中,加入肌电臂环具有极强的实用价值。



工厂环境复杂,可能噪音、光线不稳定,因此语音和机器视觉手势识别都面临着非常实际的问题,再加上工人通常都是佩戴手套或者手持物品,很难进行遥控器按键操作,而他们的臂环则能不受干扰并实现常用操作。

未来,当头显成为生活的一部分,缩小至理想中普通眼镜的大小时,我们不可能人人握着手柄上路,手柄最终会被其他形态的交互所替代,彻底解放双手。特别是占据手腕位置的智能手表,已有蓝牙,算力,电池,显示等基础单元,足够用于处理肌电手势识别,两者结合将有很好的用户体验的应用前景。

素材来源:

https://www.zhihu.com/people/vrtuoluo

https://www.i4.cn/news_detail_41681.html

https://wearable.ofweek.com/2021-03/ART-8500-5003-30490907.html

CyberDaily

版权说明:本文素材来源于网络,如有损害或影响您的合法权益,请积极与我们联系处理



          
编辑EDITOR彭一航
审核REVIEWER董琳琳
          
电话PHONE13871056452
邮箱E-MAIL2028621@qq.com

Follow us|点击名片关注



Information and Interaction Design

本文来自微信公众号“信息与交互设计研究所”(ID:gh_c1cd7847b233)。大作社经授权发布,该文观点仅代表作者本人,大作社平台仅提供信息存储空间服务。