/触觉识别 | 人工智能的皮肤

触觉识别 | 人工智能的皮肤

正文字数:4916字

图片总数:32张


引言:与人类一样,机器人的触摸传感(Touch Sensing)能够帮助机器人理解现实世界中物体的交互行为,这些行为取决于其重量和刚度,取决于触摸时表面的感觉、接触时的变形情况以及被推动时的移动方式。只有给机器人也配备先进的触摸传感器,即触觉传感(Tactile Sensing)系统,才能使其意识到周围的环境,远离潜在的破坏性影响,并为后续的手部操作等任务提供信息。


01

Ollie

Design by:鹅厂Robotics X机器人实验室

光秃秃「头」上放个小球,来回走也不掉。

还会举一反三,不同大小材质重量的球,都能稳住。

加大难度——下了个小台阶,走上公园凹凸不平的绿地,它也「顶得住」。

上下坡,甚至中途小球弹起,也无所畏惧。

它叫Ollie,来自鹅厂Robotics X 机器人实验室,机器人Ollie诞生于2021年,刚亮相就为我们搞出了新花样,一年前,这个小机灵鬼以一出后空翻惊艳四座。如今再看,更灵活,也更聪明了。

据介绍,Ollie背后的核心能力是——触觉感应功能。具体来说,该大类技术以触觉传感器为基础,在机器人身上将实现触觉信号的准确采集、处理,并基于触觉感知信号完成模式识别、人机交互、运动控制等任务。放在Ollie顶球这个Case中,有三大关键项。

我们先从触觉传感器方面说起。据实验室工程师分享,他们将触觉传感器应用于Ollie,意在探索以触觉传感器作为机器人电子皮肤,对移动机器人的人机交互能力以及一体化感知、规划、控制能力上的赋能。

在压阻材料上,团队首次采用了合作研发的新传感器阵列,最小空间分辨率达创纪录的0.9mm。该新型材料同时具有超高灵敏度、超大量程、超快响应速度、强稳定性的特点。Ollie头顶就被安上一块这种传感器阵列,结合定制化的传感器电极适配模块和内部标准化的传感器信号采集模块,在Ollie 200mmx400mm头顶表面上实现了点阵信号的快速采集。

其次,看看平衡控制方面。在过去,传统方法依赖机器人自身动力学参数的辨识,一旦参数不准确或情况变化,效果就会变差。为此,团队为Ollie做了一套基于自适应动态规划的平衡控制(ADP),可以更快找到各场景和身姿状态下保持平衡的方式。值得一提的是,这是自适应动态规划在轮式机器人平衡控制上的首次应用,相关论文已在IEEE Robotics and Automation Letters上发表。

最后还需要解决挑战高难度的头部平衡、搬运球形物体任务。Ollie顶球难,难就难在球是活动的,机器人还在移动,其间需要不断根据球体状态变化调整自己。有了触觉的支持,结合稳定的运动能力,Ollie 还可以挑战高难度的头部平衡、搬运球形物体任务,充分利用球体与机器人表面的接触信息,结合自身姿态传感器和关节电机编码器的数据,实现了上身物体操控能力和下身移动平衡能力的完美结合。

Ollie 利用新型触觉传感器感知球的相对位置与运动状态,并实时处理数据,控制自身在不同地形上实现平衡稳定行驶的基础上,还能保持球不掉落。其背后的领先性技术,为移动机器人提升复杂场景下的自身移动与物品操控能力打下了坚实的基础。

正是以上三项关键技术,使Ollie得以在各种运动姿态和环境下把球稳稳顶住。不过,触觉感知及相关衍生技术的意义不止于此。加入新型触觉传感器后,Ollie可以用自己的皮肤来感受外界的接触信息,包括对触碰方式、触碰力度、触碰方位、触碰轨迹形状的感知和识别,并以不同方式作出回应。目前,它已能根据一次触摸,识别对象的方位:

画个圈,也能识别图案,且有样学样转一圈:

感知与认知技术是机器人得以安全、高效、自主运行的基础。近年来,计算机视觉领域发展迅速,取得了不少可以媲美甚至超越人类的成果。相对而言,触觉感知技术发展相对缓慢,一定程度上制约了机器人能力的扩展。如何在人机交互、运动控制和灵巧操作等应用场景中让机器人具备接近人类水平的触觉能力,成为近年的研究热点和技术挑战之一。

02

机器人触觉皮肤

Design by:香港城市大学、香港大学、CMU和南方科技大学的科学家


你见过能灵活夹取鸡蛋、可取可放的机器人吗?


不仅如此,甚至还能穿针引线:


就算是往它拿着的瓶子里倒水,也不会掉:

这是来自香港城市大学、香港大学、CMU和南方科技大学的科学家,联手打造出的一款机器人触觉皮肤,效果堪比人类皮肤——不仅可以精准感知到力度方向和大小,还能准确定位外界刺激的位置。目前,这一研究成果已登上Science子刊《Science Robotics》。

首先,这种磁性皮肤,用到了一种基于磁性薄膜的触觉传感器,来感知力的大小与方向。这种触觉传感器的核心,由一层经过单面多级正弦磁化的磁膜、以及嵌在印刷电路板上的霍尔传感器构成。

经单面多级正弦磁化后的磁体,又被称作Halbach阵列,它的特点是在削弱一侧磁场的同时,能极大地增强另一侧磁场。论文一作闫友璨发现,这种阵列还有一种特殊性质,使得磁膜能互不干扰地测量正压力和切向力,使得受力反馈更精确。

这种技术,多被用于磁悬浮列车、粒子加速器、电磁炮等领域(冰箱贴也是类似的原理)。当外力施加在磁膜上时,霍尔传感器将测量到由磁膜变形所引起的磁场变化,进而测量出施加外力的大小和方向。当然,磁膜和霍尔传感器之间,可以填充不同厚度和弹性的硅胶,来调节传感器的灵敏度和量程。

这种磁性皮肤,还用到了深度学习的算法,来更加准确地定位外界刺激。而且,与人类皮肤一样,这种定位的精度可以超越传感器自身的物理分辨率(两个传感单元之间的距离),即达到所谓的超分辨率。磁性皮肤会先通过霍尔传感器,大致分析出小球的施力位置在S5领域的右上角。

然后,再通过神经网络进行定量计算,将小球的接触位置定位到S5右上角的坐标(X,Y)处。这种方法确认的定位精度,可以达到0.1毫米,分辨率为6毫米传感单元间距的60倍。这个触觉皮肤,不仅能实时反馈受力情况、自适应抓取易碎物体,还能根据受力变化和定位精度,及时调整力的大小和方向。例如,在夹取鸡蛋的时候,如果遇到人类外力扯拽,机械手则会自动增大夹持力;而如果松手的话,机械手也会逐渐松开夹爪,避免鸡蛋被夹碎。

这种根据力反馈,来改变施力大小的实验,在注水实验中体现得更加明显。如果有了力反馈,夹爪在夹住瓶子的时候,就能根据瓶子注水的重量来改变用力大小,使得水瓶不至于滑落。但如果关闭这种能反馈力度的触觉功能,瓶子注水到一定程度,就从夹爪中滑落了。

不仅受力大小、方向的反馈非常精准,这款触觉皮肤对外界刺激的定位,也非常精确。

例如,通过远程按压触觉皮肤,就可以遥控机械夹爪,轻轻松松将发丝细度的针线穿过针眼。据论文作者表示,他们利用深度学习,将超分辨率提升到了60倍,堪比人类皮肤约40倍的超分辨率。作者表示,这款皮肤极大地减少了机器人皮肤中的传感单元和布线,提升了智能皮肤的易用性。或许,将来用上这款皮肤的智能机器人,也能拥有和我们一样的触觉了。

03

触觉传感技术

Design by:北京航空航天大学

北京航空航天大学的一个研究团队最近开发了一种新的触觉传感技术,能够让机器人拥有像人一样的触觉,感受到物体表面的纹理是什么样的,还能感受到物体有多硬。这项技术可以应用于由柔软材料制成的机器人上,为仿生假肢和类人机器人的制造提供帮助。研究者称该研究的灵感来自于人类及哺乳动物的本体感觉机制,这是一种让人类及哺乳动物能够感知或意识到自身位置和运动的生物机制。研究团队对他们创建的原型系统进行了一系列测试评估其触觉传感技术,发现该系统在物体纹理和刚度识别方面分别达到了100%和99.7%的准确率。该研究已在论文预印本发布平台arXiv上预发表,论文题目为《用肌腱驱动的软机器人手指进行触觉感知(Tactile Sensing with a Tendon-Driven Soft Robotic Finger)》

在过去,机器人研究者通常不会将本体感觉与触觉相关联,因为人类的本体感觉机制并不会有特别精确的反馈。然而工业传感器比人类本体感受器官灵敏很多,将它们用于机器人手指可以帮助研究者收集更精确的触觉反馈。北航的这个研究团队创建的机器手原型系统由线性执行器(linear actuator)、肌腱/电缆(tendon/cable)、应变传感器(strain sensor)和一个软体机器人手指组成,另外还有一个用聚氨酯制成的套子套在在手指的末端,以模仿人的指尖。

该研究团队将传感器嵌入机器人的肌腱上实现新的触觉传感方法,这是一种前所未有的方式,经过试验他们发现这有很高的应用潜力。将来,他们开发的这种系统可以用于开发更加先进的机器人和假肢。这些机器人和假肢可以拥有触觉并利用本体感觉反馈,而无需与物体表面进行完美或精确的接触。

柔软材料在采集触觉信息方面有着较明显的优势,并且由于其自身柔软的特性,与刚性材料相比更加适合用于制造仿生肢体和类人机器人。在过去让软体机器人拥有触觉是一件较为困难的事,而该研究团队从人体和哺乳动物身上得到启发,巧妙解决了这一问题,让机器人手指不仅可以识别物体纹理,还能识别物体刚度。这一技术将被用于机器人开发和假肢制造上,让机器人和假肢也能拥有触觉。

04

皮肤VR

Design by:香港城市大学

在VR的世界中,使用者看得到3D的场景,也能听到来自四面八方的声音,甚至能操作抓取桌上的物体,但不得不说,虚拟世界中的交互相较于现实世界缺少了重要的一部分,那就是触觉。通过VR手套甚至是手势识别,用户可以在VR场景中看到自己使用“虚拟手”将物品拿起放下,甚至与虚拟世界中的人通过手势进行交互,但现实中,用户的实际感觉却是“抓了个空气”。

皮肤是人体最大的器官,但在VR技术上,皮肤相对于眼睛和耳朵则是相对未开发的器官。如今,触觉交互也逐渐被人们重视,但当前用于VR和AR上的触觉装置通常依赖于电动机施加给皮肤振动,使用者要穿戴上笨重的电线和电池才能实现触觉交互,这极大限制了应用。而香港城市大学的一位博士生导师及其团队研发了一个新的系统,这个系统可以无线接收指令,然后通过振动仿真“触感”,克服了笨重的缺点。使用者通过一片能贴在皮肤上的,又轻薄又柔软的器件,就能感觉到虚拟世界,甚至是远在千里之外的亲人传递来的“触感”。

皮肤是人类和现实世界的交互界面,越来越多的研究人员将电子皮肤视为让虚拟世界“触手可感”的突破口,但要想实现这一目标并不容易,这对电子皮肤的材质、使用便携度、传感的精确度等都是极大的考验。在沟通中,于欣格说“我们第一次提出了一种超薄电子皮肤形式的VR器件,这个器件就像我们的皮肤一样,具有触觉反馈功能。”它可以做成贴片式,也可以直接做成一件衣服。重要的是,它可以采用无线射频供电,因此,使用者也不用担心受到电线或电池的牵绊。

外观上,这个设备可以被看做是一块酷似人类皮肤的,透气、又可伸展的布料。它的表面以低模量的软硅胶覆盖,厚度只有3毫米,可以不借助胶带或绑带直接贴在皮肤上,也可以轻易取下来。此外,这个设备还能以织物形式做成轻薄外衣的样子,于欣格认为:“只要有需要,皮肤VR可以是任何形态。”

3毫米很薄,但其中却蕴藏了一个丰富的“技术天地”。“皮肤VR”内藏层层的装置与天线,为无线控制和充电系统提供支援。

“皮肤VR”还能在娱乐、远程医疗、健康、传感等领域发挥作用,在这些场景中提升使用者的感官体验。在社交通讯领域,“皮肤VR”可以使亲人和朋友远程“触摸”成为现实。在技术研发初期,使用者可以通过研究小组开发的一款软件实现这一目标。“皮肤VR”系统搭载了近场通信技术,远在千里之外的人通过抚摸和滑动屏幕,就能无限控制。

在娱乐方面,“皮肤VR”能让电子游戏玩家在佩戴时感受到战斗类游戏中的攻击。于欣格此前也举例说明:“这就类似在游戏中,你的角色和别人对打,对方打你一下,你感受到了他传递给你的攻击信息,并对这种攻击信息作出反馈,再回打对方一下。这个有来有回的过程构成了一个传感闭环。”

此外,它还能在远程医疗方面提供帮助。举例来说,在使用手术机器人进行手术时,医生很难直接获取手术的实时信息,比如“是否切到了正确位置、下刀的轻重”都只能通过数据获知。如果把这套触觉反馈系统应用到操控手术机器人的医生身上,医生就可以获得更多的触觉信息,手术的进行也会更准确。在另一个场景下,如果医生能在做临床手术前,通过佩戴“皮肤VR”进行模拟手术训练,则可以提前尝试手术中存在的各种情况,如果手术姿势不对,设备会反馈给医生进行提醒,也是很有意义的。


素材来源:

1.https://cloud.tencent.com/developer/article/2116819

2.https://zhuanlan.zhihu.com/p/353462107

3.https://new.qq.com/rain/a/20210806A0FYTM00

4.https://www.163.com/dy/article/G1SGNE2L051180F7.html

版权说明:本文素材来源于网络



 
          
编辑EDITOR辛靓
审核REVIEWER杨洋

本文来自微信公众号“信息与交互设计研究所”(ID:gh_c1cd7847b233)。大作社经授权转载,该文观点仅代表作者本人,大作社平台仅提供信息存储空间服务。