手势交互改变生活

正文字数：2999字

图片总数：26张

引言：近年来，手势交互，已在人机交互、虚拟现实等领域得到了广泛的应用，引起了研究者的关注。特别是随着先进人机交互技术的出现以及计算机技术（特别是深度学习、GPU并行计算等）的飞速发展，手势理解和交互方法取得了突破性的成果，引发了研究的热潮。今天让我们来看看一些手势交互案例。

Motion Sense 技术

Designer:谷歌

手势交互｜智能手机

2019年 10 月 15 日晚，谷歌在美国纽约举办了硬件产品发布会，一众产品线获得更新，备受关注的 Pixel 4 手机压轴登场，凭借 Soli 毫米波雷达实现了全新的 Motion Sense 技术，使得独特的隔空手势操作终于成为现实。

全新的 Soli 雷达传感器是 Pixel 4 系列的最大亮点，谷歌将它带来的一系列新功能统称为 Motion Sense（运动感应）。Soli 雷达的体积只有毫米级别，放在小拇指指尖上都绰绰有余。它可以发出毫米波感知用户的隔空手势操作，无需触摸屏幕，用户就能通过左右挥手等一系列手势控制手机，比如切换音乐，和手机上的皮卡丘互动，静音手机或者调节闹钟声音大小等等。相比普通传感器，毫米波雷达的能量更集中，方向性更强，抗环境干扰，能够捕捉亚毫米级别的动作变化。

Soli 项目的开发者认为，无需触碰的手势操控更符合人类直觉，可以进一步简化手机的操作流程，甚至是在用户尚未完全接触手机的时候就能感知用户的动作。为了避免误操作，开发团队进行了非常细致的微调，像是无意间用胳膊划过手机上空并不会触发控制指令。

车载交互中控屏

手势交互｜汽车｜智能

汽车手势交互属于新兴的行为设计门类，具有巨大的发展潜力。与人脸识别、HUD显示和语音命令等先进技术相结合，将更好的应用于汽车交互。在即将到来的环境交互时代，为了更有效的沟通技术与人，手势作为人们与生俱来的一种自然交互方式，不依赖界面等第三方设备，能够最大限度地减少认知和视觉沟通成本，在环境交互时代具有巨大的发展潜力。

宝马7系采用了第一代手势控制技术，这一创新技术令人机交互方式再次升级，进一步解放了驾驶者的双眼，降低了疲劳程度，也让操作更加简便。

目前这套系统支持多种预设手势控制，通过中控台上方的3D传感区域检测和识别手势动作。通过左右挥手、空中轻点和横扫、手指画圈以及两个手指的平行或斜向拖曳的一系列动作，用户可以接听、拒听电话、控制音量，或进行翻页查询交互界面信息、缩放地图页面、转动摄像头视图等操作。

在宝马“手势控制”成功应用之后，拜腾汽车也想在他们大屏上应用手势（控制），因此与uSens凌感科技合作“三维手势控制”，应用到了车载手势上。提供“语音+触摸+手势控制”三种交互方式。其中，方向盘上8.8英寸的液晶屏可以触摸控制，1.25米的大屏则采用独特的手势控制技术。

在车内任何一个位置都可以用简单易行的手势控制大屏，对其信息进行打开、关闭、挪动等，还可以用手抓取一个地点，抛进大屏中央的地图里，即可启动导航。

君马SEEK5的手势控制的识别区域在车辆的中控台出风口正下方的区域，驾驶员只要在这一区域做出手势，车辆就可以自动识别。识别距离根据用户在座舱的位置设定为15cm-35cm。

它可以识别的手势可能有8种，主要集中在多媒体系统的控制方面。将手心向上抬手的姿势，即可提升车载音响的音量。将手心向下，做出下压手势的时候，车载音响的音量将降低。做出胜利的V字形手势，手指向前的话，将会暂停或者播放内容。右手攥拳，拇指伸出，手心向下，这个手势意味着上一曲。右手攥拳，拇指伸出，手心向上，这个手势意味着下一曲。当来电时，驾驶员右手做出数字6的手势，手心向上的话，就是接听电话。而手心向下的话，就是挂断电话。

New Instruments and Gestural Sensors for Musical Interaction and Performance

Designer:Joseph A. Paradiso

交互音乐系统｜手势映射｜电场感应

关于“大脑歌剧”的乐器和互动装置，“大脑歌剧”是一个大型的、巡回的多媒体制作，观众首先在各种新颖的、互动的工作站中探索一套音乐模式，然后在实际演出中体验它们。“大脑歌剧”的大部分装置是为普通大众设计的，采用了不同的手势测量和映射，让未经训练的观众能够直观地与不同复杂程度的音乐和图形进行互动。

脑歌剧大厅桁架结构的俯视图，这是1996年11月在东京运行前组装的。所有的电子设备都安装在桁架的顶部，只留下交互界面(比如右下角的“节奏树”袋子)对参与者可见。

所有组件都安装在一个可调节高度的聚丙烯框架上，该框架适合于头部，很好地将用户封装在一个有点私人和隔离的环境中。一个简单的17英寸x 23英寸的开关垫安装在每棵说话树下的地毯下。当有人走到树下时，开关垫关闭，桥接PC串口上的一组轮询线。当这个事件被检测到时，一个MacroMind Director序列就开始了，其中包括马文·明斯基的视频片段，他的《心理社会》(Minsky 1985)启发了《大脑歌剧》的剧本和整体概念。在整个对话中，明斯基的形象向用户提出了几个问题;他们的回答会被记录下来，并在主机电脑上建立索引，然后通过网络传输到剧院里的采样库，以便在随后的演出中回放。在Brain Opera中总共有15个会说话的树，其中12个运行着不同的Director序列。虽然与明斯基的对话可能很有趣，但这只是每个树中可用设施的一个简单应用;其他一些更吸引人的体验也正在开发中。

倒回一组更简单的图像。歌声的音频和视频反馈被证明是非常有效的;音调和视觉奖励鼓励甚至贫穷的业余爱好者尝试一个合理的音调。在大脑歌剧中有3棵唱歌树，每棵树运行不同的图像序列。

不幸的是，当多个手指接触屏幕时，它不能正常工作，但用户很快适应了这个缺点，并没有困难使用这个有点无处不在的界面。由于屏幕产生的模拟信号总是会做出响应(包装好的数字控制器在只有一个手指接触时产生数据)，因此可以修改触摸屏，使其检测和响应多手指输入，尽管有些模糊，但对简单的音乐解读仍然有用。

鼓垫与手势装置，手势墙使用发射模式电场传感器(Paradiso和Gershenfeld 1997)来测量用户在投影屏幕前的位置和身体运动。左侧所示为其运行状态;在大脑歌剧中有五个手势墙。

当信号通过脚部传输到人体时，鞋底的复杂阻抗对耦合效率有很大的影响，从而影响信号强度。这不仅取决于鞋底的大小和厚度，而且最重要的是取决于鞋底的材料和成分，因此每双鞋的差异很大，因此需要补偿。为了解决这个问题，我们让玩家在踩上传输电极后，首先将一只手平放在校准板上，测量通过鞋底流入身体的电流。在校准期间(需要不到一秒的时间)，变送器的输出电压被伺服控制，以驱动该电流到一个固定的参考点，从而消除鞋阻抗的影响，使每个人或多或少地具有相同的效率变送器。

在观众面前演奏的“大脑歌剧”部分是由一个三人组演奏的，每个人都使用不同的定制电子乐器。其中之一，“手势树”(在图14中可见)，是上一节描述的两种交互工具的简单混合。一袋“节奏树”(Rhythm Tree)垫可以实现敲击和触觉触发声音，然后通过挥舞手臂绕过安装在上面的四个“手势墙”传感器(表演者站在发射板上)，以各种方式对声音进行修改。虽然这种乐器通常是徒手演奏的，但有些表演者使用金属鼓槌，手势墙的拾音器也会对金属鼓槌做出回应。