AR/VR+手势交互，世界尽在指间

发表于

正文字数：3108字

图片总数：26张

引言：AR、VR场景的交互预期输入方式是非接触式的。在虚拟的环境下，如果采用鼠标键盘触摸屏的方式，依靠某一介质实现操控，那么就与AR/VR所追求的沉浸式体验背道而驰了。交互的输入可以是手、脚、眼睛、声音、甚至心灵感应，其中手势交互是人机交互的一大重要方向。接下来，跟着小编一起来看看吧！

RealitySketch

Design by:卡尔加里大学、 Adobe 研究中心和科罗拉多大学博尔德分校

近日，卡尔加里大学、 Adobe 研究中心和科罗拉多大学博尔德分校的研究人员创建了一个增强现实（AR）界面 RealitySketch ，该界面可用于绘制交互式图形和可视化、可响应的草图。

近年来，交互式动态草图一直是人机交互研究领域的核心主题之一，它通过对用户进行交互式响应，使人们能够通过一个动态的视觉媒介进行思考和交流。

如今，该研究团队开发出了更加丰富的动态素描技术词汇，可以动态地实时创建交互式的动画内容。RealitySketch 平台不仅允许用户创建静态草图，还可以嵌入动态图形和交互式图形，这些图形可以与用户周围的真实对象进行绑定，并对用户的动作做出反应。

‍

图 | RealitySketch 可以使用户通过实时草图绘制实现钟摆运动等物理现象的可视化

研究者之一 Ryo Suzuki 表示：“我们的项目初衷很简单，就是通过 AR 交互式草图绘制，使用户能够将现实世界进行可视化描绘。”

由 Suzuki 及其研究团队共同创建的 AR 平台 RealitySketch，允许用户制作动态和响应式的图形，这些图形可以在黑板、墙壁或现实世界中的其他物体上进行可视化展现。该平台为学生们的物理学习提供了一个全新的窗口，可以帮助物理老师以动感十足的方式，让学生直接观察运动中的物理现象，从而可以帮助学生对课程内容有更深的理解。

动态交互式可响应的图形创建

RealitySketch 基于苹果公司的 AR 开发平台 Apple ARKit 研发，它可以将绘制的动态草图嵌入到真实环境中。用户首先通过手指或数码笔在触摸屏上绘图，然后将他们绘制的草图中的元素叠加到真实世界的摄影机视图上。

图 | 嵌入式和响应式草图的潜在示例(绿色元素表示虚拟世界中的对象，黑色元素表示现实世界中的对象)

RealitySketch 最独特的功能是：它利用交互技术，根据真实世界运动的草绘元素进行实时的动画制作。该方法可以保障用户以用户以实时和即兴的方式，按照以下 4 个步骤来实现图形的创建：

对象跟踪：用户首先要在真实世界的场景中，指定要跟踪的视觉实体（例如，一个物理对象或一个骨骼关节）；

参数化：然后，用户通过绘制直线或弧线来定义感兴趣的特定变量，从而对跟踪的实体进行参数化；

参数绑定：用户将这些变量绑定到草图元素的图形属性上（例如，长度、角度等），如此一来，当现实世界的变量发生变化时，就可以实时跟踪其动态行为；

可视化：用户还可以通过几种可视化效果来对现实世界的运动进行交互、分析和可视化处理。

Suzuki 解释道：“RealitySketch 集成了物体追踪和基于 AR 的可视化。首先，它利用计算机视觉技术来跟踪物理对象。当用户在 iPad 上点击一个对象时，系统会根据物体的颜色来跟踪该对象。所有的草绘元素都被绑定到了这些被追踪的物体上，因此用户对物体进行移动、抛出等操作时，草绘的元素也会根据预期表现出的运动进行动画处理。”

AR 作为动态计算媒介，潜力巨大

疫情当下，很多学生都在网上上课，RealitySketch 可以使远程教学更具吸引力。例如，它允许教师录制动态的物理实验视频，这样学生们就可以更好地理解老师在讲课中描述的物理概念和现象。

除了在课堂环境中，在其他应用领域中也具有强大潜力。例如，他们展示了体育教练可以使用它来生成与健身有关的数据，并对用户进行实时的可视化处理和分析。

图 | 为 RealitySketch 提议的应用场景的草图

研究人员向篮球运动员展示了篮球的实时运动轨迹，通过对特定的身体姿势制作可视化界面，使他们更加清晰地看到得分过程。

Suzuki 表示：“我们相信这项工作将激发更多支持沉浸式创意的研究和产品，并将充分实现 AR 作为动态计算媒介的潜力。”

Portal-ble

Design by：布朗大学人机接口小组

布朗大学人机接口小组研发的一种低成本移动端AR手势交互方案：Portal-ble。这是一个可以让手机用户用手去触碰AR物体的方案，将智能手机屏幕变得仿佛是AR世界的入口，让你可以用手进行堆积木、摆放和旋转家具，甚至在空中绘画等操作。

布朗大学的研究团队希望这款名为Portal-ble的新系统可以成为设计师、艺术家、游戏开发者以及其他用户进行增强现实实验的工具。Jeff Huang表示：“AR是一种优秀的交互新模式。我们希望开发出赋予AR便携性的产品，从而允许人们可以在任何地方使用，从而摆脱笨重的头显。我们同时希望人们能够随时随地用双手自然地与虚拟世界交互。”

其硬件方案包含一个Leap Motion手势识别模块、一个Intel计算模块（电脑棒）、一台智能手机、一个5V 4A移动电源以及便携包和安装架。

而其原理并不难，其实就是用户一只手拿着手机来查看AR，而连接在手机上的Leap Motion红外光传感器会追踪另一只手，从而实现手势与AR交互。其优势在于不需要AR头显、追踪手套、摇杆、AR标记，用手和手机就能进行交互。

不过，将物理原理应用在手势交互上并不容易，有时候用户容易将手放错位置，甚至直接将手指插入AR物体中。为了达到最自然、逼真的体验感，科研人员尝试从交互感知（手触碰AR物体的自然感）、手势操作（成功抓取和旋转AR物体）、行为理解（适应将智能手机作为“窗口”来看AR）这三方面来优化Portal-ble的交互和界面。

除了调节适应手势操作外，布朗大学的科研人员还加入了感知反馈机制，比如用点亮AR物体、手机振动等方式来提示手势的交互。

体感反馈方面，科研人员采用了一种延迟在25ms内的体感反馈方案，并将它用于两种不同的情况：展示交互状态的改变和虚拟物体之间的碰撞。这种体感反馈通过智能手机的震动来实现，它会提醒你的另一只手是否已经碰到AR物体，或者两个物体之间进入相撞范围（比如将AR杯子放到桌面上会产生震动）。

为了降低用户完成任务的难度，科研人员还加入了适应机制，重新设计了碰撞识别结构，提高了系统的容错率，让你可以自然、快速完成任务。

而为了让用户适应与AR的交互，Portal-ble会通过测试了解用户的臂长，并且在用户手掌到达追踪极限时用视觉反馈来提示。

不过目前Portal-ble还是一个比较复杂的方案，对于普通手机用户来讲使用起来比较复杂。未来，科研人员计划增加Portal-ble系统中支持交互的AR物体，优化交互，并开发全新的任务和内容，甚至希望简化整个方案，将它集成在手机中。

Constraining Dense Hand Surface Tracking with Elasticity

Design by:Facebook Reality Labs

手部追踪是FRL Research旨在提升技术交互亲民度的研究课题之一。从VR头显到AR眼镜，团队正在构建下一个能够让更多人受益的计算平台。手部追踪技术提供了最为熟悉自然的人机交互方式：裸手交互，从而为更多的人打开了沉浸式计算的大门。

截至目前，Facebook在Oculus Quest 2上适用的手势追踪技术，应该是目前消费级产品中体验最佳的手势设备。与此同时，在手势追踪方面Facebook仍然在致力于打造更好的手势追踪效果。

近期，Facebook Reality Labs发布《Constraining Dense Hand Surface Tracking with Elasticity》论文，重点描述了对于有遮挡、复杂性手势的追踪研究项目。

基于现有Quest中手势追踪效果下，一旦双手有重叠遮挡，效果就会大打折扣，而一些复杂性的手势更是难以实现。而最新的研究采用了Megatrack类似的方式，基于AI可精准预测手部各个关节的姿态。其中实现逻辑是，该方法基于虚拟手部模型，而非手部骨骼框架，好处是可以模拟手部的形状变化，另整体追踪效果更为逼真。