引言：多模态人机交互旨在利用语音、图像、文本、眼动和触觉等多模态信息进行人与计算机之间的信息交换。在生理心理评估、办公教育、军事仿真和医疗康复等领域具有十分广阔的应用前景。多模态交互方式复合机器人类产品的形态特点和用户期待，打破了传统PC式的键盘输入和智能手机的点触式交互模式。这一交互方式定义了下一代智能产品机器人的专属交互模式，为相关硬件、软件及应用的研发奠定了基础。
01
Quantum Metagloves
Designer: Manus
2022年3月26日，在游戏开发者大会（GDC）大会上，Manus 出了最新款VR手套——Quantum Metagloves。
全新量子磁性追踪：Manus之前产品主要基于IMU和弹性传感器进行追踪。新款Quantum Metagloves手套选择了一种全新的量子磁性追踪技术。这种技术，通过使用亚毫米级精确度的指尖追踪传感器，提供高保真的手指追踪。这些传感器没有漂移，并且不受磁力影响，能提供高度准确和可靠的手指捕捉数据。
新方案提供的手指追踪精度远超过以前产品，特别是在手指交互方面，如手指触碰其他手指或手掌的时候。高精度手指跟踪与触觉反馈技术相结合，用户可以在虚拟世界中感受到物体。
新型传感器及佩戴方式：一般运动捕捉手套都是通过在手套内安装各种类型的传感器，以提供手部和手指的跟踪数据。Quantum量子传感器被安装在指尖的夹子上，用户可以选择三种佩戴方式：
A、将“手指带”缠绕在指尖上手指胶带可以缠绕在指尖上，该方法提供了非常稳定的量子传感器安装。
B、将“手指帽”滑动到指尖上戴手指帽的方法是把它们滑到指尖上，这是一种更快地佩戴量子传感器的方法。指帽有三种尺寸可供选择。
C、戴类似普通手套的“内衬手套”。内衬手套可以像普通手套一样轻松佩戴，它提供了佩戴量子传感器的最快方法。
核心软件Manus Core：核心软件Manus Core是一个数据处理工具，用于接收Manus手套数据和SteamVR追踪数据，并将其以最佳方式输出到所需要的目标。使用本地或添加的插件，手指数据可实时流向Unreal和Unity引擎，或是导出到Blender、Maya等软件中。Manus Core兼容各种AR/VR、游戏应用或是动捕动画。有了Manus Core软件、集成和插件，便可以在任何产品线中使用最先进的虚拟数字手。
高级手部解算器：高级手部解算器和生物力学模型是Manus Core的一部分，是Manus多年研究和开发的成果。Manus高级手部解算器采用量子追踪传感器提供的精确指尖位置，并将其应用于Manus基于研究的生物力学手部模型上，以精确地重新创建一个数字手部骨架。
Quantum Metagloves还在手背搭载了一个磁性底座，每个手指的尖端则配备一个感应模块。这样，手套便可以检测手指的绝对长度和宽度，而且在与用户基本骨骼模型相结合时，系统可以实现更为精确的手部追踪。
与Manus公司之前的产品一样，Quantum Metagloves主要用多种企业场景。例如，用于动画制作。Manus Quantum Metagloves的精确量子跟踪，能够最精确地捕捉手指数据并将其直接导入虚幻、统一、多边形、MVN动画之中。捕捉每一个细节动作，并不会失去动作的逼真感觉。它可以用人类的情感塑造虚拟世界，创建出具有人类情感的令人惊叹的精美动画。
02
多模态交互智能座舱
Designer:均胜普瑞
多模态交互创造智能座舱新体验，解锁高阶座舱交互，智能表面应需而生。
炎炎夏日，有哪几种开空调姿势？可以使用触屏、手势识别或语音等多模态交互方式来控制舱内温度，又或上车前通过手机预先设置温度，又或通过传感器让车辆自主控温。
市面上热门高端智能车型基本搭载触控、语音、手势和生物识别等至少三种以上的交互配置。多模态交互通过多种方式组合，集成于座舱域控制器，实现高效智能交互。
智能座舱交互系统是进入舱内首先接触或使用的功能部件，包括中控屏、信息屏、仪表屏、HUD、副驾屏、流媒体后视镜、后排娱乐屏和车门屏等，以及各类座舱虚拟助理等。多屏互联化方案正逐渐成为主流。
为了兼顾交互智能和驾驶安全，基于领先的智能表面集成技术，商家开发新型触觉反馈智能表面，更直观地执行交互和显示，可相应地减少分心驾驶，让车辆开起来更安全了。
此外，力反馈智能表面还能结合整车厂商个性化需求，对反馈的声音、触感等进行定制。
从最早的机械电子到电容式控制表面，再到如今集成于AI芯片的智能表面，都进行了很大的突破，例如带OLED显示的4向滑动选择按钮开关，享负盛名的宝马中控iDrive，或近期规模交付的保时捷纯电车型中控，以及福特悬浮式力反馈旋钮与中控触屏......
03
多模态四足机器人Max
Designer:腾讯Robotics X实验
腾讯正式发布首个软硬件全自研的多模态四足机器人Max。
腾讯表示，当前机器人（狗）移动能力研究，主要有足式和轮式两大主流方向。足式设计在复杂环境里，以足式为主，像足类动物一样可以跑、跳、翻越障碍，需要适应复杂的地形和环境；轮式设计在城市里，接触的主要是平坦道路，这个时候可以滑行的轮式机器人就更有优势。
机器狗Max是二者的结合，采用了腾讯Robotics X实验室原创自研的足轮融合方案，也就是有腿又有轮。在不同的环境，可以切换不同的形态模式。
特殊的轮式结构，将机器狗轮式运动的速度提升数倍，最高可达25km/h。机器狗Max依托于腾讯自研的软硬件系统框架，实现亚毫秒级力控，大大降低了软硬件系统延迟。而且Max还延续了“大狗狗”Jamoca的鲁棒控制算法，让Max拥有发达的“小脑”，和优秀的平衡能力。所以它还可以跳得高！立得稳！
Max综合了NLMPC（Nonlinear Model Predictive Control，非线性模型预测控制）算法、QP（Quadratic Programming）优化、柔顺控制算法，完成了从趴地状态到双轮站立的起摆、平衡抗扰、落地收腿控制。
Max基于自研的鲁棒控制算法，实现平均计算耗时小于0.3ms，拥有摔倒自行恢复的技能，即使遭受大冲击摔倒，也能自行恢复正常运行状态。
Max实现从四足到双足的站立、移动，能完成后空翻、摔倒自恢复等高难度动作。并有较好的平衡能力，在移动稳定性和移动速度上做了很好的兼容。表示未来将有望在机器人巡逻、安保、救援等领域发挥作用，成为人类的智能伙伴和生活助手。
素材来源：
1.https://mp.weixin.qq.com/s/wQpX96rP3w-2HT2t1PLPcQ
2.https://mp.weixin.qq.com/s/gBn89KoVw7flQrq7rQvtVQ
3.https://mp.weixin.qq.com/s/t_2oCYbIP5_gOxp2AiIrww
版权说明：本文素材来源于网络，如有损害或影响您的合法权益，请积极与我们联系处理
本文来自微信公众号“信息与交互设计研究所”（ID：gh_c1cd7847b233）。大作社经授权转载，该文观点仅代表作者本人，大作社平台仅提供信息存储空间服务。
