中国科学家提出元宇宙新利器，可实现全场景的空中手写，显著提升空间磁场动捕精度

继 2021 年的一项“元宇宙”成果之后，上海交大陈东尧团队又打造出磁场传感器的自动校准技术 MAGIC，实现了磁场传感器的自动校准。

图 | 陈东尧（来源：陈东尧）

论文评审专家认为，MAGIC 扫清了磁场感知发展过程中的一只“拦路虎”——磁场传感器校准问题，并认为该工作第一次展示了可控磁场、以及自动触发机制，为后续传感器的校准提供了新思路。

在 AR/VR/XR/Metaverse 领域，经过 MAGIC 校准的磁场数据，可用于更轻便、不受视线遮挡影响的纯手势交互，从而极大提升磁场感知的普及性、以及用户体验的沉浸感。

例如，如果你试玩过 VR，就会体会到在虚拟世界中“输入文字的痛”。那么，如能实现轻便、全场景的空中手写，将会极大促进沟通效率。

针对这一应用，课题组尝试使用磁铁来书写常见的英文字符，并用通用的机器学习引擎来进行分类。

然而，要想真正普及这一应用，对于系统的鲁棒性自然有很高的要求。为了验证 MAGIC 的效果，研究人员在手写过程中加入了磁场扰动。

如下图下半部分所示，在磁场扰动的影响下，书写轨迹产生了显著的扭曲，而之前训练的手写引擎分类器仅有 12.8% 的分类精确度。通过 MAGIC 的校准后，研究人员惊喜地发现精确度直接提升到了 90.3%，证明了 MAGIC 在显著提升空间磁场动捕精度上的“本领”。

图 | MAGIC 可以校准磁场移动轨迹

能量开销极小，总能耗仅为 0.108J

据悉，磁场感知是一种快速兴起的新型交互技术，代表性应用场景包扩高精度姿态追踪、人机交互、以及触觉传感等。

用户通过佩戴小巧的磁场传感器以及永磁性物质，来实现精密的动作捕捉，从而实现 AR/VR/Metaverse 下的纯手势交互。

相较于其他交互方案例如视觉和惯性感知，这项技术主要借助多个磁传感器在近距离范围内捕捉磁场的变化。因此，该技术路线拥有不受视线遮挡影响、高精度、以及零漂移等显著优点。

图 | 磁场感知的应用场景示例，该例子基于陈东尧团队提出的 MagX 系统（2021 年 MobiCom），注意精准的手势感知实现了大小跳的控制

然而，对于现实生活中的干扰比如硬铁和软铁效应，磁传感器显得十分敏感。日常生活中的电子产品比如手机、耳机甚至铁磁性家具，都会给其带来干扰。

原因在于，这类物品会造成空间中的磁感线发生畸变，也就是硬铁干扰和软铁干扰会影响到磁场传感器的读数。对于精度要求较高的交互应用来讲，这一影响往往是灾难性的。

在已有的技术方案中，用户需要频繁地执行繁琐而冗长的校准流程，这严重地限制了基于磁场感知的实用性。例如，Google 公司建议用户在手机磁场传感器也就是罗盘精度下降时，通过“绕 8 字”的方法来校准磁场传感器。

这一校准动作的核心思路是：在校准过程中，磁场传感器应当全面地感知各个方向的磁场强度，进而明确当前磁场传感器在所有方向上的数据读数，最后得出一个参数矩阵。

对于实际使用过程中的传感器读数，这一参数矩阵可对其进行归一。然而，这一过程存在两大关键问题：其一，校准过程繁复，通常耗时 10 秒左右才能采到足够丰富的校准数据；其二，校准性能往往取决于用户的动作是否规范，因此最终校准后的性能并不稳定。

图 | Android 手机中所建议的“8 字”校准法

而针对霍尔效应磁传感器阵列，MAGIC 则可同时自动校准软铁和硬铁干扰。研究中，该课题组首创性地设计了极小型化的电磁线圈，以此来产生可控的磁场，对于磁场传感器受到的软铁干扰，可以进行定量的修正。

同时，通过解析空间中的磁场构成，MAGIC 还可修正硬铁干扰的影响。为了尽量减少用户的干预，该团队设计了一个新型自动触发模块，这一模块的引入让 MAGIC 能够根据周围的磁场变化，来判断是否需要启动校准流程。

与传统的手动校准方法不同的是，在最小的用户参与度之下，MAGIC 实现了卓越的校准性能，可用于追踪应用场景。

详细来讲，在自由书写的应用场景里，MAGIC 可以帮助磁场感知周围环境，从而在变化的环境磁场中，依然能够维持追踪精度。

实验中，在一个二维平面中，该团队使用 MAGIC 为单词“MobiCom”绘制预定的轨迹，并放置了一个常见的骨传导耳机来模拟磁场干扰。

结果发现，附近的耳机会严重干扰轨迹的追踪，而 MAGIC 则能校准误差，从而修正变形的轨迹。整个实验中，MAGIC 的误差始终低于 1cm。通过实证，课题组还展示了 MAGIC 的极小能量开销，总能耗仅为 0.108J。

图 3 | MAGIC 的校准性能

近日，相关论文以《磁跟踪的自动校准》（Automatic Calibration of Magnetic Tracking）为题收录于网络系统领域顶级会议 ACM MobiCom 2022，陈东尧担任通讯作者。评审过程中，专家们普遍认可了磁场感知这一新型感知方式在现实生活中的的重要性。

图 | 相关论文（来源：https://dl.acm.org/doi/10.1145/3495243.3558760）

“那股兴奋劲似乎就在昨天”

2021 年，该团队曾发表过一篇关于手部动作捕捉的论文。自那时起，便开始着手构思本次项目。

陈东尧说：“当时我和同学们都非常认可磁场感知的精确性能。此前，当大家起到自己设计的算法可以精确跟踪永磁铁位置的时候，那股兴奋劲似乎就在昨天。但在同时，我们也深刻感受到了校准这一步骤的繁琐。例如，需要手绕‘8 字’的动作。”

结合课题组在磁场传感器校准上积累的经验、以及相关的论文调研，一个很直观的想法就是“如果磁场变化是已知的，那我们就可以实现校准”。

正是这个非常直白的想法，引出了设计电磁铁的设计思路。思路很直观，现实却充满坎坷。

例如，研究人员尝试了多种电磁铁的设计构型，通过控制变量的方法去调整多个参数，比如漆包线的阵列波导光栅、匝数、材质、电流等。

同时，其希望使用尽量小的电流来驱动更强的磁场，依据安培定律这样需要更多的匝数，但这又会造成提升阻值导致发热问题。

“这些迭代过程可以论文图片中窥见一斑。尝试多种方案之后，我们采用了靠近磁场传感器的 form factor。这一方案在优化了磁场强度和能耗的同时，还为后续技术的迭代指了一个潜在的方向，即将线圈与霍尔磁场传感器融合的 MEMS 方案。”该团队表示。

图| MAGIC 系统迭代流程。（A）第一版大线圈设计，由于重量和构型放弃；（B）设计不同型号的线圈；（C）最终定型的线圈构型；（D）MAGIC 自动校准系统与磁场感知系统结合的形态

对于研究过程，陈东尧表示：“这是我第一次完全以导师身份带领同学们走了完整的科研项目流程。从详细刻画 idea 到构筑 solution 再到做实验验证，直至最后的论文撰写和投稿，中间也遇到了疫情的插曲，但始终和同学们保持密切沟通和配合，其中包括见缝插针的实验和夜以继日的讨论。”后续，他们也将再接再厉，将在更“恶劣”的工况下测试磁场传感器的性能，例如在机器人使用场景下如何获取精确的运动轨迹。

据介绍，陈东尧成长于河南郑州，本科毕业于上海交大，在美国密西根大学安娜堡分校读完硕士博之后，他选择回到母校任职，目前在上海交大电子信息与电气工程学院担任助理教授。

参考资料：

1.Wang, M., Luo, Q., Iravantchi, Y., Chen, X., Sample, A., Shin, K. G., ... & Chen, D. (2022, October). Automatic calibration of magnetic tracking. In Proceedings of the 28th Annual International Conference on Mobile Computing And Networking (pp. 391-404).

-END-