XR技术开放日：Rokid开放更多底层技术，Cocos发布XR开发引擎

文/VR陀螺

9 月 24 日，由 Rokid 和 Cocos 联合举办的“XR 技术开放日·开发者沙龙”在深圳成功举办，本次活动共吸引了约 200+ 行业开发者、业内人士到场参与。

来自 Rokid、Cocos 和网易的多位产品、生态、技术专家，从 XR 内容开发、AR 协同空间、XR 视听体验、XR 编辑器设计、AR 游戏、引擎工具和 XR 游戏运营等多个维度进行了主题分享，并与现场的开发者和行业人士进行了 Q&A 的互动。

本次大会还外设产品体验区，主要展示了 AR 眼镜 Rokid Air、Cocos 编辑器以及其相关开发内容，现场来体验的人络绎不绝，显得格外热闹，氛围感十足。

图源：Cocos&Rokid XR技术开放日

Cocos正式发布XR引擎

Cocos CreatorXR

国产化大趋势下，XR 内容开发工具紧跟其上。

9 月 23 日，Cocos 引擎宣布推出 XR 内容开发工具 Cocos CreatorXR，正式布局 XR 板块，满足更多开发者多元化的开发需求。

作为与 Unity、Unreal 并列的全球三大引擎之一，自 2011 年成立以来 Cocos 一路高歌，据了解，截至今年 Cocos 引擎已积累 160 万注册开发者，30 万月活跃开发者，覆盖设备超过 16 亿。最近在社交媒体爆火的《羊了个羊》便是使用 Cocos 开发的作品，此外，《梦幻西游手游》、《开心消消乐》、《热血传奇》、《剑与家园》等作品也均使用 Cocos 开发。

一直以来作为传统游戏引擎，Cocos 也在寻求突破和未来增长点。而这个点，落在了被称为“下一代计算平台“的 XR 上。不久前， Cocos 曾与百度希壤发布一站式元宇宙内容解决方案百度希壤 Lite，探索新领域之心初显。

而这次，Cocos 更是将内部已筹备良久的 XR 开发工具“Cocos CreatorXR”正式面世。

据了解，继承于 Cocos 引擎十余年的技术沉淀与研发经验，Cocos 已完成 XR 核心技术积累，并做到了跨平台、组件化、轻量化与可视化。Cocos CreatorXR 不仅能帮助开发者快速转化存量内容，OpenXR 标准的接入更解决了硬件平台耦合、标准差异化问题，为应用的广泛传播打牢基础。

在底层层面，Cocos 小包体与独特的 Cocos Runtime 架构能很好的支持原子化应用的广泛传播，其即点即玩的特性也能进一步拓展内容的传播渠道，将 XR 内容融入到电商、娱乐、办公、营销、生活服务等方方面面中去。

Cocos CreatorXR

Cocos CreatorXR 中集成了 OpenXR 标准协议，兼容各种主流 XR 设备及其 Runtime，包括 Rokid Air、Meta Quest2、Huawei VR Glass、Pico Neo3、Monado 等，开发者一次开发就能够进行多设备跨平台部署。目前VR/AR品牌全面开花，而各家均有各自的开发SDK和交互方式，对于开发者来说，适配各家设备是一项极其繁琐且耗时耗力的工作。Cocos引擎的“一次开发跨平台部署”将大幅提高适配效率。

此外，Cocos CreatorXR 智能支持 GLES3、GLES2、Vulkan1.0、Vulkan1.1 等渲染后端，XR 应用启动时将根据打包选项采用当前设备适配的最佳图形 API；而基于 Web 端预览功能，开发者可以在 Web 端使用鼠标、键盘模拟头戴显示器、手柄控制器等组件，快速测试优化 XR 内容。

据称，当前版本的Cocos CreatorXR 已经具备相当程度的成熟度和可用性，如WAIC 线上VR版“元生无界”就是采用该工具开发。Cocos XR 产品经理翟昊宸认为：“存量项目快速转化、多平台适配、网页端快速预览、图形后端智能化是 Cocos CreatorXR 的四大特性优势。”

图：Cocos生态总监大表姐

Cocos 生态总监大表姐表示，我们非常看重 XR 产业的发展，希望软件内容生态也可以跟上。

Rokid 作为 Cocos 的深度合作伙伴，Cocos CreatorXR 更是全面集成了 Rokid Air 的内容开发环境，无需其他 SDK 接入，开发者就能将构建好的数字内容轻松发布到 Rokid Air 上运行。目前，基于 Cocos CreatorXR 开发的 AR 游戏《幽灵射手》XR 版已经正式登陆 Rokid Air 应用商店。

开放硬件底层技术、举办开发者大赛

Rokid内容生态的又一步

XR 内容生态的构建，不仅仅需要引擎开发工具与众多开发者的支持，还需要硬件厂商对应产品技术接口的支持。

当下的 XR 生态内容仍然以轻量应用为主，特别是于 AR 而言，但能够支持更自然的交互体验，更具开放性、社交属性，能提供更多价值的 XR 应用将是必然发展趋势。

本次开放日活动上，Rokid AR 软件研发负责人杨剑、应用平台产品负责人朱雷分享了 Rokid 在数字人、3D 内容创作、空间协同、视听交互、手势交互等方面为开发者带来的硬件层面技术支持。

图：Rokid应用平台产品负责人朱雷

在视觉方面，Rokid 推出了包括物体识别、手势交互、视觉定位等技术的视觉感知端云一体的 PaaS 平台。可以通过“视觉定位+语音+手势交互”的强强组合，支持开发者在文旅展陈、数字展厅、娱乐等方面突破物理空间限制，打造出能够实现移步换景等更具互动体验的应用。

据称，目前，这一能力已被运用到钉钉在 2022 秋季钉峰会上发布的 AR 数字展厅解决方案中，并且首个企业 AR 数字展厅也已在钉钉园区展厅落地。通过空间扫描对钉钉园区三维重建后，戴上眼镜即可在特定的场景中触发虚实融合的体验，如企业介绍、产品介绍的三维展示，甚至还能在空间中“召唤”出传送门，从现实进入到完全虚拟的空间。

在听觉方面，Rokid 自研 6DoF 空间声场技术，采用了 HRTF 和 3D 空间处理技术，以及针对距离的 EQ 补偿技术，渲染出因空间位置变化和遮挡带来的声音空间感的变化，为人耳带来更真实的听觉体验。这一能力已集成 SDK 对外开放，支持开发者在游戏、娱乐影音等应用中打造更具沉浸感的声音体验。

图：Rokid AR软件研发负责人杨剑

杨剑还分享了 Rokid 自研的 YodaOS-XR 操作系统、基于 Air/Air Pro 眼镜的 UXR SDK，以及全新升级的 Rokid 自研多人在线协同应用 MSpace，并正式对外发布 3D 内容创作平台 MStudio，邀请开发者一同共建 MSpace 生态。

除了系统层的支持，杨剑表示，基于 Rokid Air/Air Pro 眼镜等硬件设备，Rokid 还为开发者提供了UXR SDK，支持双目立体渲染、3DoF的头部追踪，以及多模态的交互。其中，交互方式可使用按键触屏、头控、手势、语音、鼠标、游戏手柄、虚拟手柄等；离线语音识别则支持中/英文指令；手势识别支持 4 种 2D 手势类型，以及 21 个关键点信息，支持左右手识别，并且内置了三种虚拟手柄类型可控切换。

MSpace 集成了数字人、空间协同等技术能力，其中数字人采用实时音频驱动，可以支持捏脸换装；空间协同则实现了低延时多人同步，支持模型互动、数字人表情和动作与真人实时同步等，这些能力都将通过 SDK 的方式提供给行业开发者，助力开发者突破行业技术难题，快速构建 AR 空间协同应用。MStudio 作为 3D 内容创作平台，可以为开发者提供在线 3D 模型。

在大力开放底层技术，打开更多开发自由度的同时，Rokid 还在前不久正式启动首届全球 AR 应用开发大赛。

大赛通过丰富的奖项设置、资源和商机支持等，鼓励更多开发者基于 Rokid 的开放能力与平台服务、Cocos 3D 引擎和声网 RTE 服务，创造更多优秀的 XR 应用与游戏，实现技术、产品与商业创新，为全球用户带来更丰富、优质、新奇的 XR 体验，进一步加速 XR 行业生态繁荣。目前大赛已经正式启动，更多大赛详情和报名信息请参考《Rokid首届全球AR应用开发大赛正式启动，面向全球招募开发者！》。

国产XR内容生态

需要更多软硬件深度联动

XR 产业历经多年的发展，VR 已形成一定的内容生态，但 AR 却几乎处于起步状态。

据 VR 陀螺最新统计数据显示，全球 Steam、Viveport、SideQuest、Applab、Quest、PS Store、Pico Store 7 大平台的 VR 内容数量已经超过 15000 多款（包含重复应用）；而反观AR，虽然苹果 CEO 库克在今年 WWDC 上提到 App Store 上目前有 1.4 万个 ARKit 应用，但所有的应用均基于手机和手机的交互开发，且大部分应用并没有将 AR 的特性很好地发挥出来。

如全球最火的 AR 游戏《Pokemon GO》，虽然收入已超过 60 亿美元，但用户并非为了 AR 买单。这也是为何在《Pokemon GO》之后，没有再出现真正意义上的爆款 AR 作品的原因所在。

而提到眼镜端的 AR 内容生态，早先 Magic Leap 曾试图挑战消费市场，然而高昂的设备价格以及寥寥无几的 AR 内容，最终以失败告终，如今已全面转向 B 端。