/2亿苹果用户起步的 ARKit 进化史
最新文章2023-09-20

2亿苹果用户起步的 ARKit 进化史

文/VR陀螺 小钻风


今年的 WWDC 没有 MR 头显也没有 XR 操作系统 RealiyOS，大会前有关 AR 的猜测再次全部落空，“跳票”这个词就差贴在苹果脑门上。
 
整场主题演讲下来，唯有 ARKit 虽未亮相却已如期而至。至此，ARKit 作为苹果当前在 AR 方向唯一明确的技术储备，已经走过 5 个年头，更新至第 6 代（ARKit 6）。
 

图源：Developer.Apple
 
2017 年 6 月，苹果无视市场对 Apple Glass 的呼声，选择从软件层入手，基于已有的移动端硬件生态构建 AR 生态，推出移动端 AR 开发工具集合 ARkit。
 
ARKit 推出后不过半年，据 Sensor Tower 统计，其应用下载量便已突破1300万。虽然在新奇过后，ARKit也曾遇冷，但今年1月，库克在 2022 年 Q1 季度财报会议上宣布，苹果 App Store 现有 AR 软件应用超 14000 款。
 
时隔 5 年，AR 消费端市场对苹果而言似乎仍是一片空白，但苹果在 AR 知名粉丝库克带领之下，已让 ARKit 成长为最大的 AR 平台。
 
ARKit 虽现多用于移动端，但对 AR 眼镜而言也有重要意义。有关 AR 眼镜的生态，有这样一个认识，那就是会发生移动端生态的迁移，而 ARKit 为苹果带来的 14000+ 款 AR 应用、背后培养的大量 AR 开发者，以及所完成的用户教育，将成为苹果 AR/MR 眼镜内容生态的巨大财富。
 
今天，陀螺君便带大家回顾下 ARKit 进化史，看这五年间，ARKit 经历了怎样的更新迭代，能为我们带来什么样的AR体验。
 
1、2017 年 6月 ARKit
 
2017 年 6 月，苹果在 WWDC 针对 iOS11 推出新的核心技术，即首代 ARKit。
 
依托 iOS 强大的硬件设备，例如摄像头高性能 CPU 和 GPU，以及运动感应器等，第一代 ARKit 便能提供快速且稳定的运动跟踪，使用设备上的所有传感器和摄像头寻找平面，例如地板和桌子，能够估算环境亮度帮助进行渲染，并且帮助进行比例缩放，同时，也提供与各种第三方框架的整合，帮助进行渲染。
 
功能：
 
  • 快速、稳定的运动追踪
  • 基本边界的平面检测
  • 环境光评估
  • 支持第三方架构：Unity、Unreal、SceneKit
  • Xcode 应用模块
 

图源：Bilibili
 
在正式介绍 ARKit 前，苹果用 iPhone 进行了一段展示：在桌面上放置虚拟的水杯、台灯，两者与桌面不仅无缝衔接，台灯开与关，与水杯相对位置的改变，都会带来与现实情境无异的光影变化。
 
在发布 ARKit 之时，苹果发言人 Craig Federighi 当时提到：ARKit 会很快流行起来，成为世界上最大的 AR 平台。这一预测如今成真。
 
2、2018 年 1 月，ARKit 1.5
 
2018 年 1 月，苹果推出 iOS 11.3 预览版，同时带来了 ARKit 1.5。
 
ARKit 1.5 主要更新点在于识别垂直表面比如窗户、墙壁的能力，此外还能测绘出不规则形状的表面，比如圆形家具。ARKit 1.5 另一个新增功能是 2D 图像识别。
 
将手机指向绘画，AR 应用程序会标识图像，然后根据图像在应用程序中产生 3D 对象或虚拟体验。在苹果演示的例子中，当 iPhone 指向“阿波罗 13 号”登月艺术壁画后，iPhone 就可以展开登月舱的整个虚拟旅程。
 

图源：VR陀螺
 
此外，ARKit 1.5 对整体的体验进行了改进，同时苹果表示会将分辨率提高50%，并配备自动对焦功能，让 AR 内容更加真实。
 
3、2018 年 6月，ARKit 2
 
2018 年 6月苹果 WWDC，随 iOS 12 一同到来的还有 ARKit 2。
 
在正式发布 ARKit 2 之前，Craig Federighi 展示了由苹果制作的一款测距 AR 应用，鉴于此前应用商店已有同类型产品上线，因此算不上惊艳。
 
此外，苹果展示了与皮克斯共同开发的一种新的 AR 文件格式 USDZ（ USD是由皮克斯发明的通用 3D 场景格式），用户可以通过 “新闻”、 Safari 浏览器，以及“文件”等应用浏览 AR 对象，并通过 iMessage 和“邮件”与好友共享。
 

图源：Bilibili
 
ARKit 2 相对前一个版本，改进了人脸追踪，渲染更加逼真，同时支持 3D 对象的检测，体验也更为持久，更为重要的是，支持 AR 体验共享，多个用户可以在一个共同的虚拟环境中进行操作。
 
乐高对此进行了演示，乐高建筑游戏置于真实的环境当中，两位用户共同在虚拟的乐高环境中操作。不仅仅是用户间形成互动，整个虚拟乐高的建筑连细节特征都能看得非常清楚。
 
ARKit 2 更新：
 
  • 面部追踪增强
  • 更逼真的渲染
  • 3D 对象检测
  • 更持久的体验
  • AR 体验共享
 

图源：Bilibili
 
4、2019 年 6月，ARKit 3
 
2019 年 6 月的苹果 WWDC 公布了 AR 的最新动态，包含三大亮点：RealityKit、Reality Composer 以及 ARKit 3。
 
苹果考虑到多数 ARKit 体验均使用 Unity、Unreal 等专业游戏开发引擎开发，这些引擎学习门槛高，且开发者可能并不熟悉 AR 场景的开发，于是针对 AR 开发推出了高级 AR 框架 RealityKit。RealityKit 可以实现摄像级的真实渲染、环境及镜头特效。
 

图源：Bilibili
 
Reality Composer 则是一款独立的用于建模的应用，内置 AR 内容库存，用户在应用中可以对素材进行编辑、拖拽、动画生成等操作，快速构建 AR 交互体验。
 
ARKit 3 则进行了全新升级，主要功能有两点：
 
人物遮挡：此前进行人物遮挡的处理需要手动完成，更新后，通过了解人在场景中所处的位置，对 AR 内容进行分层，分析其前后关系，可以实时呈现人物遮挡关系。
 

图源：Bilibili
 
动作捕捉：只需把相机对准某个人，就可以实时追踪其位置，其头部、四肢、躯干，并将这些信息导入AR体验，完成对动作的捕捉。此外，在游戏《我的世界》演示中，用户可以被合成至虚拟场景当中。
 

图源：Bilibili

此外，ARKit 面部追踪可同时跟踪三张脸，借助苹果手机、平板为 Snapcha t等前置摄像头提供驱动；同时，这一版本的 ARKit 开始提供协作会议功能，多之间进行实时协作，构建协作世界地图。




5、2020 年 3 月，ARKit 3.5
 
2020 年 3 月，苹果在 iPad Pro 正式发布前将 ARKit 升级至 ARKit 3.5，新添加的功能可以调用平板电脑的 LiDAR 传感器。
 

图源：网络
 
ARKit 3.5 添加新的 Scene Geometry API，该 API 可以利用 LiDAR扫描创建空间的 3D 地图，对地板、天花板、墙壁、门等对象进行区分（场景几何）。LiDAR 也可实现快速平面检测，无需扫描便可在现实世界中放置 AR（即时AR）。
 
此外，ARKit 3 对上一版本中人物遮挡 、动作捕捉功能进行了改进，因为有了 LiDAR 后可以更好地估算人物深度与动作操作的精度。
 
6、2020 年 6 月，ARKit 4
 
2020 年 6 月，苹果 WWDC 并未对 ARKit 进行重点介绍，而是在官网进行了更新，更新基于ARKit 3.5 版本围绕新搭载的 LiDAR 展开，包含了深度 API、位置锚定、面部追踪等功能。
 

图源：网络
 
深度 API：基于 LiDAR 对周围环境进行深度信息分析。通过与Scene Geometry API生成的3D网格数据结合使用，让虚拟物体与显示物体的的结合更加自然和真实，人物遮挡效果更好。
 
位置锚定：利用 LiDAR 收集的深度信息，通过位置锚定功能和苹果地图中的数据将 AR 作品锚定在特定的经、纬度以及高度，用户可围绕虚拟对象从不同角度对其进行观察。
 
面部追踪更新：降低了对终端的要求，将面部追踪功能扩展到更多设备，让更多设备支持前置摄像头的 AR 体验。
 
多图像的物理信息测量：支持一次性最多100张图像的信息检测 ，并自动估算图像中对象的物理尺寸。
 
7、2021年 6 月，ARKit 5
 
2021 年 6 月的 WWDC 苹果未在主题演讲环节展示 ARKit，但一年一更的 ARKit 5 与迭代版本的 RealityKit 2 如期到来。
 

图源：Plainconcepts
 
ARKit 5 与上一年相比没有大幅度更新，主要更新以下三项功能：
 
位置锚定支持更多城市，用户可以在伦敦以及美国更多城市的特定地点创建 AR 体验；
 
扩展对面部追踪的支持，支持任何搭载 A 12 仿生芯片及更高版本设备的前置摄像头，包括iPad Pro（第5代）超宽摄像头，以保证让更多用户能够获得 AR 体验。
 
App Clip Code，开发者可以将 App Clips 或 ARKit 应用中的虚拟内容固定到印刷版或数字版的 App Clip Code，其他玩家可以通过扫描二维码快速查看相关虚拟内容。
 

图源：Plainconcepts
 
相比于 ARKit 5，RealityKit 2 新增的 Object Capture API 在主题演讲中获得亮相，借助 Object Capture 用户可使用苹果手机或平板，将几张 2D 照片合成高质量的 3D 模型。
 
8、2022 年 6 月，ARKit 6
 
2022 年 6 月的 WWDC 主题演讲环节再次未亮相 ARKit，但 ARKit 已如期更新至第6代（ARKit 6），并且带来几项新的功能。
 

图源：developer.apple
 
捕获4K 视频，ARKit 6 可利用后置摄像头捕获4K 视频，据苹果官网介绍，4K 视频非常适合那些将虚拟和现实世界的内容集成在一起生成视频的应用，比如社交媒体，专业的视频编辑，以及各类视频制作应用。
 
捕获高分辨率图像，引入对 HDR 视频的支持，用户可捕获高分辨率背景图像，这对高质量虚拟对象的重建以及希望引导用户拍摄完美且图像质量高的摄像应用程序非常适用。
 
ARKit 还引入对 HDR 视频的支持，并为每个 ARKit 帧添加 EXIF 标签，例如曝光和白平衡。用户可以在 ARKit 会话期间直接控制相机的曝光、白平衡和对焦设置。
 
同时使用前置与后置摄像头，同时使用前置与后置摄像头对面部以及周围环境进行追踪，比如用户可使用面部在后置摄像镜头中与 AR 内容进行交互。
 
此外，ARKit 6 再次新增支持位置锚定的城市比如蒙特利尔、悉尼、新加坡、东京等，并且对动作追踪等功能进行了改进。

图源：VR陀螺 


结语
 
ARKit 2017 年诞生后，接下来的两年都被作为关键技术在主题演讲环节呈现，2020 年随着 LiDAR 开始在 iPad Pro 进行搭载随后又延申至 iPhone 13 Pro / Max，ARKit 更新重点也随即开始围绕利用 LiDAR 深度扫描能力，功能上新并不多。
 
也是这时起，ARKit 鲜少在主题演讲亮相，但其更新进度并未放慢，至近日， ARKit 6 再次带来了捕获 4K 视频、引入对 HDR 视频支持等重要功能。


  第一时间了解XR资讯  

  关注VR陀螺官网（vrtuoluo.cn）


VR陀螺的联系方式：

商务合作 | 投稿 ：

西瓜（微信号 18659030320）

六六（微信号 13138755620）

交流分享 | 爆料：案山子（微信 shimotsuki_jun）

投稿邮箱：tougao@youxituoluo.com


推荐阅读






本文来自微信公众号“VR陀螺”（ID：vrtuoluo）。大作社经授权转载，该文观点仅代表作者本人，大作社平台仅提供信息存储空间服务。

TAGS:

相关文章