光场捕捉——现实世界的数字未来

正文字数：2484字

图片总数：21张

视频时长：1分50秒

引言：光场可以改变视觉效果吗？这个问题的答案可能仍然不确定，但他们可能已经改变了沉浸式体验被捕捉和呈现给观众的方式。近年来，随着越来越多的学术研究人员和公司在光场领域进行实验，其中的可能性包括获取图像的新方法，以及合成的新方法，光场可以打开用户在沉浸式体验中的自由度。

光场显示屏让虚拟映射现实

Designer:Google

Project Starline是一个结合了硬件和软件技术的项目，旨在帮助相隔两地的朋友、家人和同事共聚一起。想象一下，透过一扇神奇的窗户，你可以看到另一个人，和真人一摸一样。你们可以自然地对话，做手势和进行眼神交流。

通过Project Starline和她的妹妹和孩子交流

为了令这种体验成为可能，团队正在研究计算机视觉、机器学习、空间音频和实时压缩等领域。团队同时开发了一个突破性的光场显示系统，其能够创造一种体三维感和深度感，无需额外的眼镜或头显即可体验。最终的结果是位于地理另一边的人能够坐在你的对面，仿佛两人真的置身于同一空间。

Project Starline项目仅向谷歌的几个办事处开放，因为它依赖于定制的硬件和高度专业化的设备。但谷歌相信，这是通信技术可以实现而且应该选择的方向。团队表示：“我们的目标是提升这项技术的价格亲民度和技术易用性，包括将所述技术进步带到我们的通信产品套件中。”

为了开始这段旅程，团队在内部测试Project Starline已有数千个的小时，通过这种方式联结湾区、纽约和西雅图的同事。谷歌同时在医疗保健和媒体等领域与选定的企业合作伙伴进行演示测试，以获得有关技术及其应用的早期反馈。这家公司指出，计划在今年晚些时候与企业合作伙伴进行试用部署。

光场捕捉与数字替身设计

Designer:Horizon worlds、Roblox等

数字替身（avatar）是用户在虚拟世界中的化身。它可以代表用户的位置方向、运动状态和姿势，是用户在虚拟世界的交互载体。avatar的设计有追求品牌塑造和技术突破的趋势。当前大火的Roblox和Horizon worlds的设计非常有特点。Roblox基于多面体建模，显得不够精致。而Horizon worlds的人物直接没有下半身，一群上半身人物在空中悬浮游走。但从另一个角度来讲，这也许正是他们品牌风格的记忆点。

Roblox的avatar形象

Horizon worlds的avatar形象

还有一些时尚品牌借助avatar穿戴自己的产品，以次来凸显品牌调性。著名奢侈品牌Gucci就与虚拟形象科技公司 Genies 合作，允许用户创建自己的个性化虚拟形象进行穿搭售卖。

Avatar的不同呈现形态的根据“卡通感-写实感”、“儿童化-成人化”这两组维度，可以得到视觉特征定位图。其中第四象限是虚拟世界avatar形象超写实化的一个重要的发展方向。

苹果Memoji是对表情AR技术的应用，TrueDepth相机硬件可以通过你的脸驱动Memoji的嘴巴、眼睛、头部和舌头。你可以在FaceTime通话中与Memoji重叠，Memoji的嘴唇也能够与你的声音同步。统计表明，用户之间的信息或FaceTime对话越来越多的由文本或视频转向由虚拟avatar进行。

Memoji脸部驱动的虚拟头套

除了avatar的面部表情外，整个肢体也可以被现实人体通过动作捕捉技术来驱动。近期，美国广播公司Fox推出了全球首档虚拟人物歌唱比赛《Alter Ego》。节目中的虚拟形象可以设定不同的肤色、身体体型和性别。参赛选手可以自由设定他们认为最能代表自己内在，或最能引起观众注意的虚拟形象。然后使用动作捕捉技术，由自己的身体驱动虚拟形象进行表演。

《Alter Ego》全身驱动虚拟形象

作为虚拟世界里的NPC，数字人是智能化的独立avatar。在“外貌”方面数字人也会逐渐往高写实的方向发展。而在“精神”方面，依托AI机器学习算法和大数据，数字人的对话质量也与真人相差无几。服务应用的数字客服、游戏中的超级NPC，都可以以假乱真，表现甚至优于真人。这对设计师的智能化交互设计能力提出了更高的要求。

光场捕捉与电影摄影

Designer:Paul Debevec

南加州大学创意技术研究所建造的 Light Stage 2 在 10 英尺的半圆形臂上安装了 30 个明亮的频闪灯，可在短短 8 秒内旋转捕捉详细的面部反射。

2002 年，这个过程引起了Sony Pictures Imageworks的视觉效果总监 Scott Stokdyk 的注意，他选择用它来为演员 Alfred Molina（“Doc Ock”）和 Tobey Maguire（“蜘蛛侠”）制作照片级计算机生成的特技替身。电影《蜘蛛侠 2》。原始研究的合作者 Mark Sagar 领导了调整电影制作过程的工作。很快，计算机图形主管 John Monos 加入了 Imageworks 的外观开发团队。

这项创新技术可捕捉演员面部的形状、光泽、颜色和纹理，直至每个皮肤毛孔、折痕和皱纹的水平。WETA Digital 在创建电影中逼真的数字人类和类人外星人的过程中使用了这些详细的扫描，

USC ICT 的 Lightstage 5 系统也被用于 James Cameron 的全球热门电影《阿凡达》的广泛视觉效果。ICT 的图形实验室与 WETA Digital 的视觉效果团队密切合作，使用新的高分辨率版本的几何形状和外观捕捉技术对电影主要演员的面部进行了数字化处理。

光场捕捉和视觉特效的未来

Designer:Joachim Keinert

德国弗劳恩霍夫集成电路研究所集团计算成像负责人 Joachim Keinert 博士一直领导一个团队为后期制作和虚拟现实应用构建多相机阵列。Keinert 认为光场可能是视觉效果世界的关键贡献者。

通过从场景中捕捉多个视角，光场保留了场景的空间结构，光场允许我们为任意虚拟摄像机位置生成正确的场景透视图。与其他用于 3D 重建的技术相比，光场的优势在于其大量的视角以及处理遮挡的能力。当一个对象在尝试计算虚拟相机位置时隐藏另一个对象时，就会发生遮挡。这是一个具有挑战性的问题，可以通过光场很好地处理。