正文字数：3769字

图片总数：30张

光场（Light Field）是空间中光线集合的完备表示，采集并显示光场就能在视觉上重现真实世界。全光函数（Plenoptic Function）包含7个维度，是表示光场的数学模型。光场是以人眼为中心对光线集合进行描述。由于光路是可逆的，以发光表面为中心来描述光线集合衍生出与光场类似的概念——反射场（Reflectance Field）。反射场也具有7个维度的信息，但每个维度的定义与光场不尽相同。不论光场还是反射场，由于7个维度的信息会急剧增加采集、处理、传输的负担，因此实际应用中更多的是采用4D光场模型。随着Magic Leap One的上市，以及Google《Welcome to light field》在Steam上发布，光场作为下一代成像/呈像技术，受到越来越多的关注。

Light Field

什么是光场

Light Field

人眼能看见世界中的物体是因为人眼接收了物体发出的光线（主动或被动发光），而光场就是三维世界中光线集合的完备表示。简单来说光场其实就是不同时间，不同地点处的描述光的物理量。而这些物理量需要根据你的着重点的不同而适当做出调整。

在人类的五大感知途径中，视觉占据了70%~80%的信息来源；而大脑有大约50%的能力都用于处理视觉信息。借助视觉，我们能准确抓取杯子，能在行走中快速躲避障碍物，能自如地驾驶汽车，能完成复杂的装配工作。从日常行为到复杂操作都高度依赖于我们的视觉感知。然而，现有的图像采集和显示丢失了多个维度的视觉信息。这迫使我们只能通过二维“窗口”去观察三维世界。例如医生借助单摄像头内窥镜进行腹腔手术时，因无法判断肿瘤的深度位置，从而需要从多个角度多次观察才能缓慢地下刀切割。从光场成像的角度可以解释为：因为缺乏双目视差，只能依靠移动视差来产生立体视觉。再例如远程机械操作人员通过观看监视器平面图像进行机械遥控操作时，操作的准确性和效率都远远低于现场操作。

“Light Field”这一术语最早出现在Alexander Gershun于1936年在莫斯科发表的一篇经典文章中，后来由美国MIT的Parry Moon和Gregory Timoshenko在1939年翻译为英文。但Gershun提出的“光场”概念主要是指空间中光的辐射可以表示为关于空间位置的三维向量，这与当前“计算成像”、“裸眼3D”等技术中提及的光场不是同一个概念。学术界普遍认为Parry Moon在1981年提出的“Photic Field”才是当前学术界所研究的“光场”。随后，光场技术受到MIT、Stanford等一些顶级研究机构的关注，其理论逐步得到完善，多位相关领域学者著书立作逐步将光场技术形成统一的理论体系，尤其是在光场的采集和3D显示两个方面。欧美等部分高校还开设了专门的课程——计算摄像学（Computational Photography）。

人眼位于三维世界中不同的位置进行观察所看到的图像不同，用（x, y, z）表示人眼在三维空间中的位置坐标。光线可以从不同的角度进入人眼，用（θ, Φ）表示进入人眼光线的水平夹角和垂直夹角。每条光线具有不同的颜色和亮度，可以用光线的波长（λ）来统一表示。进入人眼的光线随着时间（t）的推移会发生变化。因此三维世界中的光线可以表示为7个维度的全光函数（Plenoptic Function, Plen-前缀具有“全能的、万金油”的意思）P(x, y, z, θ, Φ, λ, t)

上述光场的描述是以人眼为中心。光路是可逆的，因此光场也可以以物体为中心等效的描述。与“光场”相类似的另一个概念是“反射场（Reflectance Field）”。如下图所示，物体表面发光点的位置可以用（x, y, z）三个维度来表示；对于物体表面的一个发光点，总是向180度半球范围内发光，其发光方向可以用水平角度和垂直角度（θ, Φ）来表示；发出光线的波长表示为（λ）；物体表面的光线随着时间（t）的推移会发生变化。同理，反射场可以等效表示为7维函数，但其中的维度却表示不同的意义。

对比光场与反射场可以发现：光场与反射场都可以用7个维度来表征，光场是以人眼为中心描述空间中所有的光线，反射场是以物体表面发光点为中心描述空间中所有的光线。

Light Field

为什么要研究光场

Light Field

【从光场采集的角度来看】以自动驾驶为例，首先需要通过多种传感器去“感知”外界信息，然后通过类脑运算进行“决策”，最后将决策以机械结构为载体进行“执行”。现阶段人工智能的发展更倾向于“类脑”的研究，即如何使计算机具有人脑类似的决策能力。然而却忽略了“眼睛”作为一种信息感知入口的重要性。设想一个人非常“聪明”但是视力有障碍，那么他将无法自如的驾驶汽车。而自动驾驶正面临着类似的问题。如果摄像机能采集到7个维度所有的信息，那么就能保证视觉输入信息的完备性，而“聪明”的大脑才有可能发挥到极致水平。研究光场采集将有助于机器看到更多维度的视觉信息。

【从光场的显示角度来看】以LCD/OLED显示屏为例，显示媒介只能呈现光场中（x, y, λ, t）四个维度的信息，而丢失了其他三个维度的信息。在海陆空军事沙盘、远程手术等高度依赖3D视觉的场景中，传统的2D显示媒介完全不能达到期望的效果。实现类似《阿凡达》中的全息3D显示，是人类长久以来的一个梦想。当光场显示的角度分辨率和视点图像分辨率足够高时可以等效为动态数字彩色全息。研究光场显示将有助于人类看到更多维度的视觉信息。

Light Field

案例分析

Light Field

从全世界光场技术的发展趋势来看，美国硅谷的科技巨头争相布局和储备光场技术，有些已经出现了Demo应用。在光场的采集方面，例如Google在Steam平台上发布的《Welcome to Light Field》、Lytro光场相机。在光场显示方面，例如Magic Leap采用的两层离散光场显示技术、NVIDIA发布的近眼光场显示眼镜、Facebook旗下Oculus的道格拉斯•兰曼团队正在研发的光场VR头盔。我们来一起看看其中的一些案例。

Welcome to Light Field

Designer:Google

Google已经发布了一款名为Welcome to Light Fields的 PC VR头盔免费应用程序。Google表示，该应用程序可以作为“Google正在用于推动下一代VR内容的新兴技术的展示”。

当谈到捕捉VR的真实世界时，360照片和视频只能走到尽头，并且存在一些局限性，这使得它们比实时呈现的计算机生成的VR内容更具沉浸感 - 即实际上缺少的能力在捕获的场景中移动。由于360照片和视频内容仅限于从相机的精确位置进行查看，因此除非能够旋转头部，否则您将被有效卡入到位。

体积捕捉技术的目的不仅仅是捕捉一个圆形视角，而是捕捉整个场景（或至少是其中的一部分），这样观众就可以在捕捉过程中通过3D空间移动头部，并从不同的角度观看场景。光场是一种很有前途的体积捕获方式，可以为捕捉，生成和存储VR内容提供灵活，高质量的基础格式。

Google的自定义光场相机大约需要一分钟的时间来完成一个完整的旋转，以捕获一个光场场景。

它看起来很神奇，但并非没有限制。在这种情况下，通过自定义光场照相机生成拍摄图像，该照相机将一系列GoPro相机旋转成一圈，以拍摄约两英尺宽的球形区域 - 您可以从该球体内的任何位置查看场景，但是如果将头部粘在外面它的世界将变得空白。这是因为相机能够有效地捕捉到所有与所有球体相交的光线，然后算法从球体内的任何点重新创建视图以便观看您的视觉乐趣。用更大的相机可以实现更大的观看区域。

有些场景并不像其他场景那么尖锐，有时您可以在物体的边缘发现伪影，错误的深度信息，反射和照明，这些看起来并不太正确。文件大小仍然是一个巨大的挑战。Welcome to Light Fields的一些静态光场场景，总计6GB左右 - 对于演示应用程序总是不错的，但对于大众采用而言可能太大。

尽管如此，Welcome to Light Fields 是光场技术的一个强大的例子，并且看看为什么体积拍摄可能是VR视频的未来。

头戴光场显示器

Designer:NVIDIA

这款由NVIDIA所研发的头戴显示器原型名为“近眼光场显示器（Near-Eye Light Field Displays）”，使用市售的Sony 3D头戴OLED显示器“HMZ-T1”的零组件为基础，主要结构使用3D印表机印制。

近眼光场显示器采用焦距3.3mm的“微透镜阵列（Micro Lens Array）”来取代传统头戴显示器的光学透镜组，让显示总成的厚度从原本的40mm减少到10mm。运用NVIDIAGPU进行“即时运算光场光迹追踪”运算，将影像分解成数十组不同视角的阵列，再通过微透镜阵列重现影像的光场，让观赏者的眼睛能够如同真实世界般，自然地移动视线与聚焦在不同远近的景物上。

显示总成大幅缩小

因为近眼光场显示器能通过微透镜阵列重现光场，因此只要在GPU成像时加入观看者的视力矫正参数，就可以抵消近视或远视的影响，即使是眼镜族也能在不戴眼镜的状态下使用。

视线可以聚焦在不同远近的景物上

由于必须同时显示数十组影像，因此近眼光场显示器目前的空间分辨率（包含深度资讯）仅146 × 78，可视角水平29度、垂直16度，尚未达到可以商品化的程度。NVIDIA现场另外展示以高分辨率印刷将静态图像印在37.5 × 37.5mm的正片上，达成分辨率534 × 534、可视角水平垂直67度的成果。未来则是计划以同等尺寸的4K分辨率OLED面板来达成足以接受的分辨率。