/Meta显示部门主管:VR头显趋于完美所面临的十大挑战

Meta显示部门主管:VR头显趋于完美所面临的十大挑战

看日报是个好习惯。

 VR线下娱乐提供商Zero Latency宣布将在美国扩张,首间门店开设在拉斯维加斯 

Zero Latency是一家线下沉浸式娱乐(LBE)VR体验供应商,近日宣布将开始在美国扩张。Zero Latency表示其首间门店将开设在拉斯维加斯,今年晚些时候还将在西雅图、休斯顿、达拉斯、辛辛那提和奥兰多开设全新的门店。

 

图源:Zero Latency

 

通过与HTC合作,Zero Latency能够让多达8名玩家一起体验同一个VR游戏内容。据该公司称,由于能够移除背包电脑和额外的电线,游客现在还将有更自由的行动,使他们能够在更少的干扰下享受沉浸式体验。

 

为了做到这一点,Zero Latency的新平台采用了远程渲染堆栈,新的6E无线技术可同时向所有玩家无缝传输5K VR,据该公司称,HTC VIVE Focus 3可提供比传统一体式头显高达16倍的性能提升。因此,定制的HTC VIVE Focus 3能提供5K视觉保真度,刷新率为90Hz,Fov为120度。

 

"新的零延迟平台提供了更接近另一个世界的体验。我们有意提供毫不费力的沉浸式体验,我们认为人们会喜欢,我们迫不及待地想与世界各地更多的玩家分享这种体验,"Zero Latency公司首席执行官Tim Ruse说道。"通过移除设备,如背包电脑,我们实际上能够为我们在美国和世界各地的受众提供更好的玩家体验。我们现有的游戏感觉比以往任何时候都好,我们迫不及待地想用我们接下来的作品让人们大吃一惊。"

 

玩家现在可以在Zero Latency的门店体验到7个VR项目,包括育碧的《Far Cry VR》、《Sol Raiders》、《Undead Arena》、《Singularity》、《Outbreak Origins》、《Engineerium 》和 《Zombie Survival》。

 

"我们的客户经常告诉我们Zero Latency提供的体验非常有趣,"Zero Latency的首席技术官Scott Vandonkelaar说道。"提供像我们这样深入和互动的体验,从来都不可能通过一体化的头显实现,所以我们建立了自己的解决方案。远程渲染和6E无线流意味着我们可以在以前无法实现的性能水平上提供我们的体验,而且使用的技术比以前更少,玩家也更少会被分心。我们对这一结果感到兴奋,并迫不及待地想让客户亲身体验。”

 

玩家现在可以在位于美国拉斯维加斯的米高梅大酒店和赌场的Zero Latency Las Vegas或未来几个月在全球推出的其他20多个场所之一体验新的Zero Latency平台。

 

收入同比增长8.4%,沃尔玛借助AR技术加速商店库存管理发展

近日,沃尔玛执行副总裁兼首席财务官John David Rainey在该公司截至7月29日的2023财年第二季度财报电话会议上表示,自动化和AR技术加速了该公司的发展。

 

图源:Walmart

 

Rainey表示,一项名为VizPick的AR技术让该公司加快了美国商店的库存管理过程,让工人更有效地将产品从仓库转移到销售大厅。

 

该公司在一封电子邮件中说,VizPick技术的采用始于2021年,现在已经在4500家商店中应用,采用率为100%。该系统允许商店预测库存趋势,并在需要产品的时候提供它预测的每个商店所需的数量。

 

沃尔玛在最近一个季度的增长超过了分析师的预期,收入同比增长8.4%,达到118亿美元。而零售业的一个关键指标可比销售额则同比增长6.5%。

 

近年来,这家零售巨头一直在努力扩大其技术能力,包括内部自研和作为第三方供应商为其他企业提供解决方案。

 

在内部,该公司以前曾进行过与定价结构有关的自动化技术方面的研发。据沃尔玛执行副总裁、全球首席技术官和首席开发官Suresh Kumar在去年的收益电话会议上说,一个机器学习模型帮助改善了减价的时机和定价,这为公司节省了3000万美元。

 

同样在去年,该公司宣布计划将其内部技术产品与Adobe的商务平台整合,并向零售商提供其数字和技术解决方案。

 

在沃尔玛之外,还有许多公司也在寻求通过新兴技术获得额外收入来源或提高生产力。根据Gartner上周发布的一份报告,随着人工智能成为更多产品和服务的组成部分,人工智能的采用率将在未来几年内上升。

日本正在为紧急医疗技术人员配备AR眼镜,以更好地了解病人的生命体征等指标

日本顺天堂大学、静冈医院、顺藤伊豆消防队和AVR日本有限公司合作,共同发起为紧急医疗技术人员(EMT)配备AR眼镜的实验项目,旨在利用沉浸式技术协助医生、护士。

 

图源:VRScout

 

在该实验项目中,选定的救护车可以使用Vuzix M400 AR眼镜。这种轻型智能眼镜能够在现实世界中投射出虚拟图像,急救人员可以在医院到来之前通过双向音频和视频通话将关键信息传达给医院。

 

通过让医生和护士实时了解病人的生命体征、心电图读数和面部表情,Vuzix公司声称,各部门可以在救护车到达之前进行检查和初步医疗。医院工作人员还可以在途中的紧急治疗中向急救人员提供建议,如输血或手术。

 

图源:VRScout

 

Vuzix公司总裁兼首席执行官Paul Travers在一份官方新闻稿中说:“在不断扩大的医疗保健用途中,Vuzix智能眼镜可以成为急救人员的重要救生工具,他们需要与前往的医院进行重要的互动和支持。”

 

Vuzix AR智能眼镜目前正在日本顺藤伊豆消防局的部分救护车上进行测试,并计划在未来扩大到其他救护车。

Meta显示部门主管:VR头显趋于完美所面临的十大挑战

虚拟现实领域正在快速发展,不过在其达到技术潜力之前,仍有许多障碍需要克服。今年6月,Meta在Inside the lab活动中展示了多款VR原型机,它们分别解决了不同方面的技术挑战,如分辨率、亮度、尺寸等。——相关阅读:从Meta 4款原型机和概念机上看到的元宇宙未来

 

道格拉斯·兰曼(Douglas Lanman)在Meta公司工作了8年,是开发显示系统的部门负责人。在今年的Siggraph会议上,兰曼发表了演讲,主题是开发一个趋于完美的VR头显所面临的十大挑战。

 

道格拉斯·兰曼(图源:网络)

 

1.更高的分辨率

 

目前的VR头显在分辨率方面还远没有达到人类的视觉分辨率。为了使虚拟世界看起来像实物一样真实和清晰,并且即使在中等距离也能很好地阅读文本,VR显示器的分辨率必须大幅提高。

 

Meta公司表示,单眼8K、像素密度为60 PPD是初步目标。Meta Quest 2只达到了单眼2K和20 PPD。6月公开的原型机之一Butterscotch已经实现了接近视网膜级别的分辨率,达到55 PPD。

 

不过,高分辨率显示器的开发和生产并不是最大的问题,问题在于要有相应的计算能力来支持这种高分辨率显示器。注视点渲染和云串流技术可以提供帮助,但它们本身也是重大的技术挑战。

 

不同头显的分辨率比较(图源:Meta)

 

2.更广的视场角

 

人类的水平视场角大约是200度宽。现阶段,商业上可用的VR头显一般能达到100度的水平视场角,在垂直视场角方面也仍有改进的余地。

 

更广的视场角给透镜技术带来了巨大的挑战,这表现在视场边缘的图像失真上。同时,这也关系到计算能力的问题,视场角越宽,VR头显所要显示的像素就越多,这将导致更高的功率要求和更多的发热。

 

3.人体工程学

 

消费端市场的VR头显仍然很笨重。Meta Quest 2的重量超过1磅,从面部突出近3英寸。理想情况下,VR头显需要足够舒适以支持长时间佩戴,因此在设计上要更窄、更轻。Pancake透镜和全息透镜可以提供帮助。

 

原型机Holocake 2被扎克伯格称为“我们制造的最薄、最轻的VR头戴设备”。为了实现纤薄的效果,Meta开发了两项新技术:平面全息透镜和偏振反射。但问题在于,两项技术都要使用定制的激光器作为光源,而这些激光器还没有发展到可以大规模生产的程度。

 

以太阳镜的形式显示的是Holocake 1原型,作为对比,透明显示的是2016年的Oculus Rift。(图源:Meta)

 

4.带视觉校准的显示器

 

完美的VR头显应该能够检测并补偿用户的视觉缺陷,这样无需佩戴传统的眼镜或隐形眼镜就能在虚拟现实中看得清楚。

 

这个问题可以通过特殊的附件来解决,但更好的方案是,显示器带有视觉校准功能,可以根据用户自己的视力来进行适配。这样今后就不用担心佩戴传统眼镜使用VR,会不会刮伤镜片的或挤压用户脸部的问题了。

 

5.可变的焦点

 

在VR环境中,人眼不能自然聚焦,时间长了就会导致眼睛疲劳和头痛。这种现象在技术术语中被称为“视差适应冲突”。

 

为了解决这个问题,Meta公司开发了一款支持“渐进式视觉”的原型机Half Dome。该显示器能模拟不同的焦平面以及模糊,帮助眼睛更自然地观察虚拟世界。不过,扎克伯格曾表示可变焦功能距离实装上市还有至少五六年的时间。

 

另外值得一提的是,Half Dome的FOV达到了140度。

 

6.面向所有人的眼球追踪

 

眼球追踪是虚拟现实的一项关键技术,它是许多其他重要的VR技术的基础,如渐进式视觉(见第5点)、注视点渲染和畸变校正(见第7点)。它还能在社交体验和新的互动形式中实现眼神交流。

 

眼球追踪的问题在于,它并不是对所有的人都有同样的效果。行业需要一个可靠的解决方案,能够覆盖更广泛的人口。否则,该技术只会让人感到沮丧,并被消费者所拒绝。

 

瞳孔的形状因人而异。这对眼球追踪系统来说是一个挑战。(图源:Meta)

 

7.畸变校正

 

透镜本身就会产生图像畸变,必须通过软件进行校正。瞳孔最轻微的移动都会导致细微但明显的畸变,它们损害了视觉的真实性,特别是在与其他技术(如渐进式视觉)结合时。

 

为了加速校正算法的发展,Meta的研究人员开发了一个畸变模拟器。它可以用来测试不同的透镜、分辨率和视场,而不需要制造测试头显和特殊透镜。

 

8.高动态范围(HDR)

 

实体物体和环境的亮度远高于VR显示器。针对这一问题,Meta公司开发了原型机Starburst,其最高亮度可达2万尼特。作为比较,一台好的HDR电视能达到几千尼特,而Meta Quest 2只有100尼特。

 

Starburst可以真实地模拟封闭房间和夜间环境中的照明条件。不过目前的原型机非常重,以至于得悬挂在天花板上,而且耗能极大。

 

据Meta公司称,HDR对视觉真实性的贡献比分辨率和可变焦距等更大,但距离实际应用却最远。

 

9.视觉逼真度

 

完美的VR头显必须在两个方向都是半透明的。VR用户应该能够看到环境,就像环境能够看到VR用户一样。这既是出于用户舒适度的考虑,也是出于社会接受度的考虑。

 

头显传感器记录环境,并将其显示为虚拟现实中的视频图像。这种被称为透视的技术目前已经存在于商业化的VR头显中,尽管质量相当差。例如,Meta Quest 2提供了一种颗粒状的黑白透视模式。Meta Quest Pro应该会以更高的分辨率和色彩来改善这种显示模式。

 

然而,这还不足以实现对物理环境的完美重建。其中一个有待解决的问题是,透视技术捕捉到的世界视角在空间上与眼睛存在偏差,这在长时间使用时可能会引起不适。为此,Meta公司正在研究人工智能辅助的凝视合成技术,该技术能实时生成视角正确的视点,并具有高视觉保真度。

 

在相反的情况下,Meta公司称之为“反向透视”,即外人能看到VR用户的眼睛和脸,凭此得以进行眼神交流或阅读面部表情。这可以通过朝内的传感器和外部(光场)显示器来实现。但正如Meta的研究表明,这项技术还远远没有准备好进入市场。

 

左边是Oculus Rift,它阻挡了VR用户的眼睛视线。右边是一个早期的反向透视原型机。
(图源:Meta)

 

10.面部重建

 

共处和元宇宙是Meta公司的最终目标。该公司希望有一天人们能在虚拟空间中会面,并感觉他们就像在同一个房间里一样。为此,Meta公司正在研究逼真的Codec Avatars,但它们的制作和计算成本仍然很高。

 

这个方向的第一步是VR头显可以实时读取VR用户的面部表情,并将其转移到虚拟现实中。Quest Pro将是Meta公司首款提供面部追踪的头显。 

Meta两项MR专利曝光,涉及AR头带配件及环境暂停模式功能

本月早些时候,苹果曝光了多项授权专利,内容涉及未来可能的MR配件。在这一点上,扎克伯格的Meta公司显然将成为苹果公司未来高端头显的主要竞争对手之一,其突破性的显示技术可用于游戏、教育、商业、社交媒体等广泛的应用。

 

就像苹果公司最近获得的智能戒指和指装设备的专利一样,Meta也在8月获得了2项与MR头显配件有关的专利。

 

在Meta的第一项授权专利中,我们首先看到的是一系列与AR有关的设备和配件,首先是下面的专利图1,展示了一个颇具未来感设计的AR头带。

 

图源:patentlyapple

 

Meta的专利图1展示了系统#100,它可能包括一个框架(#102)和一个相机组件(#104),该相机组件与框架相连,并被配置为通过观察真实环境来收集关于环境的信息。

 

该AR系统还可以包括一个或多个音频设备,如输出音频传感器(#108A和#108B)和输入音频传感器(#110)。输出音频传感器可以向用户提供音频反馈和/或内容,而输入音频传感器可以在用户的环境中捕获音频。

 

如图所示,AR系统不一定包括设置在用户眼前的近眼设备(NED)。没有NED的AR系统可以采取各种形式,如头带、帽子、发带、腰带、手表、腕带、踝带、戒指、颈带、项链、胸带、眼镜框和/或任何其他合适类型或形式的装置。

 

虽然AR系统可能不包括NED,但AR系统可以包括其他类型的屏幕或视觉反馈装置(例如,集成到框架#102侧面的显示屏幕)。

 

Meta的上述专利图4介绍了包括手套和腕带装置的配件。图4展示了一个可穿戴手套(触觉装置#410)和腕带(触觉装置#420)形式的振动触觉系统#400。触觉实例的可穿戴设备,包括一个灵活的、可穿戴的纺织材料(#430),其形状和配置可分别对用户的手和手腕进行定位。

 

Meta的专利图10A和10D是智能手套的捏式手势的例子,控制器会将其转化为各种动作或访问某些功能。

 

图源:patentlyapple

 

Meta的专利图5说明了一个Oculus风格的设备与新的配件(手套和腕带)一起工作;在专利图6中,我们能够看到,Meta未来的AR眼镜可能伴随着一个智能腕带或手表配件,将协助翻译用户的手和/或手指的手势指令。

 

不限于手套和腕带配件,Meta的专利显示,他们的整体人工现实系统可能包括其他类型的设备,如体感服、手持控制器、环境设备(如椅子、浮垫等),和/或任何其他类型的设备或系统。

 

关于这方面的更多细节,请查阅Meta的第一个授权专利11,416,075。

 

MR系统的暂停模式功能

 

在Meta的第二项授权专利中,他们描述了一种用于人工现实系统的暂停模式功能,该功能在执行人工现实应用程序期间生成一个暂停模式环境,在暂停模式环境中展示和控制用户界面(UI)元素。

 

暂停模式功能使在人工现实(如AR)环境中与一个或多个其他用户(或与一个或多个其他用户对应的一个或多个虚拟化身)互动的用户能够从用户的角度暂停AR环境。

 

当在暂停模式环境中时,用户能够从AR环境中查看和选择其他用户。例如,用户可以从暂停模式环境中选择另一个用户加为好友,给其发信息,使其静音,屏蔽或报告该用户。

 

在一个或多个示例方面,一个人工现实系统包括一个头戴式显示器(HMD),被配置为向HMD的用户输出人工现实内容,其中该人工现实内容包括一个或多个对应于参与人工现实环境的一个或多个其他用户的虚拟化身。以及暂停模式引擎,该引擎被配置为响应用户输入,为HMD的用户启用暂停模式环境,其中暂停模式引擎至少有一项将人工现实环境替换为HMD的暂停模式环境,将一个或多个化身和HMD的人工现实环境静音,或将一个或多个化身在暂停模式环境中呈现为静态位置。

 

下面的前两个专利图(2A和2B)代表了混合现实眼镜的样式,其形式为HMD和智能眼镜;图1A是描述一个具有悬挂模式功能的人工现实系统的例子的图示。在一些例子中,暂停模式功能可以被称为安全模式或安全区功能。人工现实(AR)系统#10包括头戴式设备(HMD)、控制台#106(图3)、人工现实应用服务器#107(图3),以及在一些例子中,一个或多个外部传感器#90。

 

图源:patentlyapple

 

Meta的上述专利图3是一个方框图,显示了人工现实系统的控制台、人工现实应用服务器和HMD的示例实现,该系统在执行人工现实应用期间产生了一个暂停模式环境。

 

想要了解更多专利细节,请查阅Meta的授权专利11,416,067。

罗技为Quest 2推出悬挂式扬声器配件,售价100美元

当前VR头显产品在扬声器设计上主要有两种思路,其中一类头显产品如Valve Index和HP Reverb G2 VR采用了“离耳式”扬声器方案,音频单元悬挂在耳朵旁边。

 

Quest 2出于便携等方面的考虑,把扬声器集成在了头带孔的位置,不过这一设计使得头显外放声音会较为单薄。

 

不久前,罗技为Quest 2打造了一款名为Chorus的扬声器配件,售价100美元。

 

图源:罗技

 

罗技透露,该配件可为用户提供清晰、自然的声音。此外,Chorus内置了一个机械静音开关,当用户把扬声器往后拨,声音就会自动关闭。

 

由于Chorus占用了头显的电源输入孔,用户可通过该配件的另一个充电口为设备充电。不过该充电口无法实现头显与电脑之间的数据传输。

 

图源:罗技

 

Chorus重量为182g,可能会给Quest 2带来一定负担。

  第一时间了解XR资讯  

  关注VR陀螺官网(vrtuoluo.cn)


VR陀螺的联系方式:

商务合作 | 投稿 :

西瓜(微信号 18659030320)

六六(微信号 13138755620)

寻求免费曝光:
六六(微信号 13138755620)
投稿邮箱:tougao@youxituoluo.com



推荐阅读



本文来自微信公众号“VR陀螺”(ID:vrtuoluo)。大作社经授权转载,该文观点仅代表作者本人,大作社平台仅提供信息存储空间服务。