英伟达最新黑科技：无需面捕音频就能生成3D面部表情！

文/VR陀螺小钻风

上一次“真假黄仁勋”风波未平，这次英伟达又带来了新鲜东西！

英伟达GTC大会举办在即（3月21日~3月24日），Omniverse与AI仍会是KeyNote重点，不少人开始期待今年的GTC是否会有惊喜。

去年11月，由英伟达AI虚拟化身创建平台Omniverse Avatar创建的黄仁勋迷你版数字人Toy-Me成GTC大会亮点，而在前不久的CES 2022，英伟达同样带来了令元宇宙内容创作者感到兴奋的AI功能。

音频生成3D人脸动画

Omniverse开始助力AIGC

英伟达在CES 2022不仅宣布Omniverse已结束Beta版，正式面向GeForce RTX Studio创作者发布，同时也带来了有关Omniverse的三项新功能：Nucleus Cloud、Audio2Face、Machinima。

Nucleus Cloud，一个能让艺术家更轻松地进行协作的工具，其简化了Omniverse 的场景共享，一键即可让整个3D场景在线协作。（目前处于抢先体验阶段）

图源：英伟达官网

相较于更适用于多人协同的Nucleus Cloud，Audio2Face与Machinima则可被称为个人创作者的福音，Audio2Face甚至被称为革命性的AI应用。

Audio2Face，只需一条音轨即可轻松制作3D人脸动动画，支持BlendShape和直接导出到Epic MetaHuman。其样本是使用了大量的语音语义结合面部表情动画制作的AI训练模型，借助它，个人艺术家现在可以完成大型团队的工作。

英伟达高级解决方案架构师宋毅明介绍，Audio2Face以AI的方式减少了之前在做语音表情动画时很多美术人员的工作量。

图源：英伟达

“大家知道用声音的方式是需要表情的，各种Blend Shape以前会大量耗费美术人员的时间，有了Audio2Face，就可以通过AI处理自然语言，驱动面部表情动画。”

“无论是犀牛还是人脸的动画，通过语音的方式驱动，它自己可以做出相对应的口型，能够解决大量美术工作的重复劳动，是英伟达的解决方案在数字内容创作（DCC）专业制作流程领域中实现的加速计算方式。”

Machinima，则用来快速制作游戏CG内容，能节省大量美术人员的工作时间，深受游戏创作者的青睐。Machinima可以让使用者使用数千种游戏素材和场景重新合成并重新创建自己的游戏影片，目前已经将英伟达将《机甲战士5》和《影子武士3》的素材添加到了Machinima库中。

图源：英伟达

宋毅明表示，现在能看到越来越多的应用喜欢把AI自动创造建筑物的方式融入进来，很多美术人员只需要进行细节的更改就可以减少很多重复性的劳动。

应用开发者正迅速将AI用于内容创作，数字内容的制作开始走向AIGC（AI生成虚拟数字内容）。

在问到UGC与AIGC之间的跨越时，英伟达中国区Omniverse业务发展经理何展表示：“从UGC过渡到AIGC，无论是设计师、创业公司和很多大的平台公司都有明显的趋势。因为UGC已经发展了很长时间，现在我们更想要快速工业化生产的平台，让大家能够从AI红利获得更好的益处。”

同时何展表示，“未来AI能不能生成新的数字人？这也是可以的。数字资产能不能通过AI再生成资产？同样也是可以的，很多平台都在往这个方向去转变，核心驱动力在于我们的技术落地已经非常成熟，现在的市场对数字化的需求与日俱增。”

“所有的这些数字内容生产的平台急需一个变革性的工具，多方面的原因促进，加上新冠疫情大家都对数字化、虚拟化的需求井喷式的增长，很多原因都在一起，大家就会往这方面去走。”

而Omniverse在这个方向想做的也是把技术门槛降低，让更多的人不需要特别专业的技能便能参与到创建数字资产、数字人的工作中。因此，在Omniverse面市之后看到其功能愈来愈纷繁，

同时这也会让人产生疑惑，基于通用3D格式USD构建的Omniverse扮演连接不同应用的工具角色，为何也能提供一些甚至类似于引擎的应用。

主推五大领域

不停解锁的Omniverse“工具箱”

“Omniverse将各个独立的3D设计世界连接到共享虚拟空间，Omniverse的连接语言为USD（Universal Scene Description），可以将之视为‘3D世界的HTML’。”

英伟达GeForce高级副总裁Jeff在CES 2022对Omniverse进行了再次释义，这也是很多人对Omniverse的基础理解，Omniverse起到的是连接不同创作工具的作用。

图源：英伟达官网视频

通常制作3D内容需要使用多个工具，而这些工具往往不兼容，同时需要为渲染花费较长时间。以3D艺术家举例，他们通常需要进行跨多个应用的线性工作，比如使用3ds Max建模，然后使用Substance Painter设计纹理，最后使用虚幻引擎来合成场景。

在这个过程中，需要多次导出和导入大型文件，借助Omniverse，艺术家可以连接自己的应用，然后使用Omniverse Create合成场景。

据Jeff介绍，英伟达正与40多家ISV合作，逐步改变3D工作流，目前，Omniverse已连接到顶尖的应用，如3ds Max、Maya、Blender、虚幻引擎，未来还会连接更多应用。

图源：英伟达官网视频

Omniverse还允许与本地或全球范围内的其他艺术家协作，将他们最喜欢的应用连接到一个共享场景中，一位设计师所做的更改会反映给另一位艺术家，就像处理云共享文档一样，只是它是3D的。这是3D内容创作的未来，也是虚拟世界的构建方式。

图源：英伟达官网视频

不仅仅是借助Omniverse进行应用的连接以及协作，进入Omniverse之后，艺术家可以利用英伟达的“超能力”。

Omniverse将英伟达20多年来在图形、人工智能、模拟仿真和计算方面的开创性技术整合到一个平台中，艺术家可以获得英伟达技术上的支持与优化。

不仅仅是提供算力的支持，英伟达还能让艺术家可以完成符合物理定律的逼真模拟，RTX渲染器则通过光线追踪或是路径追踪，让艺术家们可以实时查看真实的场景等等。

不止于此，我们还能注意到一点，那就是英伟达在打通其他软件并提供支持的同时，也会根据自身发展或不同领域的用户需求添加自己开发的软件应用，这也是为何我们开始见到Omniverse软件应用越来越多的原因。

包括为建筑、工程和施工专业人员设计的Omniverse View；为媒体、娱乐和制造/产品设计行业的设计师、创作者和专家设计的Omniverse Create；为3D深度学习研究人员设计的Omniverse Kaolin，以及前文提及的Audio2Face、Machinima等等。

图源：英伟达官网

这些也是当前英伟达看好的技术方向，宋毅明说：“Omniverse提供给用户的App就可以看出，我们有几个比较重要的App给大家使用，Create、View、Machinima、Audio2Face偏向于DCC的设计人员，ISAAC Sim、Drive Sim偏向于仿真领域。”

同时，何展也对Omniverse与Maya、UE等数字化内容创建软件的差别做了说明，其表示Omniverse并非类似Maya、UE等数字内容创建软件（与UE是辅助关系），而是看作一个平台，更多的还是推动英伟达自身研发软件的集成平台。

“实际上Omniverse是存在于软件之下的平台工具，可以把Omniverse看成一个技术底座，或者是一个工具箱。”

“相当于，如果想用传统的专业图形可视化技术，那么就去工具箱里拿对应的工具，要是想用AI就去找对应AI的工具。刚才的Audio2Face就是AI工具其中的一种。”

并且表示其还有计算相关的工具，因此大家更多的可以理解为一个平台，而不是传统软件，此外，何展还提到了Omniverse较好的行业扩展性。

“无论是汽车还是工业机器人，再到科学计算、验证、仿真、科研，还有楼宇建筑、游戏创建、产品设计，以及我们经常谈到的娱乐、电影各项内容的制作，方方面面都涉及到了。其实我们是想帮助大家协同设计、轻量化设计，能够更好更逼真地把整个数字世界复现出来，也要遵循物理学的定律。未来我们的研发方向也会朝着这些领域进行工具的扩展、算法的拓展等等一系列的工作，这些是我们的定位。”

据介绍，在3D虚拟创作领域，英伟达目前主推五大行业：建筑工程与施工、媒体与娱乐和制造业，以及大家了解不多的超级计算与游戏开发。