又一炸裂新技术！只需1部iPhone两分钟搞定3A大作人物建模，网友：行业技术要变天-7.GAME

引量子位热评：什么样的新技术

能在ChatGPT的包围圈里脱颖而出火爆全场？

引网友大放豪言：

“3D动画和游戏都要变天了”！？

只需一部iPhone，两分钟，真人大变数字人

搞定电影大制作和3A大作级游戏的动作捕捉！

大图为实时创建的数字人，右下角小图为现场真人

还解决困扰游戏开发者很久的一个问题：

游戏人物的建模

来感受下这满屏的弹幕

Epic Games在上周四的GDC 2023上

发布了一个名为

“

MetaHuman Animator

”的新工具

可实时极速模拟真人的面部动作

只需一个iPhone摄像头

即可实时创建一个新的完全动画面部模型

表情动态、眼神细节一比一还原的那种

而且全程现场演示，不是录屏播放

包括动作捕捉、现场使用iPhone录制、

后期处理的全过程都是当场完成

下面请看视频 ↓↓

中文版字幕转载自@YouTube精选

简单地说就是，你用iPhone自拍10秒

然后这个工具仅仅用两分钟就搞定了面部数据

表情和动作复制到了数字人的脸上

最终成片宛如真人

真人 VS 数字人 对比

‍这个发布会的现场视频

发布在油管上就迅速收获百万播放

截至发稿，已有近169万人观看

网友看完都忍不住感叹科技的进度！

我不是游戏开发者，但我花了不到5分钟就完成了这件事，这确实令人惊讶!

它不是完美的，但这是难以置信的，它节省了多少时间！

很期待可以看到独立电影制作人用这项技术做出什么！

可怕的是，从20世纪90年代开始，在很短的时间内，技术取得了巨大的进步。

在演示现场，女演员对着iPhone的前置摄像头讲了一段10秒钟左右的话，并且相对应的配合一些面部动作。仅仅2分钟之后，虚幻引擎5就在建模人脸上精准复现了这一段讲话视频，所有面部细节都被高度还原，包括嘴唇、眼神、面部肌肉、光影等，语言发音与动作细节配合完美。

更神的是，采集面部数据的过程并没有借助除了iPhone之外的任何设备，从表情拍摄到视频生成的全过程，都在直播中呈现，全程仅仅2分钟。

据官方现场介绍，处理主要使用以下两个工具：

1、使用Epic Games的最新版本的Live Link Face应用程序能以最佳的分辨率捕捉所有面部动态数据；

2、MetaHuman Animator使用视频和Dev数据将其转换成高保真的表演动画。甚至还可以利用音频来制作逼真的舌头动画。

‍

在这个过程中，先是用名为“Live Link Face”的APP对演员的视频进行面部动作捕捉，转换成动画只需要不到一分钟的时间。

完成面捕之后，只需要三帧视频 （正面、左侧面、右侧面）就可以生成一个预测你所有面部表情的模型，就能生成演员的“元人类DNA”。

‍

其中用到的算法是定制版面部特征算法，只需要录几秒钟的视频，你的面部数据就会被准确的确定。

就能高度还原你的面部表情。

更重要的是，在这个过程中，可以将真人视频与生成的建模视频进行逐帧比较。

然后等几分钟不到，完整的动画视频就成功生成了，最终工作人员要做的就只有微调和导入音频。

由此可见，相比其他工具，MetaHuman Animator进一步推进了角色面部绑定的准确性，特点是只需要少量捕捉镜头，几分钟即可实现单个人脸的扫描。而且动画数据可以无缝传输到其他MetaHuman角色。

也就是说，通过一台手机，进行几分钟的面部录制，即可获得一个精准的面部模型，与此同时，面部捕捉系统还可以和身体动作捕捉系统相结合使用，即可进行高质量数字化身。这对未来的影视和游戏行业提供了非常强悍的技术基础。

对于开发者而言，该工具极大提升了面部捕捉的效率，并有效降低了面部动画调整的技术难度。在新应用的加持下，做到下图这样的效果，对于工作人员来说也是信手拈来。

Epic表示该工具非常适合3A游戏开发商和好莱坞电影的制作，而且一些独立工作室也可以简单操作使用，该工具计划将于今年夏天在虚幻引擎的MetaHuman插件中提供，并且免费下载。

对于独立艺术家，iOS 15.0及以上版本可免费使用Epic的Live Link Face应用程序，要将它与MetaHuman Animator一起使用，就需要iPhone 11或更高版本。较大的工作室可以使用标准的头盔式摄像机，MetaHuman Animator可与“任何专业的垂直立体HMC捕获解决方案”配合使用。