/一键生成？从照片生成人脸 3D 模型 #AvatarMe
最新文章2023-11-14

一键生成？从照片生成人脸 3D 模型 #AvatarMe


Mixlab

制作数字人的工具非常多，2D 类制作工具包括 Live2D、Vroid Studio；超写实类制作工具包括 Avatary、MetaHuman Creator 等。


知识库

除了使用设计工具进行数字人制作，也可以使用算法直接生成数字人模型。AvatarCLIP 就是通过输入文本来输出动态数字人模型。


小杜

AvatarMe 也是可自动生成数字人模型的算法，输入信息可以是任何人脸图片类信息，包括相机拍摄的图片、绘画人像等。

AvatarMe




AvatarMe 是一种数字人脸模型重建方法，输入一张包含人脸图像的信息即可生成可实时渲染的逼真写实的 3D 面部。

小杜

使用该模型用输入图片生成重建数字人脸有三个准备步骤

# 01

人脸输入图像基础信息重建



重建输入图片信息得到可渲染用纹理模型
# 02
提高纹理模型分辨率



纹理被采样8次后使用8倍分辨率增强纹理模型，提高输出模拟的精度
#03
图像转换网络对纹理进行去光处理



最后一步使模型获得具有高频细节的漫反射反照率，使面部和头部模型可以在任何环境中逼真地渲染。

小杜

完成模型的输出生成后即可开始模型应用

# 较高精度模型展览



# 不同种类输入图像的3D数字模型重建




黑白照片、名人名画、不同背景中的人像都可重建生成。
# 不同光源、场景中的重建头像实时渲染





小杜

该模型使用了高分辨率网格和反射纹理，包括漫反射反照率、镜面反射率、漫反射法线、镜面法线等，可与大多数开源或商业渲染器一起使用，能够实现在各种照明环境中渲染重建的数字头像模型。


图片-数字重建模型-实时场景渲染技术应用面十分广。文物头像&名人画像动态创意、元宇宙身份系统技术基础设施等等应用领域都有用武之地。

项目地址：

github.com/lattas/avatarme
论文地址：

arxiv.org/abs/2112.05957
视频地址：
youtube.com/watch?v=fEsgeZPN8Uw
技术解读扩展阅读推荐：
zhangtemplar.github.io/avatarme

小杜

关于输入图片类数字人生成还有类似的算法

DECA: 基于单张图片进行三维人脸建模



可参考项目资源：
openbayes.com/console/open-tutorials/containers/3vGLMGSXAcY


opus

欢迎加入社群，探索 数字人 的多样玩法～



备注：数字人
[ 元宇宙创作者指南 ] 
[ 元宇宙资源清单 ]

github.com/shadowcz007/awesome-metaverse




本文来自微信公众号“无界社区mixlab”（ID：mix-lab）。大作社经授权转载，该文观点仅代表作者本人，大作社平台仅提供信息存储空间服务。

TAGS:

相关文章