Mixlab
前文数字人技术 介绍了从图片自动生成人脸3D模型的算法。该算法为提高真实感，运用了真实场景光感渲染技术。如果视频会议更换的背景图也能有真实光感的渲染，将给用户更佳的沉浸感……
谷歌最近发布了基于背景图光源进行人像光源重渲染的算法。只需要输入一张人像照片和目标背景图片，便能实现人像背景的自动更换，并且重建光照效果，使得人像更自然地与背景融为一体。
Total Relighting:
Learning to Relight Portraits for Background Replacement
小杜
数据集方面，研究团队在真实舞台光源计算照明系统中捕获实验对象的数据，拍摄收集了大量肖像数据来训练算法模型，该系统记录了多种照明条件、高质量的几何模拟图形和准确的图层分割。
小杜
该模型的渲染流程从单张输入人像图片开始，然后使用深度学习模块估计 alpha 遮罩和前景人物图像。模型识别的前景人像重新使用目标背景图片的 HDR照明环境，从而在新的照明环境中使人像能融入背景图片。最后模型将渲染人像与环境背景合成生成输出。
Mixlab
运用该算法可实现哪些创新应用？
小杜
算法支持静态照片的背景更换、静态人像跟随旋转背景进行光源动态渲染，也支持人像运动时的动态渲染。
任何图片都可以成为背景
小杜
算法还有待完善的部分，比如人的眼睛、服饰进行光源重建渲染时、效果较差。人像实时渲染时，图层分割不太精确，会有毛边出现。
Mixlab
非常期待该技术完善后的应用前景～
opus
欢迎加入社群，探索 数字人 的多样玩法～
本文来自微信公众号“无界社区mixlab”（ID：mix-lab）。大作社经授权转载，该文观点仅代表作者本人，大作社平台仅提供信息存储空间服务。
