计图开源：人体视频姿态迁移之细节增强 (T-PAMI发表，内附精彩视频)

近期中科院计算所高林团队与合作伙伴在IEEE TPAMI（IF=24.31）上发表论文[1]，提出人体视频姿态迁移中的细节增强技术，提升了视频人体姿态迁移效果，并在GitLink上开源了基于计图Jittor的实现代码。

Part 1

研究问题和背景

给定源人物运动视频，迁移合成高真实感的目标人物运动视频一直是计算机视觉和图形学中受到广泛关注的问题。现有的工作大多采用图像翻译技术[2-3]，借助条件生成式对抗网络实现人体姿态标签到视频帧的转换。虽然能够取得不错的效果，然而这些方法却受限于神经网络的泛化能力，对于训练集之外的新姿态合成结果往往较差。

同时，这些工作在训练阶段只用到了目标人物的视频数据，对于脸部和手部等变化较为丰富的细节部位往往难以合成清晰的结果。而在脸部和手部等区域源人物与目标人物往往具有相似的几何结构，并且包含清晰的细节特征。这一特点使得利用源人物细节信息增强迁移后的目标人物合成结果成为可能。

Part 2

方法概述

为了处理人体姿态迁移任务中局部细节，尤其是脸部/手部的模糊问题，高林团队提出一种融合源人物信息的细节增强机制，以实现生成结果中的局部细节增强，细节增强的迁移效果如图1所示，从左至右依次为源人物和三个被驱动的目标人物。

图1 细节增强的迁移效果展示

这种增强机制依赖于不同人体之间局部几何结构的相似性。具体而言，在人体姿态迁移任务中，提供姿态的源人物往往在脸部或手部具有与目标人物相似的几何特征。

研究团队基于此进一步提出了一种两阶段的细节增强机制，如图2所示。第一阶段训练姿态迁移网络(MT-Net)以得到具有模糊细节的初步迁移结果。在此阶段中，研究团队同时训练了源人物到目标人物和目标人物到源人物的迁移网络。在第二阶段中，该研究将目标人物到源人物的迁移结果与相应的目标人物视频帧进行线性混合。这里混合后的图像杂糅了迁移结果的模糊细节与视频帧的清晰细节，也交叠了源人物域与目标人物域的人物外观特征。

图2 融合源人物信息的细节增强机制

研究团队进而通过一个细节增强网络DE-Net来剔除冗余的信息，即完成从混合图像域到清晰的目标人物图像域的迁移。DE-Net采用U-Net网络结构来完成这一图像翻译任务，并且以目标人物视频帧作ground truth来监督其训练。

该方法中的MT-Net借鉴了Pix2pixHD[4]的网络架构以得到初步的迁移结果。MT-Net同时输入人体姿态表征与人体外观图片，得到该姿态在指定外观域中的迁移结果。初步的迁移结果往往具有模糊的细节特征。然而，用以驱动生成该结果的视频帧往往在这些相同的部位具有类似的几何结构和清晰的细节。因此，二者的混合能够为模糊的迁移结果引入清晰的细节信息。如图3所示。

图3 初步迁移结果与对应视频帧的混合

然而在引入清晰结构细节的同时，图片的混合也会将另一个图像域中一些冗余的外观信息引入混合结果中。该研究通过一个细节增强网络DE-Net来剔除冗余信息，实现混合图像域到目标人物图像域的迁移。该网络结构如图4所示。

图4 细节增强网络结构

在训练阶段，该方法输入源人物域的迁移结果与其对应的目标人物视频帧，混合后送入DE-Net，以目标人物视频帧作为监督进行训练。在推理阶段，该方法将源人物到目标人物的初步迁移结果与清晰的源人物视频帧进行混合，再通过DE-Net以得到清晰的目标人物生成结果。

Part 3

结果展示与计图开源

图5展示了细节增强方法与Everybody Dance Now[2]和Vid2vid[3]的对比。可以看到，该方法能够有效地提升生成结果的脸部细节，并保持人体几何特征如体型胖瘦。

图5 细节增强结果对比图

图6以消融实验的形式展示了细节增强网络的作用。相较于MT-Net直接迁移结果MT(2D+3D)，该方法在引入细节增强网络(Full)后显著提升了生成结果的细节。

图6 细节增强网络消融实验

在绿幕数据集上的效果也进一步证明了该方法的有效性，如图7所示。从左至右依次为源人物和三个被驱动的目标人物。

图7 绿幕数据驱动效果

该工作由中科院计算所的高林团队、香港城市大学傅红波教授、英国卡迪夫大学来煜坤教授和好未来集团的刘子韬等合作完成。目前Jittor代码已在GitLink和Github上开源：

https://www.gitlink.org.cn/IGLICT/MT_DE-Jittor

https://github.com/IGLICT/MT_DE-Jittor

Jittor是清华大学开源的自主深度学习框架[5]，采用元算子融合和统一计算图的新技术，并支持国产硬件。在Jittor框架的加持下，对比pytorch实现，训练速度提升为之前的1.14倍，推理速度提升为之前的1.18倍。

参考文献

Yang-Tian Sun, Qian-Cheng Fu, Yue-Ren Jiang, Zitao Liu, Yu-Kun Lai, Hongbo Fu and Lin Gao, Human Motion Transfer with 3D Constraints and Detail Enhancement, IEEE TPAMI, 2022, 1-12，doi: 10.1109/TPAMI.2022.3201904
Caroline Chan, Shiry Ginosar, Tinghui Zhou and Alexei A. Efros, Everybody Dance Now, IEEE ICCV, 2019, 5932-5941.
Ting-Chun Wang, Ming-Yu Liu, Jun-Yan Zhu, Guilin Liu, Andrew Tao, Jan Kautz and Bryan Catanzaro, Video-to-Video Synthesis, NeurIPS, 2018, 1152–1164.
Ting-Chun Wang, Ming-Yu Liu, Jun-Yan Zhu, Andrew Tao, Jan Kautz and Bryan Catanzaro, High-Resolution Image Synthesis and Semantic Manipulation with Conditional GANs, IEEE CVPR 2018, 8798-8807.
Shi-Min Hu, Dun Liang, Guo-Ye Yang, Guo-Wei Yang and Wen-Yang Zhou, Jittor: a novel deep learning framework with meta-operators and unified graph execution, Science China Information Science, 2020, Vol. 63, No. 12, 222103.