高保真换脸让沈腾重回颜值巅峰！重建人脸3D信息，浙大、厦大、腾讯优图联合出品

　　明敏发自凹非寺

　　量子位报道公众号 QbitAI

　　能让沈腾减肥成功、重回颜值巅峰：

　　让安妮·海瑟薇变身帅气小哥：

　　还能让 Yoshua Bengio 奔驰在绿茵草地上：

　　你没猜错，这又是换脸的“魔法”。

　　而且这效果也太自然了吧！

　　即便是不同性别、不同脸型，换脸后也毫不违和。

　　除了脸型以外，面部的线条感也能被自然复现。

　　把赫敏换脸成卷福，看起来都没什么违和感。

　　甚至脸上有遮挡也没关系，马斯克摇身一变成为异域女郎：

　　不止是图片，在视频里的效果也非常自然：

　　用 3D 信息重塑面部结构

　　以上这些效果，都是用 HifiFace 这种新型换脸方法实现的。

　　而它的秘诀就在于利用三维几何结构信息。

　　以往的换脸方法主要是重建面部的纹理，而不是结构；

　　这会导致在一些情况下，下颌线或颧骨的部分会出现不自然的效果，仿佛戴了个面具一样。

　　想要解决这些问题，面部的 3D 信息就变得非常重要。

　　因此，HifiFace 的框架中主要增加了一个 3D 轮廓识别提取器（3D Shape-Aware Identity Extractor）和一个语义面部融合模块（Semantic Facial Fusion Module，SFF）。

　　它主要用 3D 重建模型对源脸和目标脸的系数进行回归，将其重组成几何信息后，与人脸识别网络中的特征向量信息连接。

　　然后把得到的几何数据输入到编码器-解码器模型中，与目标面部的表情、特征融合。

　　与此同时，SFF 模块还能把生成人脸的质量进一步提升。

　　它主要用编码器来保留源脸的空间、纹理等低级特征，以保留更多信息。

　　这样一来，HifiFace 就不用以源脸的轮廓作为强制边界，而是在面部边缘自适应融合。

　　从而能很好解决面部被遮挡或光线上的问题，最后达到高保真的效果。

△模块细节

　　光说不练假把式。

　　在与一些现有换脸方法的对比中，我们能看到 HifiFace 的效果有了明显的提升。

　　从对比中可以看出：

　　FSGAN 在脸型上实现的效果不错，但是在面部光线的处理上不尽人意。

　　SimSwap 则并没有很好将源图中的面部特征转换出来。

　　FaceShifter 相较于上两个模型效果略好，但是在表情和肤色的还原上，还是不如 HifiFace。

　　在数据上，HifiFace 换脸后保留的身份信息在几个方法中最多，脸型上的差距也是最小的。

　　而在 HifiFace 和 FaceShifter 生成样本的脸型差异对比中，当源脸和目标脸在轮廓上差异很大时，HifiFace 明显优于 Facehifter。

　　目前 HifiFace 专注的方向为面部线条上优化，还未开发全头替换（包含头发）的功能。

　　它由腾讯优图实验室、浙江大学、厦门大学联合开发，现已被 IJCAI 2021 成功收录。

　　论文地址：
　　https://arxiv.org/abs/2106.09965

　　参考链接：
　　https://www.unite.ai/new-deepfake-method-hififace/