“造”个自己去开会！最牛3D人脸建模系统，输入一张照片就行

作者 | 温淑

伦敦帝国理工学院和初创公司FaceSoft.io的研究职员计划出一小我私人脸建模体系AvatarMe。AvatarMe可以依据恣意一张人脸照片和一些面部细节，天生4K x 6K判别率的3D人脸模子。

AvatarMe是首个能按照单一图像天生较高判别率3D人脸模子的体系。在将来，AvatarMe或可用于视频集会会议等各个VR应用场景。

这项研究颁发于CVPR 2020，论文问题为《AvatarMe：“在田野”的真实的可渲染的3D脸部重建（AvatarMe：Realistically Renderable 3D Facial Reconstruction “in-the-wild”）》。

论文链接：https://arxiv.org/pdf/2003.13845.pdf

CVPR（Conference on Computer Vision and Pattern Recognition）是由IEEE举行的计较机视觉和模式辨认规模的顶级集会会议，本届集会会议在6月13日到6月19日之间举行。

一、AvatarMe：依据一张照片天生传神的3D人脸

3D人脸建模是计较机视觉、图形学、呆板进修规模的研究核心之一。在已往几年，很多研究团队研发了基于天生反抗性收集（GAN）的3D人脸建模体系。

GAN由一个天生收集和一个鉴别收集构成。GAN模子的进修进程就是天生收集和鉴别收集的彼此博弈的进程：天生收集随机合成一张图片，让鉴别收集判定这张图片的真假，继而按照鉴别收集给出的反馈不绝进步“造假”手段，最终做到以假乱真。

可是，在依据恣意人脸照片天生3D人脸模子方面，现有的办理方案广泛机能较差，天生的3D人脸模子判别率较低。

伦敦帝国理工学院和初创公司FaceSoft.io的研究职员以为，这是由于两个缘故起因：

一方面，研究职员缺乏可用于培训的数据；另一方面，可乐成应用于高判别率数据的妥当要领也较量少。

为了办理这些题目，伦敦帝国理工学院和初创公司FaceSoft.io的研发职员捕捉了一个关于面部外形和反射率的大型数据集。

同时，研究职员回收基于艺术状态的3D纹理和外形重建要领，以渲染所需的每像素判别率和镜面反射分量。最终，研究职员乐成地优化了3D人脸建模功效。

▲AvatarMe体系的管道功效

二、回收两种捕捉要领，网络超200张人脸图像

为了成立可用于实习的人脸数据集，研究职员回收两种要领网络数据。

第一种要领中，研究职员操作一个有168个光源的极化LED球泡灯和9台单反相机，捕捉高判别率的孔隙级人脸反射率图。极化LED球泡灯中，一半的光源是垂直极化的，另一半光源是程度极化的。两种极化方法的光源交织排布。

第二种要领中，研究职员操作非极化的LED球泡灯举办色彩空间说明，以捕捉解缠的纹理。对比于第一种要领，操作非极化的LED球泡灯只需捕捉不到一半的数据，因此捕捉时刻较短短。其它，因为不必要偏振片（polarizer），非极化的LED球泡灯配置也较量简朴。

通过这两种要领，研究职员收罗到高出200个差异年数和特点的人的孔隙级人脸反射率图。为便于进一步研究，研究职员将网络到的图像引入一个尺度拓扑布局中，成立人脸数据库。

研究职员将这一数据库定名为RealFaceDB，按照论文，与同类人脸数据库对比，RealFaceDB局限为最大。

▲将人脸图像引入尺度拓扑布局

三、不只能用低判别率照片建模，戴墨久魅照片也行

基于RealFaceDB数据库，研究职员开始实习基于GAN的AvatarMe体系。

实习进程中，研究职员起首输入一张低判别率的人脸图片，用3DMM算法重建一个带纹理的根基几许体。然后，操作一个超平判别率收集，研究职员重建纹理映射。接下来，研究职员操作一个去照明收集得到高判别率的漫反射函数（AD）。最后，研究职员操作漫反射函数AD和根基几许体，揣度出其他部门的函数（AS、ND、NS），进而成立仿真的3D人脸模子。

颠末实习，AvatarMe体系可以输出4K x 6K判别率的3D人脸模子。

为了评估AvatarMe的机能，研究职员输入随机图片，调查AvatarMe重建的3D模子是否传神。功效表现，AvatarMe体系重建的3D人脸模子没有发生伪影。其它，在照片主人公戴有墨镜的环境下，体系也能较精准地建模。

结语：将来打算把RealFaceDB数据库开源

本项研究中，伦敦帝国理工学院和初创公司FaceSoft.io的研究职员计划出人脸建模体系AvatarMe。AvatarMe可以操作恣意一张人脸照片，成立出较高判别率的3D人脸模子。

研究职员还成立了同类数据库中局限最大的RealFaceDB数据库。研究职员称，将来打算将这一数据库向科学界开源。

同时，论文指出，RealFaceDB数据库还存在一些范围性。好比，RealFaceDB数据库中缺乏来自深肤色种族的样本。因此，在依据深肤色种族样本建模时，AvatarMe体系成立的3D人脸模子判别率有所低落。

参考信源：VentureBeat、arXiv