在美颜sdk中，大家所见到的3d面具，其算法基础是3d人脸建模。3d建模一直是计算机视觉领域中的关键问题，而其中的3d人脸建模，在游戏、影视特效、VR等领域应用广泛。但是由于人脸的复杂性、易变性，建立逼真的3d人脸模型，成为众多研究者不得不面对的一大挑战。

那么3d面具人脸建模的方法目前主要分为三种：软件建模、仪器采集与基于图像的建模，它们各有优点，也各有缺陷。

一、软件建模

软件建模是最早的3d建模手段，现在仍广泛应用于电影、动漫等行业中。常用的3d建模软件包括3Dmax、Maya、ZBrush、Blender、Houdini等。但是这类3d建模软件对硬件要求比较高，当硬件无法满足时，就容易出现延迟甚至崩掉。

二、仪器采集

而手工建模，就有些耗时耗力了，需要借助3d扫描设备，对目标物体进行全方位、多角度的数据收集。根据扫描对象的尺寸，3d扫描仪分为桌面式、手持式和远距式。

由于人类无法长时间保持一个动作（如不自觉眨眼），因此3d人脸建模对扫描仪的扫描速度和细节捕捉有较高要求。此外，当环境、光线等发生变化时，扫描仪收集的人脸数据可能也会发生变化。

三、基于图像建模

这是目前大多数软件应用中广泛使用的方式，在美颜sdk中尤甚。即借助一张或几张二维图像，来恢复图像或场景的三维结构。但由于3d人脸是立体的，多维的，因此从单一角度的观察，很难判断物体其他视角的构造，制作出来的模型也就成为了一个平面化的物体。

不过，考虑到它在行业中的泛用性，于是就出现了很多优化：

1、DeepSketch2Face

DeepSketch2Face是一个基于学习的3d人脸和漫画建模的草图系统。该系统配备一个非常好用的素描界面，开发者可以自由的绘制2d人脸草稿。

研究人员开发了一个基于CNN的深度回归网络，用于依据2d草图，预测并生成3d人脸模型。

这个深度回归网络融合了CNN和输入草图的形状特征，并且有两个独立的全链接层分支，为面部表征生成独立的系数子集。该系统还支持基于手势的交互，以便用户进一步操作初始人脸模型。用户研究和数值结果都表明，该系统可以帮助用户快速有效地创建人脸模型。

2、DECA

DECA 全称 Detailed Expression Capture and Animation，它可以从一个低维的潜在表征中，稳健地生成 UV displacement map，该表征由 person-specific 细节参数和通用表情参数组成。

回归器 (regressor) 经过训练后，可以通过单张图像，预测细节、形状、反照率、表情、姿势和照明参数等。为了实现这点，研究人员引入了一种新的细节一致性损失 (detail-consistency loss)，将人类特有的细节与表情变化引起的皱纹区分开来。

这种分离使得开发者可以通过控制表情参数，来合成真实的 person-specific 皱纹，同时保证 person-specific 的细节不会发生改变。DECA 从 in-the-wild image 中学习，在成对的 3D 监督的情况下，在两个基准上都达到了最先进的形状重建精度。in-the-wild 数据证明 DECA 具有鲁棒性，而且具有分解身份和表情相关细节的能力，这使得重建的人脸能够成为动画。

以上，就是对3d面具算法的简要介绍，如果您对美颜sdk接入有需求，欢迎咨询官方客服。

声明：本文由美狐原创，未经允许禁止转载，谢谢合作。