帮助与文档
热搜关键词:美颜SDK萌颜SDK视频美颜SDK   
简析美颜sdk中的3d面具算法
发布来源:美狐美颜    Date:2021-10-13 15:17:29

美颜sdk中,大家所见到的3d面具,其算法基础是3d人脸建模。3d建模一直是计算机视觉领域中的关键问题,而其中的3d人脸建模,在游戏、影视特效、VR等领域应用广泛。但是由于人脸的复杂性、易变性,建立逼真的3d人脸模型,成为众多研究者不得不面对的一大挑战。

那么3d面具人脸建模的方法目前主要分为三种:软件建模、仪器采集与基于图像的建模,它们各有优点,也各有缺陷。

美颜sdk

一、软件建模

软件建模是最早的3d建模手段,现在仍广泛应用于电影、动漫等行业中。常用的3d建模软件包括3Dmax、Maya、ZBrush、Blender、Houdini等。但是这类3d建模软件对硬件要求比较高,当硬件无法满足时,就容易出现延迟甚至崩掉。

二、仪器采集

而手工建模,就有些耗时耗力了,需要借助3d扫描设备,对目标物体进行全方位、多角度的数据收集。根据扫描对象的尺寸,3d扫描仪分为桌面式、手持式和远距式。

由于人类无法长时间保持一个动作(如不自觉眨眼),因此3d人脸建模对扫描仪的扫描速度和细节捕捉有较高要求。此外,当环境、光线等发生变化时,扫描仪收集的人脸数据可能也会发生变化。

三、基于图像建模

这是目前大多数软件应用中广泛使用的方式,在美颜sdk中尤甚。即借助一张或几张二维图像,来恢复图像或场景的三维结构。但由于3d人脸是立体的,多维的,因此从单一角度的观察,很难判断物体其他视角的构造,制作出来的模型也就成为了一个平面化的物体。

不过,考虑到它在行业中的泛用性,于是就出现了很多优化:

1、DeepSketch2Face

DeepSketch2Face是一个基于学习的3d人脸和漫画建模的草图系统。该系统配备一个非常好用的素描界面,开发者可以自由的绘制2d人脸草稿。

研究人员开发了一个基于CNN的深度回归网络,用于依据2d草图,预测并生成3d人脸模型。

这个深度回归网络融合了CNN和输入草图的形状特征,并且有两个独立的全链接层分支,为面部表征生成独立的系数子集。该系统还支持基于手势的交互,以便用户进一步操作初始人脸模型。用户研究和数值结果都表明,该系统可以帮助用户快速有效地创建人脸模型。

美颜sdk

2、DECA

DECA 全称 Detailed Expression Capture and Animation,它可以从一个低维的潜在表征中,稳健地生成 UV displacement map,该表征由 person-specific 细节参数和通用表情参数组成。

回归器 (regressor) 经过训练后,可以通过单张图像,预测细节、形状、反照率、表情、姿势和照明参数等。为了实现这点,研究人员引入了一种新的细节一致性损失 (detail-consistency loss),将人类特有的细节与表情变化引起的皱纹区分开来。

这种分离使得开发者可以通过控制表情参数,来合成真实的 person-specific 皱纹,同时保证 person-specific 的细节不会发生改变。DECA 从 in-the-wild image 中学习,在成对的 3D 监督的情况下,在两个基准上都达到了最先进的形状重建精度。in-the-wild 数据证明 DECA 具有鲁棒性,而且具有分解身份和表情相关细节的能力,这使得重建的人脸能够成为动画。

以上,就是对3d面具算法的简要介绍,如果您对美颜sdk接入有需求,欢迎咨询官方客服。

声明:本文由美狐原创,未经允许禁止转载,谢谢合作。

本文标签: 美颜sdk
相关阅读
13188947262
0.024542s