基于三維重建的人臉替換方法及裝置

基本信息

申請?zhí)?/td> CN202011529456.9 申請日 -
公開（公告）號 CN112734890A 公開（公告）日 2021-04-30
申請公布號 CN112734890A 申請公布日 2021-04-30
分類號 G06T15/00;G06T19/20 分類 計算；推算；計數(shù);
發(fā)明人 孫騰 申請（專利權(quán)）人 上海影譜科技有限公司
代理機構(gòu) 北京知呱呱知識產(chǎn)權(quán)代理有限公司 代理人 張永維
地址 201721 上海市青浦區(qū)金澤鎮(zhèn)（西岑）水秀路318號108室
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種基于三維重建的人臉替換方法及裝置，通過在三維人臉模型上實現(xiàn)人臉對齊和圖像融合，再渲染成二維圖像，從而有效解決少量人臉圖像實現(xiàn)任意角度旋轉(zhuǎn)換臉的需要，人臉替換重點是需要保證替換后的人臉不改變目標(biāo)人臉的五官結(jié)構(gòu)，同時需要表達出源人物的面部表情以及位姿。本發(fā)明基于三維重建得到人臉3D模型，在三維空間做人臉對齊，解決大角度旋轉(zhuǎn)造成的替換前后人臉視角相差較大，無法有效配準(zhǔn)對齊的問題。三維人臉重建選用3DMM模型，構(gòu)建的特征向量可以實現(xiàn)人臉結(jié)構(gòu)和表情特征的解耦分離，分別提取替換前人臉的表情特征和替換人臉的結(jié)構(gòu)，組合成新的3D人臉特征，完成人臉3D模型上的表情遷移。