一種實時人臉特征傳輸?shù)奶搶嵏兄臃椒?/p>

基本信息

申請?zhí)?/td> CN202111042102.6 申請日 -
公開（公告）號 CN113610057A 公開（公告）日 2021-11-05
申請公布號 CN113610057A 申請公布日 2021-11-05
分類號 G06K9/00（2006.01）I;G06K9/62（2006.01）I;G06T19/00（2011.01）I;G06N3/04（2006.01）I 分類 計算；推算；計數(shù);
發(fā)明人 曹杰;楊帆;范文聰;陳志杰;毛波;申冬琴 申請（專利權(quán)）人 南京徽毅信息科技有限公司
代理機(jī)構(gòu) 南京瑞弘專利商標(biāo)事務(wù)所（普通合伙） 代理人 陳建和
地址 210003江蘇省南京市鼓樓區(qū)鐵路北街128號南京財經(jīng)大學(xué)科技園A座19層1905室
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種實時人臉特征傳輸?shù)奶搶嵏兄臃椒?，對?xùn)練集當(dāng)中的所有圖像的R、G、B三個通道，分別求解每個通道標(biāo)準(zhǔn)化值，采用Opencv庫為圖片創(chuàng)建了一個4維數(shù)組，估計映射到面部結(jié)構(gòu)的68個2D點的坐標(biāo)位置，估計頭部姿態(tài)；得到了人臉對于攝像機(jī)的旋轉(zhuǎn)角度，將roll、pitch yaw數(shù)據(jù)用分號切片使用getbonetransform方法傳遞到Unity中，操控模型的頭部跟隨攝像頭中的人物旋轉(zhuǎn)。本發(fā)明實現(xiàn)了基于神經(jīng)網(wǎng)絡(luò)的人臉檢測，人臉定位與頭部姿態(tài)估計，進(jìn)行卡爾曼濾波平滑了數(shù)據(jù)抖動。將檢測到的數(shù)據(jù)傳遞到Unity中，實現(xiàn)了虛擬模型實時跟隨表演者的面部表情及體態(tài)。