一種深度融合面部表情和語音的駕駛員路怒癥識別方法

基本信息

申請?zhí)?/td> CN202011164619.8 申請日 -
公開（公告）號 CN113591525A 公開（公告）日 2021-11-02
申請公布號 CN113591525A 申請公布日 2021-11-02
分類號 G06K9/00（2006.01）I;G06K9/62（2006.01）I;G10L25/24（2013.01）I;G10L25/30（2013.01）I;G10L25/45（2013.01）I;G10L25/63（2013.01）I;G06N3/04（2006.01）I 分類 計算；推算；計數(shù);
發(fā)明人 柳欣;傅順開;彭淑娟;曾省明;陳悅 申請（專利權(quán)）人 藍(lán)海（福建）信息科技有限公司
代理機構(gòu) 廈門市首創(chuàng)君合專利事務(wù)所有限公司 代理人 連耀忠;李艾華
地址 361000福建省廈門市軟件園三期誠毅北大街62號109單元0011號
法律狀態(tài) -

摘要

摘要 本發(fā)明一種深度融合面部表情和語音的駕駛員路怒癥識別方法，包括：從駕駛員面部視頻影像信息中提取出駕駛員的面部影像信息和語音信息；對面部影像幀信息進(jìn)行預(yù)處理并輸入到多層卷積神經(jīng)網(wǎng)絡(luò)中獲得面部表情特征；對語音信息首先提取其梅爾倒譜系數(shù)及其一階和二階系數(shù)值進(jìn)行初始特征提取，并拼接2段語音片段初始特征輸入到全連接層網(wǎng)絡(luò)中獲得與面部表情幀對應(yīng)的判別性語音幀特征；將得到的面部幀表情特征和語音幀特征進(jìn)行低秩雙線性池化融合獲得融合特征；對面部表情特征、語音特征和融合特征進(jìn)行決策融合后獲取到最終的路怒癥識別結(jié)果。本發(fā)明在復(fù)雜駕駛環(huán)境下，依然能實現(xiàn)高精度地輸出駕駛員憤怒癥識別結(jié)果，進(jìn)而有效地進(jìn)行安全駕駛預(yù)警。