識別課堂教學視頻中行為的方法及裝置

基本信息

申請?zhí)?/td> CN202111238561.1 申請日 -
公開（公告）號 CN114067391A 公開（公告）日 2022-02-18
申請公布號 CN114067391A 申請公布日 2022-02-18
分類號 G06V40/16（2022.01）I;G06V40/20（2022.01）I;G06V20/40（2022.01）I;G06Q50/20（2012.01）I 分類 計算；推算；計數(shù);
發(fā)明人 趙悅汐;程紅兵;鞠劍偉;昝晨輝 申請（專利權）人 北京金茂教育科技有限公司
代理機構 北京中索知識產(chǎn)權代理有限公司 代理人 胡大成
地址 100000北京市豐臺區(qū)汽車博物館東路8號院3號樓15層1503
法律狀態(tài) -

摘要

摘要 本申請公開一種識別課堂教學視頻中行為的方法及裝置，用以解決現(xiàn)有獨立的AI技術無法直接生成與教學場景相匹配的數(shù)據(jù)的問題。其中，一種識別課堂教學視頻中行為的方法，包括：調(diào)用多媒體AI數(shù)據(jù)接口處理輸入的待識別多媒體視頻，得到分別按視頻時間記錄的視頻人臉數(shù)據(jù)和語音轉(zhuǎn)文字數(shù)據(jù)；匹配視頻人臉數(shù)據(jù)與預設的基礎人臉數(shù)據(jù)，得到標記出鏡時間的人物身份信息；匹配語音轉(zhuǎn)文字數(shù)據(jù)的視頻時間與人物身份信息的出鏡時間，得到語音轉(zhuǎn)文字數(shù)據(jù)中的發(fā)言人身份信息；確定語音轉(zhuǎn)文字數(shù)據(jù)中的文字內(nèi)容表征的行為類別；根據(jù)發(fā)言人身份信息和行為類別，得到行為統(tǒng)計結果。通過有效關聯(lián)視頻中的人臉信息與語音數(shù)據(jù)信息，生成與教學場景相匹配的行為統(tǒng)計數(shù)據(jù)。