一種圖像文本相似度模型訓(xùn)練方法及顯示設(shè)備

基本信息

申請?zhí)?/td> CN202111375862.9 申請日 -
公開（公告）號 CN114091427A 公開（公告）日 2022-02-25
申請公布號 CN114091427A 申請公布日 2022-02-25
分類號 G06F40/194（2020.01）I;G06F40/247（2020.01）I;G06F16/35（2019.01）I;G06K9/62（2022.01）I;G06V10/74（2022.01）I;G06V10/764（2022.01）I;G06V10/774（2022.01）I 分類 計算；推算；計數(shù);
發(fā)明人 朱飛;曹晚霞 申請（專利權(quán)）人 海信電子科技（武漢）有限公司
代理機(jī)構(gòu) 北京弘權(quán)知識產(chǎn)權(quán)代理有限公司 代理人 逯長明;許偉群
地址 430073湖北省武漢市東湖新技術(shù)開發(fā)區(qū)軟件園東路1號軟件產(chǎn)業(yè)4.1期B2棟13層02號-2
法律狀態(tài) -

摘要

摘要 本申請?zhí)峁┮环N圖像文本相似度模型訓(xùn)練方法及顯示設(shè)備，所述方法包括獲取圖像的文本正樣本并存儲；所述文本正樣本為描述圖像內(nèi)容的文本；構(gòu)造文本負(fù)樣本；所述文本負(fù)樣本通過文本正樣本關(guān)鍵詞替換得到；根據(jù)文本負(fù)樣本生成文本數(shù)據(jù)集；所述文本數(shù)據(jù)集包括圖像、文本正樣本以及文本負(fù)樣本；使用所述文本數(shù)據(jù)集對預(yù)設(shè)模型進(jìn)行訓(xùn)練，得到圖像文本相似度模型，該模型的損失函數(shù)為三元組損失和二分類損失的加權(quán)和。通過構(gòu)造和文本正樣本語義接近但是和文本正樣本對應(yīng)的圖像不相關(guān)的文本負(fù)樣本，將文本負(fù)樣本數(shù)據(jù)融入到模型中訓(xùn)練，迫使模型學(xué)習(xí)區(qū)分和文本正樣本更相似的文本負(fù)樣本，提高相關(guān)性判斷的能力。