基于正交相似度蒸餾的圖文匹配模型壓縮與加速方法及系統(tǒng)

基本信息

申請?zhí)?/td> CN202110261563.6 申請日 -
公開（公告）號 CN112990296A 公開（公告）日 2021-06-18
申請公布號 CN112990296A 申請公布日 2021-06-18
分類號 G06K9/62 分類 計算；推算；計數(shù);
發(fā)明人 王亮;黃巖;王聿銘;袁輝;紀(jì)文峰;李凱 申請（專利權(quán)）人 中科人工智能創(chuàng)新技術(shù)研究院（青島）有限公司
代理機(jī)構(gòu) 濟(jì)南圣達(dá)知識產(chǎn)權(quán)代理有限公司 代理人 祖之強(qiáng)
地址 266300 山東省青島市膠州市膠州經(jīng)濟(jì)技術(shù)開發(fā)區(qū)長江路1號創(chuàng)業(yè)大廈1117室
法律狀態(tài) -

摘要

摘要 本發(fā)明提供了一種基于正交相似度蒸餾的圖文匹配模型壓縮與加速方法及系統(tǒng)，該方法包括：S1：獲取圖文匹配數(shù)據(jù)集，并構(gòu)建學(xué)生網(wǎng)絡(luò)模型和老師網(wǎng)絡(luò)模型；S2：對所述圖文匹配數(shù)據(jù)集進(jìn)行預(yù)處理和數(shù)據(jù)加載；S3：基于學(xué)生網(wǎng)絡(luò)模型的相似度矩陣和老師網(wǎng)絡(luò)模型的相似度矩陣，計算差分相似度矩陣；基于差分相似度矩陣，計算奇異值；基于奇異值，構(gòu)建正交相似度軟蒸餾損失函數(shù)和正交相似度硬蒸餾損失函數(shù)；計算聯(lián)合損失函數(shù)；基于聯(lián)合損失函數(shù)對學(xué)生網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練；S4：對訓(xùn)練完成后的學(xué)生網(wǎng)絡(luò)模型進(jìn)行性能測試，得到圖文匹配數(shù)據(jù)集的性能評測結(jié)果和訓(xùn)練好的學(xué)生網(wǎng)絡(luò)模型；S5：將待測圖像或文本輸入訓(xùn)練好的學(xué)生網(wǎng)絡(luò)模型，輸出文本或圖像。