基于正交相似度蒸餾的圖文匹配模型壓縮與加速方法及系統(tǒng)

基本信息

申請?zhí)?/td> CN202110261563.6 申請日 -
公開（公告）號 CN112990296A 公開（公告）日 2021-06-18
申請公布號 CN112990296A 申請公布日 2021-06-18
分類號 G06K9/62 分類 計算；推算；計數;
發(fā)明人 王亮;黃巖;王聿銘;袁輝;紀文峰;李凱 申請（專利權）人 中科人工智能創(chuàng)新技術研究院（青島）有限公司
代理機構 濟南圣達知識產權代理有限公司 代理人 祖之強
地址 266300 山東省青島市膠州市膠州經濟技術開發(fā)區(qū)長江路1號創(chuàng)業(yè)大廈1117室
法律狀態(tài) -

摘要

摘要 本發(fā)明提供了一種基于正交相似度蒸餾的圖文匹配模型壓縮與加速方法及系統(tǒng)，該方法包括：S1：獲取圖文匹配數據集，并構建學生網絡模型和老師網絡模型；S2：對所述圖文匹配數據集進行預處理和數據加載；S3：基于學生網絡模型的相似度矩陣和老師網絡模型的相似度矩陣，計算差分相似度矩陣；基于差分相似度矩陣，計算奇異值；基于奇異值，構建正交相似度軟蒸餾損失函數和正交相似度硬蒸餾損失函數；計算聯(lián)合損失函數；基于聯(lián)合損失函數對學生網絡模型進行訓練；S4：對訓練完成后的學生網絡模型進行性能測試，得到圖文匹配數據集的性能評測結果和訓練好的學生網絡模型；S5：將待測圖像或文本輸入訓練好的學生網絡模型，輸出文本或圖像。