一種多模態(tài)解耦生成模型的訓(xùn)練方法、系統(tǒng)及相關(guān)設(shè)備

基本信息

申請?zhí)?/td> CN202111479685.9 申請日 -
公開（公告）號 CN114202024A 公開（公告）日 2022-03-18
申請公布號 CN114202024A 申請公布日 2022-03-18
分類號 G06K9/62（2022.01）I;G06N3/04（2006.01）I;G06N3/08（2006.01）I 分類 計算；推算；計數(shù);
發(fā)明人 陳亞瑞;楊劍寧;徐肖陽;胡世凱;吳世偉;閆瀟寧;許能華 申請（專利權(quán)）人 深圳市安軟科技股份有限公司
代理機構(gòu) 深圳君信誠知識產(chǎn)權(quán)代理事務(wù)所（普通合伙） 代理人 劉偉
地址 518000廣東省深圳市龍華新區(qū)龍華辦事處清祥路清湖工業(yè)園寶能科技園7棟A座6樓ACDF
法律狀態(tài) -

摘要

摘要 本發(fā)明適用于多模態(tài)數(shù)據(jù)處理領(lǐng)域，提供了一種多模態(tài)解耦生成模型的訓(xùn)練方法、系統(tǒng)及相關(guān)設(shè)備，所述方法包括：構(gòu)建包括模態(tài)共享因子編碼器、模態(tài)私有因子編碼器、重構(gòu)數(shù)據(jù)解碼器的多模態(tài)解耦生成模型；獲取包含相同共享因子的數(shù)據(jù)對、不同共享因子的數(shù)據(jù)對構(gòu)成的訓(xùn)練集；將所述訓(xùn)練集輸入至所述多模態(tài)解耦生成模型中，利用損失函數(shù)對模型進行訓(xùn)練；將多模態(tài)數(shù)據(jù)輸入所述多模態(tài)解耦生成模型，得到對應(yīng)所述多模態(tài)數(shù)據(jù)的數(shù)據(jù)表示。本發(fā)明可以高效的抽取多模態(tài)數(shù)據(jù)的共享因子數(shù)據(jù)，在減小了多模態(tài)處理的計算開銷的同時，也使生成圖像數(shù)據(jù)更加清晰、更具備生成多樣性，同時生成過程也具備可解釋性。