一種基于特征解耦合的文字-圖像對生成方法和裝置

基本信息

申請?zhí)?/td> CN202210148651.X 申請日 -
公開（公告）號 CN114677569A 公開（公告）日 2022-06-28
申請公布號 CN114677569A 申請公布日 2022-06-28
分類號 G06V10/80（2022.01）I;G06V10/40（2022.01）I;G06V30/18（2022.01）I;G06V10/82（2022.01）I;G06K9/62（2022.01）I;G06N3/04（2006.01）I;G06N3/08（2006.01）I 分類 計算；推算；計數;
發(fā)明人 王蕊;梁棟;李太豪;裴冠雄 申請（專利權）人 中國科學院信息工程研究所
代理機構 杭州浙科專利事務所（普通合伙） 代理人 -
地址 311100浙江省杭州市余杭區(qū)中泰街道之江實驗室南湖總部
法律狀態(tài) -

摘要

摘要 本發(fā)明公開一種基于特征解耦合的文字?圖像對生成方法和裝置，該方法首先利用帶標注的文字?圖像對數據訓練編碼器，將文字和圖像兩種模態(tài)映射到同一個隱空間；然后利用無標注的圖像數據訓練圖像編碼器和解碼器，同時利用無標注的文字數據訓練文字編碼器與解碼器；利用訓練好的文字?圖像特征編碼器網絡提取文字?圖像初始特征，在隱空間加入隨機采樣的噪聲后進行解耦合，利用解碼器生成多樣化的文字?圖像對。本發(fā)明在自然場景中，例如改變紋理、顏色等高層語義屬性，都可以實現較好的文本?圖像數據編輯。